FreeHAL@home

[eclipse99]

FreeHAL zaczął przyznawać punkty - w większości 6 za próbkę, niestety nadal część zostaje z 0.0000

[Pigu]

6pkt za 5sec - mi się podoba to raptem jakieś 400k na dobę....

....jak znowu będzie reset to mam hala w zadzie....

możemy prosić o halowe klienty w nr 5-10?

[AiDec]

Za 5 sec stuprocentowego obciazenia CPU, ale nie za 5 sec dzialania kompa (biorac pod uwage uzycie CPU na poziomie 3%, to tak naprawde z 5 sec robi sie 3 minuty) - czyli nie wyciagniesz 400k. No chyba ze zapniesz 100 WU na raz i bedziesz mial full load przez 24h - IMHO niewykonalne (poza tym przy 10-ciu WU braknie Ci RAM`u).

[TJM]

Tutaj jest trochę więcej managerów:

http://www.chomikuj.pl/albiniasty/BOINC/BOINC_A-M.7z

Dla normalnych WU raczej tak łatwo RAMu nie braknie, w szczycie biorą po 30MB, więc spokojnie można odpalać nawet 50. Gorzej jak się zaczną trafiać te z wadliwych serii gdzie jeden potrafi wciągnąć 1GB+, wtedy amba fatima, był BOINC i nima.
Inna sprawa, że już przy 20-30 odpalonych zadaniach zdecydowanie za dużo czasu CPU idzie na procesy systemowe.

[eclipse99]

Jak można ich użyć?

[TJM]

Na poprzednich stronach jest instrukcja, jednak na chwilę obecną to chyba strata czasu, bo validator straszliwie kuleje - przeliczyłem jakies 200 zadań a przybyło mi 0.3 punkta.

[malpi]

TJM jakbyś mógł wrzuć jeszcze dlasze menagery od N-Z przynajmiej z kompa może mi sie uda 5K z freehala wyciągnąć

[KrzychuP]

U mnie pobiera ładnie po jednej próbce (mam 1 klienta boinc).
Czasu procesora używa maks. 10 sek., pamięci kilka MB.
Jedna próbka liczy się ~15-25 min. i dostaję za nią równo 6pkt.

[malpi]

Więc dlatego warto ten wałek z menadzerami zrobić, można sporo pkt natrzepac

[TJM]

Nawet nie opłaca się robić tylu managerów, lepiej stosować lepszy myk: uruchamiasz z 5-10 i na każdym początkowo ściągnie ci się po kilka zadań (max chyba 5/rdzeń). Zostawiasz je tak, po czym jak znajdziesz chwilę czasu blokujesz na wszystkich pobieranie nowych zadań, jak opustoszeją, resetujesz projekt i znów pobiera ci max zadań - jadąc w ten sposób da się masakryczne ilości punktów trzepać, o ile są dostępne zadania %-)
Naprawili już validator ?

[eclipse99]

Ja już nie dostaję żadnych zer, same szóstki, więc chyba tak :)

[eclipse99]

Dziś na jednym komputerze pojawia mi się następujący błąd:

2009-02-01 16:25:13|FreeHAL@home|[file_xfer] Started upload of file newFreeHAL_44067469735de-wikipedia-org.protaaaf-11997-1-11_1_0
2009-02-01 16:25:22|FreeHAL@home|[error] Error on file upload: no command
2009-02-01 16:25:22|FreeHAL@home|[file_xfer] Temporarily failed upload of newFreeHAL_44067469735de-wikipedia-org.protaaaf-11997-1-11_1_0: transient upload error
2009-02-01 16:25:22|FreeHAL@home|Backing off 2 hr 51 min 28 sec on upload of file newFreeHAL_44067469735de-wikipedia-org.protaaaf-11997-1-11_1_0

Na drugim wszystko OK, a z tego nie mogę odesłać żadnej próbki - pobiera następne, przelicza i nie odsyła.
Restartowałem projekt, wyłączałem zaporę i nic.
Spotkaliście się z czymś takim?

[AiDec]

Wyszedl FreeHAL na Linuksa x64. Wciaz sa z tym problemy (np. z odsylaniem probek, bo nie zawsze serwer jest online), ale dziala i punktuje.

[Pigu]

dociągnąłem do 10k i zaprzestałem tej diabelskiej zabawki  :ph34r:

[AiDec]

Szkoda, teraz bedzie trudniej :(.

[TJM]

Fajnie by było, jakby regularnie pojawiały się nowe zadania. A tu nawet nie opłaca się odpalać kilku managerów, bo ledwo coś się pojawi do przemielenia i już koniec.

Linuksowa aplikacja jest pod x86, a nie 64bit, co nie znaczy oczywiście, że na 64bitach nie zadziała. Cieszy mnie to niezmiernie, bo jeśli będzie stabilna to będę mógł przygotować uderzenie smoka  :attack:

[emik]

ja dziś trzasnąłem na linuksie 64bity całe 72pkt :)

[TJM]

Linuksowa aplikacja niestety nie działa na żadnym z moich linuksów, wywala się z różnymi błędami - download errory, app start errory, brak bibliotek i jakieś numerowane błędy BOINCa.

Dziś jednak wprowadzili ograniczenie które na pewno uderzy we wszystkich kombinatorów - limit czasowy requestów do schedulera, przez co trick z przyhamowywaniem downloadu żeby otrzymać więcej zadań już nie działa :-( O ile manager sam nie pobierze większej ilości zadań, to amba fatima.

[RAD-Poland]

właśnie wpadły mi 3 próbki FreeHal'a (Linux 64 AMD x2 3800+ 2,0@2,4)
- liczą się jednocześnie z innymi projektami (3 hale + 2 hmmer/simap)
- czas rzeczywisty ~30 min
- czas obciążenia cpu 128 sek/wu
- obciążenie cpu podczas przeliczania ~7% / wu
- zużycie pamięci ~19 MB/wu
- punkty 6pkt/wu (teoretycznie 168 pkt/h_core)

[emik]

aktualnie ponad 73k wu do pobrania

[TJM]

Na to nie warto chyba patrzeć, często rośnie nawet do 200k i nagle spada do zera.

[malpi]

Obecnie WU są i raczej szybko ich nie powinno zabraknąć bo po kilka naraz nie można brać już, a punkty zalicza prawidłowo i ramu mało co je

[TJM]

Można brać po kilka, z resetowaniem projektu po każdej grupie.
Oraz oczywiście dodatkowe managery dalej działają %-)

[buninek]

Linuksowa aplikacja niestety nie działa na żadnym z moich linuksów, wywala się z różnymi błędami - download errory, app start errory, brak bibliotek i jakieś numerowane błędy BOINCa.

Wprowadzają w błąd. Na stronie projektu jak wół stoi Linux running on an Intel x86-compatible CPU, a
okazuje się być tylko dla x86_64
file freehalboinc_0.39_i686-pc-linux-gnu

projects/boinc.freehal.org_projects_freehal_at_home/freehalboinc_0.39_i686-pc-linux-gnu: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.15, stripped

ldd freehalboinc_0.39_i686-pc-linux-gnu
        linux-vdso.so.1 =>  (0x00007fffe59fe000)
        libcrypt.so.1 => /lib64/libcrypt.so.1 (0x00002b1ac542d000)
        libpthread.so.0 => /lib64/libpthread.so.0 (0x00002b1ac5668000)
        libdl.so.2 => /lib64/libdl.so.2 (0x00002b1ac5884000)
        libz.so.1 => /lib64/libz.so.1 (0x00002b1ac5a89000)
        libstdc++.so.6 => /usr/lib64/libstdc++.so.6 (0x00002b1ac5c9d000)
        libm.so.6 => /lib64/libm.so.6 (0x00002b1ac5fa5000)
        libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x00002b1ac6229000)
        libc.so.6 => /lib64/libc.so.6 (0x00002b1ac643f000)
        /lib64/ld-linux-x86-64.so.2 (0x00002b1ac5210000)

[TJM]

Jak na razie to i tak bez znaczenia, bo 95% zadań ściąga mi się z błędem - checksum error albo jakieś inne download errory, praktycznie zawsze na tych samych plikach.

W nocy skończyły się zadania, mam nadzieję że wraz z nowymi poprawią aplikację pod linuksa.

[ksysju]

Witam

Od czego zależy, że liczą się na raz 1-2-3-4-8 jednostek. Co by było dziwniej to na Q liczy mi po jednej, a na jakimś duo 8.

W żadnych plikach boinca i projektu nic nie mieszałem.

ps:

Po godzinie już mu przeszło, liczy wszędzie po jednym. Podłączałem na raz z 8 kompów i się lekko zdziwiłem.

Jak na razie liczy bez błędu, linuksy 64, i z 3 windy 32.

Zawsze to 1k na dzień więcej :P


--
ksysju

[TJM]

Licho wie od czego to zależy, ale na pewno starsze wersje managerów typu 5.10 albo nawet 5.8 są bardziej podatne na ściąganie na raz większej ilości zadań (pewnie po prostu non_cpu_intensive jest w nich niedopracowane). Moje dodatkowe FreeHALowe managery 5.10.45 często cały czas ściągają po 2-3 zadania, podczas gdy wszystko z serii 6.x co testowałem ściąga więcej niż jedno tylko za pierwszym razem, później tylko reset projektu pomaga.

Z FreeHALa można nawet niezły RAC wyciągąć, jeszcze na starej wersji gdzie ściągało gigabajty danych z wiki na jednym kompie wycisnąłem RAC 500, teraz z nową aplikacją na pewno dałoby się dużo, dużo więcej - gdyby tylko nie okresowe braki zadań.

[buninek]

Wygląda, że o ile serwery będą działały prawidłowo to można wycisnąć sporo bardzo małym kosztem.

U mnie na wszystkich managerach (5.8, 5.10.45, 6.2.x) pobiera tylko jedno WU, raz na 15 minut czyli 4/h.

Dodatkowo z crona co 2 minuty odpalam mały skrypcik, który sprawdza czy wu "przeliczyło" się w 10%,
jeśli tak to następuje suspend (wu oznacza się jak "przeliczone"), dalej resume i update.
Tym sposobem, żadna próbka nie wisi niepotrzebnie.
To "liczenie" przez aplikację oczywiście jest tylko markowane i nic a nic się nie oblicza.

[TJM]

Nie byłbym taki pewien, że wyniki z takich wstrzymanych i wznowionych zadań są poprawne, aplikacja cośtam na pewno robi do samego końca bo wykonuje operacje I/O. Tak samo było w starej aplikacji, wystarczyło przekierować ją na pustą stronę a dalej wesoło 'liczyła' i wyniki były 'poprawne', nawet validowały się jakimś cudem z innymi hostami %-)
Swoją drogą suspend/resume nie ze wszystkimi zadaniami działa.

[malpi]

Z FreeHALa można nawet niezły RAC wyciągąć, jeszcze na starej wersji gdzie ściągało gigabajty danych z wiki na jednym kompie wycisnąłem RAC 500, teraz z nową aplikacją na pewno dałoby się dużo, dużo więcej - gdyby tylko nie okresowe braki zadań.

Z dwóch kompów obecnie da sie wycisnąć około 5-6k pkt/24h
więc nie jest wcale tak źle, a zadań rzadko kiedy ie ma na dłużej niż 1 dzień

[buninek]

Może nieprecyzyjnie się wyraziłem aplikacja coś pewnie oblicza w początkowej fazie, później sobie wisi.
Sama aplikacja po wstrzymaniu oznacza wu jako przeliczoną w przeciwnym razie po suspend, resume liczyłaby się dalej aż do 100%.

Liczę na jednym kompie + 12 managerów.

[TJM]

W takim razie niektóre zadania po prostu liczą się dłużej, bo przed chwilą testowałem to na kilku odpalonych managerach i są takie, które nawet przy 60% nie kończą sie po suspend/resume.

Kurka na wszystkich klientach 5.10.45-FH mam coś takiego od paru godzin:

02/13/09 23:37:02|FreeHAL@home|[error] Error on file upload: no command
02/13/09 23:37:02|FreeHAL@home|Temporarily failed upload of newFreeHAL_24798527949de-wikipedia-org.protaabi-11443-5-5_1_0: transient upload error
02/13/09 23:37:02|FreeHAL@home|Backing off 1 hr 36 min 29 sec on upload of newFreeHAL_24798527949de-wikipedia-org.protaabi-11443-5-5_1_0
02/13/09 23:37:24|FreeHAL@home|Started upload of newFreeHAL_24798527949de-wikipedia-org.protaabi-11443-5-5_1_0
02/13/09 23:37:26|FreeHAL@home|[error] Error on file upload: no command
02/13/09 23:37:26|FreeHAL@home|Temporarily failed upload of newFreeHAL_24798527949de-wikipedia-org.protaabi-11443-5-5_1_0: transient upload error
02/13/09 23:37:26|FreeHAL@home|Backing off 3 hr 20 min 53 sec on upload of newFreeHAL_24798527949de-wikipedia-org.protaabi-11443-5-5_1_0

i kilkaset przeliczonych WU wisi, nowe się ściągają ale dołączają do grupy wiszących po przeliczeniu. Inne wersje normalnie odsyłają, sprawdzałem zarówno z proxy którego używam z BOINCem na codzień, jak i bez. Czyżby kanalie bloknęli FreeHALowe buildy ?

[AiDec]

Widze ze co po niektorzy ostro wzieli sie do roboty we FreeHAL`u :). Tak 3mac chlopaki! Pierwsze miejsce bedzie nasze :).

[buninek]

Ostatnie 3 miesiące liczyłem na amd-k6-2@500 więc stąd to parcie na punkty :D.
Wcześniej nie było również aplikacji pod linuksa.
Liczę na orginalnych managerach. Uruchomione w cóś ala chroot + niezależne inerfrejsy sieciowe (linux-vserver). Aktualnie 14 sztuk.
Mógłbym odpalić ok 30 tylko ogranicza mnie przepustowość łącza, no i wydajność dysku.
Już teraz muszę przenieść katalogi slots na ramdysk. Czekam na awarię serwerów freehalowych.
W tym momencie nie chcę ruszać.
No bo jak wszystkie się zsynchronizują i jednocześnie następuje rozpakowywanie archiwów zip + inne operacje wówczas dysk rzeźbi niemiłosiernie. >:(

[emik]

napiszcie dokładną instrukcję jak odpalić więcej klientów freehalowych pod linuksem

[buninek]

napiszcie dokładną instrukcję jak odpalić więcej klientów freehalowych pod linuksem

Najprościej w jakiejś virtualce. Tylko trudno tak krok po kroku za rękę poprowadzić.

Bez problemu można odpalić kilka managerów np. w taki sposób
1) boinc --allow_remote_gui_rpc --gui_rpc_port 31430 --dir /home/users/boinc1/ &
2) boinc --allow_remote_gui_rpc --gui_rpc_port 31431 --dir /home/users/boinc2/ &
3) boinc --allow_remote_gui_rpc --gui_rpc_port 31431 --dir /home/users/boinc3/ &

ale zdaje się, że na nic się to zda. Ponieważ hostname oraz adres sieciowy będą takie same.
Aby to zmienić wymagana byłaby ingerencja w kod managera.

Poleciłbym jednak ściągnąć jakąś małą dysrybucję np. finnix. Zaznaczam działa bez trybu graficznego.
Wymagania ma malutkie na 32MB spokojnie odpalisz + boinc ok 4M + freehalowa aplikacja 19M.
Czyli spokojnie do tego celu wystarczy wirtualka z 64MB.
Cztery to raptem 256MB.

[TJM]

Lepiej jednak po prostu ściągnąć źródła i zbudować freehalowego managera pod linuksa, wtedy w tych 256MB zmieści się zamiast 4 spokojnie 8 uruchomionych aplikacji.

[emik]

więc może jakiś tutorialik jak zbudować managera? Virtualboxa już zainstalowałem, teraz ściągam tego finnixa ale nie wiem, czy poradzę sobie ze skonfigurowaniem na nim neta

[buninek]

Odnośnie grzebania w kodzie managera to nic nie pomogę bo się zbyt słabo na tym znam.

Co do sieci zależy jak masz skonfigurowaną sieć dla virualboxa
Finnix to dystrybucja oparta na debianie.
pod finnixem Net odpalisz np. tak

ifconfig eth0 inet up 10.0.0.2 netmask 255.255.255.0 broadcast 10.0.0.255
route add default gw 10.0.0.1

+ DNS do resolv.conf

Oczywiście adres podsieci taki jaki masz ustawiony.
+ na głównym hoście
iptables -A POSTROUTING -s 10.0.0.0/24 -j MASQUERADE -t nat
echo 1 > /proc/sys/net/ipv4/ip_forward
Jest mnóstwo tutoriali, wiki w sieci.

Zapominiałem o tym o ile sobie przypominam to coś mialem problemy z odpaleniem finnixa x86_64 pod qemu, 32-bit chodził bez problemu, ale może pod virtualboxem ruszy.

EDIT:
Odpalenie boinca
boinc --dir /sciezka/do/boinc/&

Jeśli nie masz konta w projekcie to
boinc_cmd --create_account http://boinc.freehal.org/projects/freehal_at_home/ email passwd name
jeżeli masz to tak
boinc_cmd --lookup_account http://boinc.freehal.org/projects/freehal_at_home/ email passwd

dalej
boinc_cmd --project_attach http://boinc.freehal.org/projects/freehal_at_home/ auth     
Zresztą zarządzać możesz z głównego hosta tylko boinca odpal z --allow_remote_gui_rpc + utwórz plik
gui_rpc_auth.cfg z adresem sieciowym twojego hosta.
np echo "192.168.0.2" > gui_rpc_auth.cfg

[emik]

jutro postaram się usiąść i powalczyć