FreeHAL@home

[buninek]

Spojrzałem na wyniki swoich hostów z ostatnch 24 h i ze zdziwieniem zauważyłem, iż 30-50% wu nie punktowała. Zaciekawiło mnie jak wygląda sytuacja globalnie.

cat job_log_boinc.freehal.org_projects_freehal_at_home.txt | wc -l
30086 przeliczonych wu * 6, czyli teoretycznie powinno być 180516 punktów

... moja obecna ilość punktów na stronie projektu to
189,684.00
nic z tego nie rozumiem, skąd dodatkowe 9000. XD

Przy działającym projekcie przez 24h, miałem wygenerowany download rzędu 4700MB >:( i upload 350MB.

Projekt mnie męczy. Mówię pass.

[Niekumaty Burak]

Więcej luzu. FreeHAL@home jest liczony "dodatkowo", nie zabiera czasu ani mocy obliczeniowej innym projektom, więc należy wybaczyć mu, jak nauczają w kościele katolickim. Proponuję medytację zen.

[RAD-Poland]

nic z tego nie rozumiem, skąd dodatkowe 9000. XD

w tamtym tygodniu chyba od 25.02 (okres ok 20-30% błędnych wu) przez 2 lub 3 dni płacili po 12 pkt za wu mimo, że na stronie wypisywali 6 pkt

jeden z równoległych BM
518wu x6 = 3108pkt -> jest (4050 pkt)

inny który nie liczył w tym okresie 653 wu x 6 =  3918 -> jest (3822 pkt)

[buninek]

Dzięki RAD-Poland za info. Wszystko się wyjaśniło.

W takiej formie projekt ma raczej małe szanse na w miarę ciągłą i stałą pracę serwerów,
a to wszystko i tak przy bardzo małej liczbie aktywnych uczestników.

Języka niemieckego zupełnie nie znam, a i z automatycznych tlumaczy nie chciało mi się korzystać ale domyślam się, że admin coś pisze o bardzo poważnych problemach w tym wątku
http://web.freehal.org/node/276

[AiDec]

Projekt mnie męczy. Mówię pass.

Nie rob tego. Pliiiis. W ostatnich tygodniach awansowalismy z 6-go miejsca na czwarte (przez moment bylismy nawet na 3-cim). Z tego co widze to pierwsze tez mozemy miec :). Dzieki klientom TJM`a mamy w tym projekcie naprawde bardzo duze mozliwosci - szkoda by je bylo zaprzepascic :).

[Pigu]

napisz co Pigu musi robić by pomóc, jak z dostępnością, co boli no i jak karmi

[Troll81]

Ktoś mógłby mi podesłać te klienty halowe?? to się postaram coś pomodzić :D

[buninek]

Nie rob tego. Pliiiis. W ostatnich tygodniach awansowalismy z 6-go miejsca na czwarte (przez moment bylismy nawet na 3-cim). Z tego co widze to pierwsze tez mozemy miec :). Dzieki klientom TJM`a mamy w tym projekcie naprawde bardzo duze mozliwosci - szkoda by je bylo zaprzepascic :).

Projekt wad ma całą masę. Wymienię jedną - całkowita jego nieprzewidywalność.
Duży plus to możliwość uciułania sporego RAC-u.

Na bardzo intensywne liczenie mam zbyt mało pamięci (1024MB), aby liczyć i komfortowo korzystać z komputera. 14 vserverów + 14 klientów + aplikacje to niby raptem ok 335MB, tylko potrzeba jeszcze sporo na cache, ewentualnie ramdysk. Zmniejszenie o połowę, aż tak wiele nie zmienia.
Zresztą półśrodki mnie nie interesują.

Na liczenie jednoklientowe też nie ma u mnie szans. Projekt zaliczający się do non-cpu intensive pochłania jak na mój gust zbyt wiele czasu procesora (27-30%), zanadto obciąża łącze i filesystem. Wyjaśniam obciążenie cpu występuje nie przez 30-60s a dokładnie 15 minut, czyli tyle ile aplikacja siedzi w pamięci.

Aidec spoko, raz w miesiącu obiecuję się sprężyć i wycisnąć ile się da. :attack:

[Troll81]

A ja się szykuję na złożenie jakiegoś trupa który będzie ciągnął tylko projekty non-cpu intensive i odpalenie na nim klientów halowych Wsadzę jakiś dysk na zarżnięcie i niech hula póki może :D a RAC drużynki zawsze coś będzie miał :D

[buninek]

Świetny pomysł.
Zachęcam również do liczenia osoby, które jeszcze nie uczestniczą w tym projekcie.
Nie jest tak źle.  ;)
Team może wskoczyć na podium a nawet na 1 pozycję.

[malpi]

Są próbki do liczenia i u mnie praktycznie proca nie żrą na jakies 30 WU około 4% CPU wykorzystuje freehal

[AiDec]

Najwazniejsze dla nas sa te klienty TJM`a (z tego co widze to jakies 5-6 osob jedzie na wszystkich 13-tu klientach). Dzieki tym klientom mamy wieksze szanse na zgarnianie junitow (jak sie pojawiaja), a jak WU nie ma, to klienty nie zabieraja proca (sama korzysc). Z tego co sobie popodgladalem i pokminilem, to jakby z pietnascie osob od nas mialo odpalone wszystkie 13 klientow z FreeHAL`em, to zgarnialibysmy 90% wszystkich WU z serwa. Sami pomyslcie jak szybko sie w takiej sytuacji awansuje na pierwsza pozycje - bo jak konkurencja moze COKOLWIEK zrobic (majac chocby najszybsze kompy na swiecie), jesli konkurencja nie ma junitow bo wszystkie zgarniamy MY  :arrr:.

[cezar]

A gdzie znajdę te klienty TJMa ?

[Troll81]

Trzeba się doprosić o wysłanie na maila :d Ja już prosiłem z maila mam ujawnionego w opisie. I jak na razie nie dostałem. ;)

[malpi]

Klienty freehalowe macie na stronie 10 tego wątku w poście 3 od dołu  :attack:

[eclipse99]

Ja już o tym myślałem ale po przeczytaniu całego wątku doszedłem do wniosku, że potrzebuję łopatologicznego tutorial'a dla lamerów  ;) więc jeśli znajdą się chętni do pomocy to dołączam.

[Troll81]

Na jak słabym sprzęcie możan zapuścić te klienty halowe?? wystarczy amd k6 II 450??  ;D czy mam składac coś szybszego??

[TJM]

Bez przesady, odpalenie tych klientów nie jest wcale trudne, w obecnej wersji wystarczy tylko wyedytować adresy IP w konfiguracji zdalnych hostów.

Nie wiem tylko czy warto tak się bawić na dłuższą metę, projekt często po prostu nie ma zadań i to bardzo limituje liczbę możliwych do zdobycia punktów. Z pewnych powodów także lubi się czasem coś zamotać i punktów nie dostaje się wcale - ja np. za liczenie ostatniej serii zadań nie dostałem nic, mimo że miałem przez parę dni odpalone 4 klienty  :(
W kwestii generowania dużego downloadu - teraz to i tak jest 1% tego co było wcześniej kiedy jeszcze dane ściągał z Wiki - wtedy przy 10 odpalonych klientach 24 godziny na dobę cały czas łącze było w 100% zapchane, to dopiero była masakra.
Można jeszcze bardziej to zmniejszyć, wystarczy na jednym z kompów ustawić jakieś proste http proxy i kazać reszcie klientów łączyć się przez nie - początkowo oszczędność transferu jest niewielka, ale z czasem dochodzi do 90% i wtedy jednocześnie też RAC lekko wzrośnie, ponieważ pliki ściągają się stukrotnie szybciej.

[AiDec]

I wlasnie dlatego my mamy tak wielkie szanse. Wlasnie dlatego ze projekt nie generuje zbyt wielu WU. Dzieki Twoim klientom, kazdy z nas jest wart co najmniej trzynastu `innych` ;). Ja mam odpalone 5 kompow + 22 klienty i pracuje w wolnych chwilach nad kolejnymi. Przy takich konfiguracjach naprawde mozemy `zebrac` wszystkie WU z serva :). Kazdy zabrany junit to podwojny zysk - nie dosc ze MY mamy, to jeszcze ONI nie maja :).

[Troll81]

Weż pod uwagę że wielu userów siedzi na windzie i nie ma bladozielonego jak skofigurować wiele rzeczy w windzie nie mówiąc o stawianiu proxy.. Poza tym na tych klientach można odpalać i inne projekty jak np almere czy gerasim które są nieco zaniedbane przez nasz team i mają rzadko jednostki (tu znów kłania się zasysanie WU przed konkurencją). Wystarczy spojrzeć na naszą teamową sygnaturkę :D

Kod [Zaznacz] Rozwiń

http://www.boincstats.com/signature/team_9063.gif

[TJM]

Heh to tak strasznie brzmi, postawić proxy.
A w rzeczywistości sprowadza się to do kliknięcia w instalator i ze 3 razy Next czy tam Dalej, nie pamiętam już dokładnie, a kiedyś dla celów eksperymentalnych takie coś pod Windows instalowałem. Jednak nie jest to do niczego konieczne, chyba że ktoś ma bardzo kiepskie łącze, wtedy takie proxy może się nawet lekko dodatnio na RACu odbić we FreeHALu.
Wywala wam też cannot rename output file czy znów jakiś błąd mi wskoczył dziwny ?

Nawiasem mówiąc chodzi mi po głowie skonstruowanie innego FreeHALowego klienta, takiego który by fałszywie raportował do serwera, że nie ma aktualnie żadnego zadania. W ten sposób teoretycznie projekt powinien przydzielać nowe, jednak zależnie od konfiguracji serwera stare mogą znikać z listy - muszę testnąć czy taki trick przejdzie, bo jeden klient i odpalone kilkanaście-kilkadziesiąt zadań to zawsze lepsze niż kilka klientów.

[RAD-Poland]

aby uzyskać ten efekt stosuje znane z AlmerGrid przydławienie transferu,
modyfikowany klient ncpus=8  inicjuje ściąganie 40 wu
uruchamiam 9-14 takich klientów (po nocce pełne buforki)
rotacyjnie przegrywam do ram-dysku (cisza), gdzie uruchamiam jednocześnie po 10 wu (przy większej ilości pojawiają się błędy, w przypadku uruchamiania z HDD max 3wu)

uwagi:  :ph34r: :ph34r: :ph34r:

stosując metodę ON/OFF suspend/resume przeliczania wu wspominaną już w tym temacie

Może nieprecyzyjnie się wyraziłem aplikacja coś pewnie oblicza w początkowej fazie, później sobie wisi.
Sama aplikacja po wstrzymaniu oznacza wu jako przeliczoną w przeciwnym razie po suspend, resume liczyłaby się dalej aż do 100%.

40wu klienta starcza na niecałe 2 min (czasu rzeczywistego)

najbardziej ekonomiczne (przynajmniej u mnie) jest uruchomienie przeliczania wu, wstrzymanie w 5 sekundzie, wznowienie po 50 sekundach  (czyli w 55 sek) i ponowne wstrzymanie w 60 sekundzie (wstrzymywać należy przy pełnych minutach czyli np 60,120,180 sek  - 100% skuteczność na zakończenie przeliczania i należy mieć wyłączoną funkcję przechowywanie wstrzymanych wu)

po wstrzymaniu pierwszych 10wu uruchamiamy kolejną dziesiątkę by nie tracić czasu na oczekiwanie ( każde uruchomione 10wu to 350 MB)  ;)

nie mam skryptu, jakby ktoś napisał byłoby super, wtedy można by wycisnąć jeszcze więcej  :arrr:
choć w moim przypadku niewiele gdyż mam za wolne łącze


próbowałem funkcją ln przekierować tylko katalog slots na ramdysk każdego z klientów (uniknięcie kopiowania całych klientów) ale nie działa to prawidłowo klient zakłada katalogi 0,1,2, .... ale nic do nich nie zapisuje, może problem w tym, że stosuje dynamiczny ram-dysk, ale po przegraniu całego klienta jest ok

EDIT: opisany cykl przeliczania wu dotyczy tylko RAM-Dysku, w przypadku HDD czas pierwszego wstrzymania zwiększamy z 5 do 15 sek by nie było błędów (oczywiście dużo zależy od posiadanego sprzętu i czas oraz ilość uruchamianych jednocześnie wu należy dobrać indywidualnie)

[buninek]

ja stosowałem coś takiego (bez żadnych kombinacji), odpalane z crona co 2 min

Kod [Zaznacz] Rozwiń


#!/bin/sh
f=`boinc_cmd --get_simple_gui_info | grep -B 13 -A 9 "active_task_state: 1" | grep -A 17 "   name: newFreeHAL" | grep "fraction done:" | cut -b 19-21`
p="http://boinc.freehal.org/projects/freehal_at_home/"
if [ "$f" = "0.1" ]
then
boinc_cmd --project $p suspend
sleep 5
boinc_cmd --project $p resume
boinc_cmd --project $p update
else
exit
fi


Oczywiście można go zupełnie zmienić i "zoptymalizować" na max RAC. Na 14 klientach przy działającym projekcie 24/h zapewniał 25tys punktów.
Gdybym posiadał drugi komp do pracy zapewne, bym się jeszcze trochę poużerał z freehalem...

[AiDec]

Weż pod uwagę że wielu userów siedzi na windzie i nie ma bladozielonego jak skofigurować wiele rzeczy w windzie nie mówiąc o stawianiu proxy.

Nic nie pisalem o stawianiu proxy, a jedynie o ew. uzywaniu klientow Halowych. Wiem ze to nie banal - sam nad tym chwilke musialem posiedziec i poczytac kto, co i jak robil zeby zaqmac...

Heh to tak strasznie brzmi, postawić proxy.

To moze dalbys jakis namiar na windowsowe proxy warte uwagi, z tutorialem `step by step` i opisem jak przekierowac tego FreeHAL`a na proxy. Wiem, wiem ze nie masz czasu - nie rob tego teraz, tylko kiedys w wolnej chwili :).

PS. I moze rowniez w wolnej chwili dopracowalbys te klienty (liste co do poprawienia moge Ci podeslac na PW, niektore klienty sie zle melduja - nazwa) i dorobil az do `Z`  :) :) :). Nie poganiam. Naprawde. Serio, serio ;).

Na 14 klientach przy działającym projekcie 24/h zapewniał 25tys punktów.
Gdybym posiadał drugi komp do pracy zapewne, bym się jeszcze trochę poużerał z freehalem...

Nie zakumalem Twojej wypowiedzi. Znaczy dlaczego konieczny Ci drugi komp? Dlaczego nie chcesz `sie uzerac` z FreeHAL`em majac tylko jednego kompa?

[TJM]

Niestety wypadłem zupełnie z tematu Windowsowych proxy, wiem że proste w konfiguracji jest Allegro ale pojęcia nie mam jak tam wygląda sprawa keszowania plików i zgodność ze standardami http + możliwość świadomego łamania i naginania standardów. Od paru lat mam klapki na oczach i w temacie proxy widzę tylko SQUIDa, który prawdę mówiąc też trudny w konfiguracji nie jest - praktycznie do celów eksperymentalno-freehalowych wystarczyłaby domyślna konfiguracja z ustawionymi jedynie ścieżkami do folderów cache, kwestia wyedytowania confa i zmiany paru wpisów.

Nawiasem mówiąc proxy w sieci bardzo się przydaje jeśli ma się więcej kompów podpiętych do tych samych projektów - spora część plików jest pobierana z proxy zamiast z serwerów projektu, co oszczędza na transferze wygenerowanym na łączu.

[TJM]

Chyba nie pozostaje mi nic innego jak katapultować się z projektu. Są u mnie dwa scenariusze działania: albo zadania przeliczają się normalnie ale nie dostaję żadnych punktów, albo przeliczają się do końca po czym wyskakuje cannot rename output file (to najczęściej). To tylko na moim głównym szmelcu z Windą, sprawdzałem na laptopie i tam hula bez problemu, więc musi to być po prostu coś w systemie czego akurat FreeHALowa aplikacja nie toleruje, nie mogę niestety rozkminić co. O ile pamiętam problemy zaczęły się w momencie zmiany wersji aplikacji tuż po wypuszczeniu linuksowej.
Instalowałem nowego managera od zera, czyściłem tempy, nawet katalog temp przeniosłem z CFa na normalny HDD i nic to nie zmieniło :/ Włączyłem debugowanie wszystkiego co się da w cc_config ale nie widzę nic podejrzanego w logach.

Czasami po dłuższej przerwie, kiedy serwer nie wysyła WU, ściągnie mi się parę i przeliczy poprawnie (ale punkty to już nieczęsto wpadają). Niestety po przeliczeniu kilku WU problem zazwyczaj powraca.

[AiDec]

Mam dokladnie, DOKLADNIE taka sama sytuacje jak Ty. Wiec pociesze Cie ze nie jestes jedyny. Z tego co widzialem, to kilka innych osob ma dokladnie taka sama sytuacje. IMHO wina lezy po stronie projektu. Czyli nie poddawac sie - wziac na przeczekanie :).

[TJM]

A kiedy ostatnio dostałeś jakieś punkty ? Już nawet nie pamiętam kiedy dostałem chociaż 1...

[AiDec]

Nie patrz na to ;)

[eclipse99]

Coś się ruszyło:
12 Mar 2009 21:47:50 UTC     Over     Success     Done     552.77     1.8405     6.0000

[TJM]

Niestety nie u mnie... Zassało się parę zadań (co dziwne dociągały się kolejne podczas gdy wcześniejsze się już przeliczały), przeczekałem kilka tur i oczywiście na wszystkich Cannot rename output file albo output file for ... missing.

[RAD-Poland]

1,5 godziny i 1000 wu 100% poprawnych (Linux64)  :attack:

uruchamianie po 20wu jednocześnie z HDD to już nie problem (moje wcześniejsze uwagi/problemy z uruchamianiem max 3wu na HDD wynikały z awarii zasilacza)

EDIT: test 40 wu jednocześnie wynik pozytywny, czas pomyśleć o proxy  P-)
wąskie gardło to NET (40wu, ok 50MB  starcza na 1 minutę)

[TJM]

Nareszcie coś ruszyło i dostałem pierwsze od dłuższego czasu punkty.
Poczekam z 24 godziny żeby się nie denerwować jeśli okaże się to tylko chwilowe; o ile okaże się, że jest ok wbiję znów kilkunastoma klientami  ::)

[eclipse99]

U mnie z krótką przerwą od kilku dni punktuje, ale z jakiegoś powodu punkty nie są uwzględniane przez BOINCstats.

[TJM]

Testowałem dziś keszowalność ściąganych plików na zwykłym http proxy, nie łamiącym żadnych standardów http.
Po około 200-300 zakończonych zadaniach ponad 95% plików z danymi ściąga się z lokalnego cache, więc oszczędność na transferze po necie jest ogromna, jadąc na wielu klientach i jeszcze ze skryptem suspend/resume chyba warto się pobawić  ;D

[buninek]

Nurtuje mnie nadal pytanie czym zajmuje się aplikacja, której obojętne jest, czy działa 5s czy pół godziny?
Dalej, czym różnią się poszczególne WU. Jeżeli przy 300 wu jest tak wysoki % "sprawności" cachu to
przy 6000 dobije do 99%.

Dziwaczny to projekt.

Osoby zainteresowane skryptem podnoszącym wydajność "liczenia" odsyłam tu:
http://web.freehal.org/comment/reply/322/1312

[TJM]

Teraz to jeszcze nie jest takie dziwne, gdybym się uparł to i Enigma mogłaby mieć keszowalne pliki (workunitów jest tak naprawdę 2 * 11 tysięcy, wysyłane są w kółko te same a wyniki różnią się ze względu na sposób działania samej aplikacji).
Dziwniejsze cuda działy się we wcześniejszej fazie projektu, kiedy jeszcze pobierał dane z wiki. Wtedy przekierowując aplikację np. na pustą stronę za każdym requestem, działała ona szybciej, a co ciekawe wynik był poprawny i validował się bez problemu z drugim hostem  XD

[OxyOne]

jak czytam co piszecie to oprócz znaczenia słów nie rozumiem nic. :D
policzyłbym freehala ale on liczy 10 min probke chyba ze sa jakies optymalki albo mam cos zle poustawiane.
o neta sie nie martwie.

jak byscie napisali co zrobic krok po kroku byłoby fajnie bo o jakims cache nie mam pojecia a juz nie wspomne o skryptach wydajnosci...

[buninek]

Optymalek nie ma.  Nie są potrzebne.
Na początek odpal jedynie skrypt *.BAT z zawartością podaną w linku powyżej.
Powinien skrócić czas liczenia próbki.
Żeby uzyskać wysoki RAC musiałbyś odpalić kilka(naście) managerów.
Temat był wałkowany w tym wątku wielokrotnie.

[eclipse99]

jak czytam co piszecie to oprócz znaczenia słów nie rozumiem nic. :D
(...)
jak byscie napisali co zrobic krok po kroku byłoby fajnie bo o jakims cache nie mam pojecia a juz nie wspomne o skryptach wydajnosci...

Już pisałem o tym wcześniej, ja również mało rozumiem i to że przeczytałem instrukcje o klientach halowych TJM'a nic nie zmieniło bo nadal nie wiem jak się do tego zabrać. Ten skrypt BAT też nie wydaje się czymś skomplikowanym, tylko jak go stworzyć? Czy wystarczy wkleić to w wierszu polecenia?