FreeHAL@home

[TJM]

Jest jeden problem %-) Serwer generuje za mało zadań i nawet mając odpalone 5 managerów (teoretycznie sloty na 4x10+1x1 = 41 zadań) przelicza się zazwyczaj tylko kilka.

[Pigu]

hmm udało się odpalić dodatkowego hala na twoim buildzie, zarządzam przez managera serii 6, ale jest problem - jeden hal wbija na proca pomimo    <non_cpu_intensive>  |-? (w sumie to nie wiem, czy nowy, czy standardowy)

gdzie zapisuje hal dane - w katalogu bieżącym buildu? byłoby zasadne wsadzenie buildów na ramdisk?

edit - zdaje się, że oba mają tendencję do wbijania na proca >:(

edit2 - ogólnie coś hal zrobił się pazerny na proca  ??? na notku widzę też bierze prawie rdzeń (a na nim nie robiłem żadnych modyfikacji) oraz dodatkowo rozbudza avasta do kożystania z procka - jeden wielki za :-[

[TJM]

Od 2-3 dni widzę takie zadania które wciągają proca, ale tylko przez pierwsze kilka minut, potem przeliczają się tak jak dawniej. Problem w tym, że jak się ich odpali 20 to cały czas biorą proca bo ciągle któreś są na początkowym etapie.

[AiDec]

Od 2-3 dni widzę takie zadania które wciągają proca, ale tylko przez pierwsze kilka minut, potem przeliczają się tak jak dawniej. Problem w tym, że jak się ich odpali 20 to cały czas biorą proca bo ciągle któreś są na początkowym etapie.

Potwierdzam. WU potrzebuja skorzystac z proca tylko na poczatkowym etapie. Jednak jak odpalisz 10 WU, to jedno jajo idzie praktycznie caly czas. Ale to zawsze tak bylo - nic sie nie zmienilo.

[TJM]

Jak się odpali 10-20 zadań to nie ma siły żeby wszystkich rdzeni nie wessało jeśli zadania zbiegną się razem w czasie, bo defaultowo BOINC nie ma żadnego cpu affinity i każda odpalona aplikacja może sobie korzystać ze wszystkich. Można to ograniczyć jakimś programem typu CPU Control, żeby wszystkie runnery wpychał na jeden rdzeń - ale to wtedy z kolei ogranicza szybkość przeliczania FreeHALi, co automatycznie stawia pod znakiem zapytania odpalanie wielu managerów żeby nachapać ich więcej.
Ja normalnie odpalam 5 managerów i zostawiam je samopas, początkowo wsysają całego proca ale po jakimś czasie aplikacje się 'desynchronizują' tzn nie chlają proca wszystkie na raz i obciążenie spada. Na dodatek praktycznie nigdy projekt nie udostępnia wystarczająco dużo zadań żeby wypełnić wszystkie możliwe sloty, a więcej managerów = więcej requestów co podnosi szanse na zassanie dodatkowych

Kurcze tak ładnie RAC rósł a tu od wczoraj no work from project  :(



EDITktóryśtam:
Jeśli komuś zależy na ciśnięciu na wielu klientach i jednocześnie estetyce, mogę przygotować te klienciki A-D (jak ktoś chce nawet A-Z) z wpisanym na stałe dowolnym hostname w każdym, wtedy w projekcie nie rzucają się tak bardzo w oczy  XD

[Troll81]

TJM jesteś wielki

[AiDec]

Jakbys mogl przygtotowac jakiegos gotowca (ale takiego prawdziwego gotowca, a nie ze 100.000 rzeczy do zrobienia po sciagnieciu :P), to ja bym bardzo, bardzo chetnie :).

[TJM]

Max co można osiągnąć to chyba coś takiego:

http://plikens.no-ip.net/748x1k4yp/BOINC51045Ag.7z

i tak musisz wyedytować remote hosts, wywalić 10.0.0.2 i w to miejsce wpisać IP kompa na którym śmiga manager (nawet jeśli to ten sam komp na którym masz klienta), z pewnych niewyjaśnionych przyczyn bez tego połączenie się nie udaje (w każdym razie u mnie). Domyślne hasło: dupa

Uruchamiasz run.bat i klient startuje w tle, potem normalnie już z poziomu managera przełączasz się na niego (ip_lokalne:5555 [taki port dałem domyślny, da się wyedytować w run.bat]), dalej już postępujesz standardowo tzn przyłączasz się do projektu itp; przełączenie na standardowego managera to pozostawienie pól host i password pustych w managerze.

[TJM]

Jest jakiś nowy rodzaj zadań - oznaczone newFreeHAL, odpalają się u mnie w grubych seriach po 10-15 8-)

EDIT: niestety krótko po odpaleniu kończą się errorem.

[Szopler]

[TJM]

Nieźle szybki rozwój aplikacji, chyba pierwszy widzę na raz uruchomione 3 wersje aplikacji z czego najnowsza jest o 4 nowsza od najstarszej %-)



EDIT: te 0.12 i 0.13 lepiej od razu abortować, bo większość z nich wpada w nieskończone pętle.

[Szopler]

z 14-stką też chyba nie najlepiej...

[TJM]

16 też, większość mi się zapętlała, ale parę przeszło. Póki co wyłączyłem dodatkowe managery i na zwykłym 'badam grunt'.

EDIT: jest już 0.17 w której na pierwszy rzut oka wszystko działa.

[AiDec]

Zostawilem wczoraj Boincowi 2.15GB miejsca na dysku. Jedna WUFreeHAL`a wziela wszystko. I bylo jej malo.

[TJM]

Aż takich ekstremalnych przypadków nie widziałem, ale takie które brały po 0,5GB trafiały mi się często. Wszystko zajmuje jakiś durny log w katalogu aplikacji, całe szczęście, że po zakończeniu działania nie jest odsyłany do serwera  :D

Ciekawe ile punktów przybędzie mi jak włączą validator, wczoraj jak tylko pojawiły się poprawione aplikacje liczyłem po 20-30 WU na raz  :attack:

EDIT: hmmm widzę że część punktów zwalidowało po tej punktacji śmiesznej z claimed credit, czyli cośtam-bardzo-daleko-po-przecinku za każdy WU :/

[TJM]

2008-12-11 16:44:43|FreeHAL@home|Computation for task newFreeHAL_5426118681883_0 finished
2008-12-11 16:44:43|FreeHAL@home|Computation for task newFreeHAL_6403615230936_0 finished
2008-12-11 16:45:05|FreeHAL@home|Computation for task newFreeHAL_6455305705917_0 finished
2008-12-11 16:45:05|FreeHAL@home|Computation for task newFreeHAL_3741502555395_1 finished
2008-12-11 16:45:05|FreeHAL@home|Computation for task newFreeHAL_6403615230921_1 finished
2008-12-11 16:45:44|FreeHAL@home|Computation for task newFreeHAL_7744800977682_1 finished
2008-12-11 16:45:49|FreeHAL@home|Computation for task newFreeHAL_5426118681824_0 finished
2008-12-11 16:45:55|FreeHAL@home|Computation for task newFreeHAL_3420977819044_1 finished

Przy takiej ilości zadań jaką projekt ma do wysłania obecnie mam jakieś szanse na wjechanie do top 20, może nawet top 10  XD W parę godzin jadąc na 4 klientach podskoczyłem w górę o dobre 10 pozycji  :attack:

AiDec instaluj z 10 klientów na iRAMach, podbijesz świat i wyniesiesz team na podium  :attack: :attack: :attack:

[AiDec]

Zrobie to jak tylko znajde odrobine czasu.

[TJM]

Zabawa jest dość opłacalna, bo przy sortowaniu według RACu w 12h przeskoczyłem z 96 miejsca na 26  :attack:
Byłbym już w top20 ale po prostu po jakimś czasie wszystkie klienty zaczęły ściągać tylko po jednym zadaniu, więc trochę zwolniłem. Dodam później za to więcej klientów, na razie kombinuję jakby tu transfer FreeHALa przepuścić przez lokalne http proxy.

[Pigu]

a ja w nocy zamordowałem hala - terkot dysku wprawił w synchroniczne drganie moje nerwy >:(

czyli powiadacie na sd'ka? liczy się to szybciej czy wolniej (czasy dostępu vs transfery), są adapterki wewnętrzne na sata? (ni chciałbym znowu atowskich taśm rozwijać, są właściwie teakie adaptery szybsze niż usb2?)

zamarzył mi się kontroler w pci (ew jak iram dodatkowo z kabelkiem sata) z 2 dziurami na sd i kontrolerem raid - są takie wynalazki?

[TJM]

CF -> IDE -> SATA działa bez problemu. Wydajność pod BOINCa dużo lepsza od HDD, transfer zły nie jest a czas dostępu bardzo dobry. Trzeba się jednak liczyć z możliwością utraty danych jeśli karta padnie, stąd systemu lepiej na tym nie stawiać. Ja powrzucałem managery i windowsowy TEMP tylko.

Hm gdyby tak ponarzekać na ichniejszym forum, może by wyłączyli zapisywanie do stderr w katalogu z aplikacją - z tego co widzę nie jest to nigdzie używane, a aplikacja zapisuje tam nawet paręnaście MB na minutę. Może trzeba uświadomić administrację, że pod Windows jest coś takiego jak nul  XD

EDIT: coś się wczoraj rypnęło z serwerem, najpierw ERR 403 a teraz brak nowych zadań.

[TJM]

Kombinowałem z puszczeniem całego transferu FreeHALa przez lokalne proxy. Łączy się on z serwerami de.wikipedia.org poprzez http, więc liczyłem na jakieś oszczędności w przesyłaniu danych. Niestety, na 30GB przesłanych danych (2 dni FreeHALowania) request hit rate wyszedł mi na poziomie 0,5% a byte hit rate (oszczędność w przesłanych danych) 0,01%. Przyspieszenie było nieco większe, na poziomie całych 1-3% ponieważ proxy ma własny DNS-cache, ale i tak gra nie warta świeczki.
Gdyby ktoś chciał się pobawić - wystarczy na innym kompie postawić np. SQUIDa, koniecznie na porcie 80 oraz dopisać na kompie z FreeHALem do hosts:

#10.0.0.44 rr.knams.wikimedia.org
#10.0.0.44 rr.gdns.wikimedia.org
#10.0.0.44 de.wikipedia.org

bez tych # z przodu no i oczywiście adres własnego proxy.

[Pigu]

HAL się uczy z wikipedii?

[AiDec]

Max co można osiągnąć to chyba coś takiego:

http://plikens.no-ip.net/748x1k4yp/BOINC51045Ag.7z

i tak musisz wyedytować remote hosts, wywalić 10.0.0.2 i w to miejsce wpisać IP kompa na którym śmiga manager (nawet jeśli to ten sam komp na którym masz klienta), z pewnych niewyjaśnionych przyczyn bez tego połączenie się nie udaje (w każdym razie u mnie). Domyślne hasło: dupa

Uruchamiasz run.bat i klient startuje w tle, potem normalnie już z poziomu managera przełączasz się na niego (ip_lokalne:5555 [taki port dałem domyślny, da się wyedytować w run.bat]), dalej już postępujesz standardowo tzn przyłączasz się do projektu itp; przełączenie na standardowego managera to pozostawienie pól host i password pustych w managerze.

Wlasnie zamierzalem sie za to zabrac - chwilka wolnego czasu przyszla. I chyba odpuszcze. Sciagnalem to co przygotowales i nie widze szans zeby sobie z tym poradzic - przerasta mnie to. Np. jaki IP mam wpisac? Jak mam sprawdzic jaki mam IP, skoro jestem za NAT`em, sprzetowym firewallem i na tym laczy siedzi 12 kompow... Mam podac 10.0.0.1? Przelaczyc na 5555? A jak z powrotem. Sorry, moze dla Linuksiarzy to proste, ale mnie to przerasta. Moze innym razem.


EDIT: W BM wybralem opcje Zaawansowane - wybierz komputer. Wpisalem 5555 i haslo dupa. Wszystko z dotychczasowego BM zniknelo, a `nowy` zaczal dzialac jakies 10 razy wolniej... Nawet nie wiem czy dobrze robie. Poddaje sie.

[TJM]

Ano uczy się z wiki. Z tego co widziałem, przez ostatnie 2 dni przeglądał chyba tylko linki o znanych osobach. Ciekawe na jakiej zasadzie linki te są wybierane - nie wydaje mi się żeby było ich aż tyle, żeby prędzej czy później nie zaczęły się powtarzać. Jaką wielkość w gigabajtach może mieć cała wiki ? %-)
Gdyby w końcu te linki zaczęły się powtarzać, to przy lokalnym keszowaniu uzyskałoby się kosmiczny wzrost wydajności aplikacji, pewnie kilkudziesięciokrotny, a to oznacza 1 miejsce w projekcie w przeciągu paru godzin.
Aplikacja ma jednak póki co zaciągnięty ręczny hamulec w postaci stderr.txt, plik ten rośnie i rośnie cały czas powodując zapewne spowolnienia + zapychanie dysku.
Chętnie posłuchałbym jakichś propozycji jak pozbyć się zapisywania do tego pliku we własnym zakresie %-)

[Pigu]

może zacząć ściągać wiki? :P

a poważnie, to idąc tropem czego aktualnie uczy się hal szykować mu to na dysku

[TJM]

Studiuję ten przypadek dalej
FreeHAL wchodzi na

http://de.wikipedia.org/wiki/Spezial:Zuf%C3%A4llige_Seite

co mu daje losową stronę z wiki. Użyłem prostego narzędzia do statystycznej analizy stron i czarno na białym wychodzi mi, że mając cache 10GB powinienem mieć około 80-90% przyspieszenie. Niestety, żaden z requestów nie jest keszowany ani na dysku, ani w pamięci mimo ekstremalnie agresywnych ustawień łamiących nawet wszelkie standardy http (ignore-reload np).
FreeHAL 90% czasu spędza ściągając dane z sieci, więc jeśli to rozkminię to mogę wam gwarantować, że nasz team znajdzie się na pierwszym miejscu w projekcie %-)

EDIT: częściowo to rozpracowałem, przeglądając źródła squida znalazłem niezbyt udokumentowaną opcję ignore-private, która powoduje keszowanie stron z ustawionym Cache-control: private tak jak jest właśnie na wiki. Cache się napełnia, na razie mam speedup *1.024 zobaczymy co będzie za parę/paręnaście godzin %-)

[AiDec]

Wow. Respect.

[TJM]

Coś mi się tu nie podoba. Na chwilę obecną mam request hit rate ponad 20%, czyli 20% ściąganych linków jest podawanych z lokalnego serwera proxy zamiast z netu. Spodziewałbym się 20% przyspieszenia działania aplikacji, a tymczasem nie widzę żadnego - zaczynam podejrzewać, że aplikacja po prostu ma działać ileśtam minut, naściągać w tym czasie ile się da i odesłać wyniki.
Pytanie tylko jakim cudem w takim razie wynik jest porównywany z drugim wingmanem ? Zresztą każdy z przeliczających i tak dostanie losowe URLe, więc coś mi tu nie gra %-)

[sesef]

TJM jak już dojdziesz jak to przyspieszyć z cache to można by zastanowić się nad ściągnięciem Wikipedii na dysk. Wersje niemiecką można znaleźć pod tym linkiem http://en.wikipedia.org/wiki/German_Wikipedia#Off-line_publication dałoby to jeszcze lepszy wynik niż zapisywanie już ściągniętych stron.

[TJM]

Tylko chciałbym zobaczyć, jak taką wersję offline podepniesz pod projekt. Proxy ma to do siebie, że jak zobaczy zmiany na stronie to samo zaktualizuje każdą stronkę do ostatniej wersji. Stronki ciągle się zmieniają, widzę w logach, że od czasu do czasu proxy niektóre poprawia.
Nadal jednak nie widzę zbytniego przyspieszenia samych workunitów, mimo że transfer z netu zbliża się do granicy 50% początkowego, reszta dociągana z proxy.
Jeśli aplikacja jest tak skonstruowana, że zawsze liczy ~25 minut i daje zawsze tyle samo punktów, to trzeba będzie wjechać na forum trochę ochrzanić autorów, bo gdzie tu sprawiedliwość - ktoś np. ze 100Mbit łączem do netu przetworzy dużo więcej danych od kogoś z 1M, a dostanie tyle samo kredytów.

[sesef]

Tylko chciałbym zobaczyć, jak taką wersję offline podepniesz pod projekt.

Nie wiem jak ta Wikia Offline wygląda od strony plikowej nigdy tego nie ściągałem (jak coś potrzebuje to z łączem 10 Mbit szybciej to znajdę online niż offline), ale od biedy myślałem nad postawieniem jakiegoś apache i potem przez hosts kierować na lokalny adres.

[TJM]

Tak czy siak wersja offline jest nieaktualna pewnie już w kilka sekund po ściągnięciu, więc taka zabawa nie ma sensu - lepiej zwalić wszystko na automat.

Nieźle się rozpędził FreeHAL przez proxy:

[TJM]

Zaczynam rozważać powrót do przeliczania tylko jednego WU na raz, ponieważ sposób działania projektu przestaje mi się podobać.

1) Pojedyńczy WU zaciąga średnio 30-40MB danych z wikipedii, czasami sięga to 50-55MB. Przyjmując średnią wartość 35, wychodzi 70MB na godzinę, 1.68GB dziennie. Licząc 5 WU na raz, wychodzi 8,4GB dziennie ściągnięte z wikipedii, tylko przeze mnie. Przyjmując z wielkim uproszczeniem 4 punkty za każdy WU (to na pewno będzie średnia, bo tyle dostaję za 95% wszystkich WU) wychodzi mniej więcej 8 punktów za godzinę (zakładając, że WU liczy się 30 minut - w praktyce jest to 24-26 minut). Tak wiec jest to 8 punktów za zassane 70MB.
Moje uzbierane do tej pory 10k kredytów = 1250*8, 1250*70MB = 87500MB czyli 87 GB !!! Wystarczy idąc tym tropem zsumować punkty samych 10 największych teamów, podzielić przez 8 i pomnożyć przez 70 - wychodzi skromne 7183487 MB czyli ponad 7 TB, o ile się gdzieś nie pomyliłem na dodatek.  |-? Jak myślicie, zostaje to bez wpływu na rachunki i szybkość działania wiki ?
Założę się, że nikt lub prawie nikt jeszcze nie wpadł na to, żeby postawić proxy łamiące wszelkie standardy http tylko po to, żeby oszczędzać na transferze generowanym przez FreeHALa.

2) Dość podejrzana wydaje mi się możliwość generowania jakichkolwiek pożytecznych rezultatów ze ściąganych losowo stron. Zwłaszcza biorąc pod uwagę to, że nawet po wyciągnięciu wtyczki sieci, kiedy proxy zamiast normalnej strony wiki zwraca błąd, że witryna jest nieosiągalna, aplikacja liczy dalej i co ciekawsze, wynik niby jest prawidłowy  |-?

3) Aplikacje wysyłają gdzieś jakieś dane, upload dla pojedyńczego zadania skacze czasami do 0,5Mbita/s, nie jestem w stanie nawet określić gdzie. Na pewno dzieje się to na porcie 80 bo tyle widzę w logach NL2 Monitora; jednak na moim proxy ani śladu nie widać requestów innych niż GET, więc prawdopodobnie jest to po prostu jakiś błąd aplikacji typu próba otwarcia tysiące razy pod rząd nieistniejących stron.

Może celem projektu jest zniszczenie wikipedii rachunkami ?  XD

[AiDec]

Zwłaszcza biorąc pod uwagę to, że nawet po wyciągnięciu wtyczki sieci, kiedy proxy zamiast normalnej strony wiki zwraca błąd, że witryna jest nieosiągalna, aplikacja liczy dalej i co ciekawsze, wynik niby jest prawidłowy  |-?

To teraz przekieruj calego FreeHAL`a na proxy bez pradu i masz ruch po LAN`ie za free a punkty leca choc FreeHAL nic nie robi. I patrz kiedy admini sie kapna co jest grane - moze w przyszlym roku zatrybia ;).

[Troll81]

a moze by adminom freehala uzmysłowić jakiego babola wypuścili?? i powiadomić adminów wiki żeby obcięli requesty freehala?? oszczędzą na rachunkach :) i może dorzucą się do SKB@P :D

[TJM]

Requestów z FreeHALa tak łatwo się nie bloknie, bo z tego co widzę nie używa on w ogóle żadnego ciągu identyfikującego (pusty User-Agent).
Ja ręki do dobijania wiki (i tak ciągle mają problemy finansowe) przykładać nie będę, ustawiłem na proxy wygasanie niezmienionej zawartości na 99 lat coby ściągać najmniej jak się da.

[Troll81]

Dlatego u mnie freehal zawisł był na kołku. Odwiesze jak zmienią swe postępowanie.

[TJM]

Aplikacja chyba się trochę zmieniła, pościągała mi właśnie z wielkimi bólami pliki:

2008-12-21 16:47:15|FreeHAL@home|Started download of fh-5.zip
2008-12-21 16:47:15|FreeHAL@home|Started download of fh-6.zip
2008-12-21 16:47:16|FreeHAL@home|Finished download of fh-6.zip
2008-12-21 16:47:16|FreeHAL@home|[error] Checksum or signature error for fh-6.zip
2008-12-21 16:47:17|FreeHAL@home|Finished download of fh-5.zip

Teraz jakoś oszczędniej korzysta z netu, ale wygląda na to, że zadania będą dłuższe - po 15 minutach mam 14% podczas gdy wcześniej byłoby już ponad 60.

[Troll81]

może czytają nasze forum :D i poszli po rozum do głowy? Albo w końcu ktoś z wiki się wkurzył i pogroził im paluszkiem.

[TJM]

Czort ich tam wie, na razie ściągnęło mi się jedno zadanie które na dodatek restartowało się w kółko - następne nie mają zamiaru się zasysać.

Hm...................................
Projekt daje punkty za te zadania które się nie zassały. Mimo, że pisze granted 0, punkty się doliczają i RAC rośnie.
Mając klienta podłączonego przez proxy, te 6MB pliki zasysają mi się w 0.1s, tak więc automatycznie FreeHAL stał się najlepiej punktującym projektem.
Szkoda, że niestety po niecałej godzinie problem znikł, ale i tak trochę free punktów mi wpadło %-)

EDIT:
Jest nowa aplikacja 0.19. Nasłuchuje na porcie 5173, życzę jej powodzenia w nasłuchiwaniu u użytkowników za NATem...
Jak na razie przekierowałem port  z ciekawości, ale widzę że apliacja i tak nic nie robi.

EDIT2: aplikacja jest już w wersji 0.21 i nadal nic nie robi  XD
Szkoda, że nasłuchuje na jakimś porcie, bo automatycznie zabija to możliwość odpalenia więcej niż jednej na raz, i to na całą sieć a nie tylko na jeden PC.