Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home

[TJM]

Już zresetowałem

[cezar]

Już mi pobiera WU i nowa wersja aplikacji Core 2 działa na razie poprawnie.  :)

[AL]

Pobiera i liczy ładnie - aczkolwiek nie wiem czy po tych wszystkich operacjach liczy z optymalizacją czy bez.

[cezar]

U mnie liczy szybciej. Wczesniej krótkie WU liczyło około 1740 sekund, po zmianach czas skrócił się do 1420 sekund. Także róznica dosyc znaczna. :D

[TJM]

Łatwo poznać która aplikacja działa, po nazwie. Przy standardowej pisze Enigma 0.76 5.17, a przy zoptymalizowanej enigma_m4_naval_2 5.17

[krzyszp]

A jak to ma się do linuksa? (5.7.20) - planujesz optymalizacje?

[TJM]

---------- 22:31 28.09.2007 ----------

Na linuksie najlepiej strzelić benchmarki najpierw z dostępnymi exekami, żeby sprawdzić czy w ogóle jest sens coś zmieniać. Zasadniczo powinien ten sam XML wystarczyć, tylko trzeba by w nim wyedytować nazwy exeków i numery wersji.

---------- 13:43 29.09.2007 ----------

linuksowa wersja XMLa:

http://tjm.boo.pl/enigma/app/app.tgz
binarkę enigmy do podmianki można zrobić samemu, źródło tutaj http://www.bytereef.org/software/enigma-suite-0.76.tar.gz lub ewentualnie wybrać z tych: http://tjm.boo.pl/enigma/test.tgz  http://tjm.boo.pl/enigma/test2.tgz tylko trzeba pamiętać o zmianie nazwy na enigma_0.76_i686-pc-linux-gnu

---------- 13:53 30.09.2007 ----------

Myślałem ostatnio o łyknięciu domeny dla projektu - niestety wszystkie enigmy oprócz enigma.org są pozajmowane, a to org na końcu jakoś za specjalnie mi nie pasuje %-)
Może enigmaathome.com ? Chociaż na razie to tylko w fazie pomysłu, bo sama zmiana project urla jest dość skomplikowana.

[AL]

Brzmi ok.

[TJM]

Może znalazłby się jakiś utalentowany grafik, który zrobiłby favicon do wrzucenia na stronę ?  Nie musi być w formacie .ico, mogłaby być ewentualnie bitmapka, najlepiej z możliwością ustawienia przezroczystego tła. Ikonka musi być, bo inaczej error_log za bardzo mi puchnie od wpisów o jej braku  :D Wrzuciłem tymczasowo jakieś barachło zrobione w paincie.

[Bober]

Zainstalowałem dziś testową optymalkę. 20% przyrostu szybkości na Pentium M. Dobra robota TJM  :D

[TJM]

---------- 00:13 06.10.2007 ----------

Na forum ktoś napisał , że na Athlonie X2 ciągnie mu o 41% szybciej. Wątpię jednak, żeby tak było, prawdopodobnie użytkownik ten nie zauważył, że zadania średniego typu mają podobną długość (najdłuższe typu 1 mogą być z 15% krótsze od najkrótszych typu 2) i stąd wyszedł mu taki wynik (jakieś 26% + 15% różnicy między zadaniami wygląda dość realnie).
Najwyższy potwierdzony przyrost wydajności jaki zanotowałem do tej pory osiągają niektóre PIV (chyba te najstarsze) - przyrost wydajności sięga około 27-28%.

---------- 12:48 07.10.2007 ----------

Kombinuję z rejestracją domeny - nie podoba mi się np. że przy rejestracji domeny .com będą publicznie widoczne moje dane. Na razie myślę o  enigmaathome.com ale może ktoś wymyśli lepszą ? %-)

[PMG]

Czy zmiana nazw próbek to tylko zmiana nazw czy coś głębszego  ?

[AL]

Abstrachując od tego projektu - czasami zdarza mi się dostać WU, które wcześniej było do kogoś wysłane - ale ten ktoś nie odesłał go w terminie. Po czym jak już jestem w trakcie przeliczania i sprawdzam na stronie projektu - to okazuje się, że delikwent odesłał w końcu WU po terminie i dostał punkty - natomiast jak już doliczę i odeślę ja - to dostaje w takim przypadku 0 punktów (dzieje się tak gdy minimum quorum 1 i initial replication 1 zostają wypełnione juz przedemną - tu dla przykładu dane Enigmy - w innych projektach te dane mogą się różnić). Podkreślam, że dzieje się tak w wielu projektach - nie tylko w Enigmie. Przykładowe WU i mój granted credit za te WU wynoszący 0. Czy można coś zaradzić - aby wyeliminować tą niesprawiedliwość?

[TJM]

---------- 19:25 10.10.2007 ----------

Czy zmiana nazw próbek to tylko zmiana nazw czy coś głębszego  ?

Zmiana nazwy to tylko kosmetyka, z nowej nazwy da się duzo więcej informacji wyciągnąć http://enigma.nfshost.com/index.php?topic=18
Zmieniłem to, bo w weekend i tak dużo było dłubania po obu stronach serwerów (upgrade serwera M4 i od razu drobne zmiany w moim).


Z tymi zadaniami odesłanymi po czasie to rzeczywiście niesprawiedliwe - tak na chłopski rozum jasne jest, że to ten kto nie odeśle na czas powinien mieć 0 punktów.
Pojęcia nie mam, czy da się coś z tym zrobić - trzeba by było raczej zapytać na którejś z list mailingowych, np. boinc-projects lub boinc-dev.
Być może w przyszłości serwer w ogóle nie będzie wysyłał ponownie zadań, nawet tych z błędami - a to dlatego, że w zasadzie jest to niepotrzebne i jedynie komplikuje nieco sprawy. Drugi serwer który trzyma całą baze danych także ma swoje timeouty i po 10 dniach po prostu generuje nowe zadanie ze starymi ustawieniami ale wyższym priorytetem, dlatego szybciej się przebijają przez kolejkę. Powtórki z master serwera są niezależne od sieci BOINCa, więc jeśli ktoś odeśle zadanie po czasie, to wynik prawdopodobnie nie będzie odesłany do serwera M4 (bo już wcześniej pewnie poleci wynik z innego hosta), ale wszyscy dostaną punkty.

---------- 22:27 ----------

send_result_abort
If set, and the client is processing a result for a WU that has been cancelled or is not in the DB (i.e. there's no chance of getting credit) send <result_abort>. If client is processing a result for a WU that has been assimilated or is overdue (i.e. there's a chance of not getting credit) send <result_abort_if_not_started>. Note: this will increase the load on your DB server.

może to coś da, serwer może zdalnie abortować zadania, które odesłał już ktoś inny, o ile jeszcze nie zostały uruchomione.

[RAD-Poland]

w projektach rozwiązane jest to w różny sposób
np: SIMAP jeśli odesłałeś rezultat po terminie dostaniesz punkty, ale tylko w przypadku kiedy dodatkowy host jeszcze nie odesłał wyniku (dodatkowy host zawsze dostaje punkty)

[TJM]

Switchnąłem właśnie project URL z dziadowskiego http://enigma.no-ip.net:443/enigma/ na http://www.enigmaathome.net/
Dajcie znać czy widać jakieś problemy, bo może nie wszystkie sytuacje przewidziałem - używam mod_rewrite żeby pozbyć się /enigma/ ale jednocześnie /enigma_cgi/ zostaje tak jak było.

[krzyszp]

Kod [Zaznacz] Rozwiń


2007-10-15 05:48:03|Enigma@Home|Sending scheduler request: Requested by user
2007-10-15 05:48:03|Enigma@Home|Reporting 1 tasks
2007-10-15 05:48:09|Enigma@Home|Scheduler RPC succeeded [server version 511]
2007-10-15 05:48:09|Enigma@Home|You used the wrong URL for this project
2007-10-15 05:48:09|Enigma@Home|The correct URL is http://www.enigmaathome.net/
2007-10-15 05:48:09|Enigma@Home|Using the wrong URL can cause problems in some cases.
2007-10-15 05:48:09|Enigma@Home|When convenient, detach this project, then reattach to http://www.enigmaathome.net/
2007-10-15 05:48:09|Enigma@Home|Deferring communication for 6 min 3 sec


[TJM]

Tak ma być, stary URL będzie działał, nie mam zamiaru w ogóle go wyłączać.

[AL]

Używam BAM i nie mam opcji "Opuść projekt" - takie coś mam w BAM tylko. Czy mam tam opuścić - czy po przez BAM da się to rozwiązać jakoś automatycznie?

[TJM]

Nie mam pojęcia, być może trzeba będzie do gości od BAMa napisać, żeby jakoś uwzględnili zmianę URL projektu. Sam z tego nie korzystam, bo wszelkie managery kont dość mocno przeszkadzają przy eksperymentach %-)
Jeśli nie przeszkadza ci ten wpis w logach, to na dobrą sprawę możesz po prostu to olać. Wszystkie 'wewnętrzne' linki same się aktualizują na nowe, jedynie ten w kliencie zostaje stary.

[Thomas]

Testuje narazie TJM twoje optymalizacje pod Enigmę i wszystko dobrze chodzi (może jak coś się posypie to zgłoszę na forum projektu).

Optymalizacja dla C2D - E2160 @ 3 GHZ - było ~1450 s (25 minut) jest ~1160 s (20 minut) (20 % wydajniej). (próbki hceyz72_0, na 1 i 2 też się zmniejszyło ale nie wiem o ile)

[AdNet]

zainstalowałem i też nie stwierdziłem żadnego problemu - zaczęły się liczyć normalnie

Kod [Zaznacz] Rozwiń

2007-10-18 20:10:20|Enigma@Home|Starting task hceyz72_3_243437_r0_0 using enigma_m4_naval_2 version 517

U mnie też OK, bez problemów jak na razie - zobacze po nocy wyniki próbek i potwierdzę najwyżej.

[tito]

---------- 23:17 20.10.2007 ----------

A ja zauważyłem problem. Nie wiem, czy to przez optymalizacje, czy nie - nie mam czasu na sprawdzanie, ale przy odłączeniu od projektu, boinc manager mi się powiesił (na dwu różnych kompach).

---------- 01:39 ----------

Update: Przy oryginalnym niezoptymalizowanym kliencie projekt opuściłem bez problemów.

[TJM]

---------- 21:14 20.10.2007 ----------

Ja opuszczałem projekt i podłączałem się ponownie co najmniej kilkadziesiąt razy, na różnych systemach i wersjach BOINCa. Nigdy nie widziałem żadnych problemów.

---------- 10:39 30.10.2007 ----------

Jutro w godzinach wieczornych (20-21 naszego czasu, tak pi razy drzwi) wyłączam cały serwer na kilka godzin, żeby upgrejdnąć wszystko do ostatniej wersji. Podejrzewam, że zajmie to od 3 do 6 godzin, w tym czasie mam zamiar zmieścić się z upgrejdem serwera, potem wprowadzeniem z powrotem paru modyfikacji i przetestowaniem czy wszystko działa.
Podczas tego dłubania całość będzie wyłączona, wszystkie podstrony będą przekierowywać do komunikatu o maintenance.

Upgrade jest konieczny, ponieważ pojawiły się nowe bajery typu teamy zakładane od razu we wszystkich projektach, w związku z czym developerzy zalecają aktualizację.
Poza tym ostatnio wszystkie projekty zostały zaatakowane przez spamerów, zakładających konta i profile typu 'buy viagra', nowy kod jest trochę pozabezpieczany.
Teoretycznie taki upgrade powinien zająć z godzinę, razem z backupem i quick testem czy wszystko działa, jednak tutaj mści się na mnie kilka modyfikacji kodu - musiałem porównywać wszystkie swoje źródła z wersją repozytorium, którą użyłem, żeby znaleźć wszystkie zmiany które powprowadzałem :lol: Jak to mówią, człowiek uczy się przez całe życie, ja się właśnie nauczyłem, żeby każdą zmianę w plikach notować sobie w zeszycie  :lol:

---------- 12:06 08.11.2007 ----------

Edit: od jakiegoś czasu serwer jest regularnie updejtowany. Co prawda powoduje to czasami dodatkowe kłopoty (na szczęście zazwyczaj krótkotrwałe), ale można potestować najnowsze bajery - wczoraj np. dodali stanowisko 'Team Admina' który ma nieco mniejsze możliwości od foundera.

[kret]

no to widzę, że faktycznie się wszystko ładnie i prężnie rozwija :)

=D>

[Bober]

Nie mogę pobrać jednostek chociaż jest

Results ready to send:   1,226

Ktoś jeszcze ma problemy, czy u mnie się coś popsuło ?

[TJM]

W logu nic nie pisze czasami ?
Nie zdziwiłbym jakby były jakieś problemy, bo upgrejdnąłem serwer do kodu z serii 14200+ który ma już legendarną ilość błędów %-)

[Bober]

Zwykłe "no work from project".

Odłączyłem się na próbę od projektu. Zaowocowało to zwiechą BOINCa  :(
Ponowne przyłączenie nic nie pomogło.

[TJM]

Zwiecha BOINCa to już udokumentowany problem, jeśli zainstalowana jest zmodyfikowana aplikacja. Reportowałem to do developerów, jednak jak na razie nikt nie wie dlaczego tak się dzieje.
Btw, jakiej wersji managera używasz ?

[Bober]

5.10.20

Właśnie, optymalizacja. Byłbym zapomniał  :P

Zmiana wersji może pomóc?

EDIT: na drugim kompie dostaję z kolei "Scheduler request failed: HTTP file not found". Wersja 5.8.16

[TJM]

Zobacz czy ręcznie możesz otworzyć link do schedulera (http://www.enigmaathome.net/enigma_cgi/cgi o ile pamiętam)

[Bober]

Kod [Zaznacz] Rozwiń

scheduler_reply>
<scheduler_version>601</scheduler_version>
<master_url>http://www.enigmaathome.net/</master_u rl>
<request_delay>363.600000</request_delay>
<message priority="low">Incomplete request received. </message>
<project_name>Enigma@Home</project_name>
</scheduler_reply>

[TJM]

Heh wiem chyba w czym problem :P

Te zadania, które zostały na serwie, są oznaczone jako 'High Priority' i wysyłane tylko do kompów z niskim Average turnaround time (poniżej 1,5 dnia). Nie przewidziałem, że kiedyś może być ich tak dużo, że work generator nie będzie generował 'normalnych'.

[Bober]

No tak. Nie liczyłem Enigmy ze 2 tygodnie. Mam za swoje  :wink:

[TJM]

Ściągają się już nowe zadania ? :>

Niestety, mechanizmu z 'reliable hostami' muszę używać - za każdym razem, kiedy zadanie wraca z błędem albo timeoutem, priorytet rośnie o 1, a zadania z priorytetem wyższym od normalnego wysyłane są tylko do hostów, które spełniają określone kryteria. W chwili obecnej jest to RAC bodajże 50+ (to akurat żadne wymaganie, tyle to ma PIII 533) i turnaround poniżej 2 dni (turnaround to chyba czas od wysłania zadania do jego powrotu). To też w sumie żadne wymaganie - po prostu w ten sposób 'wybieram' kompy z małym buforem, które prawdopodobnie szybko odeślą zadanie.
Bez tego zdarzało się, że np. zadanie trafiało 3 razy pod rząd do kolesi którzy nigdy go nie przeliczali; przed zrzuceniem z bazy do archiwum grupuję zadania w paczki po 10,000 kolejnych i po prostu nie mogłem skompletować ani jednego pełnego archiwum, bo w każdym było po kilka takich niefortunnych zadań które błąkały się po różnych hostach %-)

[Bober]

Taaaak. Dzięki  :!:

[Akira]

może to zły temat, ale chciałbym zgłosić iż liczę od wczoraj na enigma@home i zliczyłem już kilka próbek i na żadnej pasek postępu się nie aktualizował (ciągle jest 0.0), ale dolicza próbkę do końca i wysyła. Uruchomione seti@home na tym samym kompturze działa poprawnie. I dlaczego jedna próbka nie chcę zniknąć? Pisze 100%, status odesłany a ciągle widnieje w zakładce "Zadania". Zrobiłem screena aby zobrazować problem:

[emik]

ręczne zaktualizowanie projektu też nie pomaga?

[Akira]

ręczne zaktualizowanie projektu też nie pomaga?

Pomogło z tym jednym zadaniem wysłanym. Pasek postępu ani drgnie

[TJM]

---------- 01:40 18.11.2007 ----------

Pasek postępu nie działa, bo w oryginalnym BOINCowym wrapperze brak jest funkcji, które mogłyby go uaktualniać. Prawie miesiąc temu zacząłem testy nowego wrappera, z liniowym postępem, aktualizowanym co 1/13 lub 1/26 zależnie od zadania. Jednak do tej pory nie jest dokończony ze względu na parę problemów - np. pod Windows napotkałem problemy z dostępem do pliku (wrapper czyta checkpoint enigmy żeby obliczyć postępy), poza tym okazało się, że kod nie dawał się skompilować pod linuksem, parę linijek czeka na wymianę.
Obecnie prace nad wrapperem wstrzymane, bo pojawiło się dużo dłubania przy kodzie strony i serwera, chwilowo końca nie widać - ostatnie releasy kodu są bardzo niestabilne %-)

---------- 21:09 ----------

Dziś pół dnia siedziałem nad plikami, Simek i Ageless pomogli poprawić masę błędów dzięki czemu od razu strona oraz forum wyglądają dużo lepiej. Zniknęły problemy z polskimi znakami, wbudowane forum jest poprawione (na chwilę obecną nie widzę żadnych błędów) oraz tłumaczenie stron zostało zaktualizowane. Działają nawet PL znaczki na forum i w profilach/opisach teamów, dlatego pozwoliłem sobie ustawić na chwilę siebie jako foundera i poprawić krzaki.
http://www.enigmaathome.net/team_display.php?teamid=1