Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home

[RAD-Poland]

nie edytowałem go, zawsze przed kompilacją miałem świeże źródło,
spróbować nie zaszkodzisprawdziłem jak zachowuje się ten plik - zgodnie z podanymi parametrami w pliku conf-cc

[TJM]

Ciekawe, zrobię zaraz na tym samym kompie exeki z innymi -marchami, zobaczymy czy będą też wolniejsze.

[RAD-Poland]

super (sprawdzimy)
jak możesz udostępnij je podobnie jak Winowsowe w benchmarkuEDIT: lepiej archiwum zip niż rar

[TJM]

Trochę to potrwało, nie przewidziałem tego, że tamten stary komp bardzo wolno kompiluje.
Zrobiłem wszystkie exeki na jakie pozwalał stary kompilator, jechałem po kolei po safe cflagach dla gentoo. Niestety na AthlonieXP i P4 kończą się możliwości tego gcc.
Nie sądzę jednak, żeby exeki robione specjalnie pod core2/athlony 64 były jakoś specjalnie szybsze od tych.

tjm.boo.pl/enigma/test.tgz

[RAD-Poland]

przetestowałem dziś jedną, jutro powtórzę testystandard 395 sek
athlon_xp - 386 sek
minimalnie lepsza aplikacja niemniej różnica w granicach błędu pomiarowego (tylko jeden pomiar)
u mnie dla athlon_xp wyszło 426 sek - prawdopodobnie wina kompilatora (nowszy ale wolniejszy)

[TJM]

tjm.boo.pl/enigma/test2.tgz - druga porcja exeków, z nowszego systemu.
W przypadku polecenia time błędów pomiarowych chyba nie ma, przynajmniej u mnie wyniki wychodziły prawie identyczne za każdym razem.

Hm... czyżby BOINCowe benchmarki pod linuksem były dużo gorsze od windowsowych ?
Testowałem pod linuksem Athlona i claimeduje tam ponad 2 razy mniej creditów, niż pod windowsem.

[D_T_G]

Hm... czyżby BOINCowe benchmarki pod linuksem były dużo gorsze od windowsowych ?
Testowałem pod linuksem Athlona i claimeduje tam ponad 2 razy mniej creditów, niż pod windowsem.

5.8.17 miało najlepsze benchmarki, ale je wycofano z obiegu, jakieś tam bugi, których u mnie nie ma więc nie downgrade'owałem i liczę na 5.8.17 od dobrych kilku miesięcy :) Sam zobacz, wczoraj się przyłączyłem do Enigmy i na razie śmiga.

[TJM]

W sumie problem benchmarków akurat w tym projekcie jest kosmetyczny, bo punkty są i tak przydzielane za stałą długość zadania.
Tak w ogóle, to linuksowe maszyny mają przewagę nad windowsowymi - exeki i tak nie działają na bardzo starych systemach, więc domyslny linuksowy exe ma jakieś podstawowe optymalizacje i działa sporo szybciej od windowsowego.

Nie mogę się jednak pozbyć tego problemu z brakiem +x na enigmie - ustawiłem w XMLu executable dla tego pliku, a mimo to BOINC to olewa.

[RAD-Poland]

testy kompilacji z test2.tgz -> gcc4.1

athlon64(march=k8 ) i opteron(march=opteron) - ten sam kod wynikowy
440 sek
438 sek

pentium-3
454 sek

default i pentium-m - ten sam kod
470 sek

nocona
506 sek

athlon-xp
527 sek
513 sek (powtórka testu)

testy kompilacji z test.tzg -> gcc 3.2

pentuim-3 i Enigma@home - ten sam kod, kod rozsyłany do użytkowników
378 sek
(393 sek, 395 sek - pomiary z poprzedniego dnia)

default (arch ??)
422 sek

athlon-xp
380 sek
386 sek

pentium-3 + sse2  :!:
576 sek
587 sek (powtórka pomiaru) :?:

:!:  test wykonane na Athlon64X2 3800+ 2,0@2,2
na innych procesorach (np Intela) wyniki mogą całkowicie odmienne
również przydałoby się zweryfikować uzyskane wyniki na inny komputerze z podobnym procesorem (licho wie co siedzi w systemie)  :wink:

najbardziej zdziwiła mnie różnica wyników pentium3 bez i z flagą -msse2
uzyskujemy najszybszy i najwolniejszy kod  :?
no i gcc 3.2 górą

[TJM]

---------- 12:50 18.09.2007 ----------

pentium3 +msse2 to chyba kod dla mobilnych pentiumów-m.
Zastanawiam się nad skompilowaniem windowsowej wersji na tym starym gcc, bo widać że daje to niezłe rezultaty z jakiegoś powodu.

---------- 22:13 19.09.2007 ----------

Poprawiłem chyba ten bug z chmodami na linuksie. Czy ktoś z linuksowców mógłby się odłączyć od projektu i podłączyć ponownie, żeby to zweryfikować ? U mnie działa, ale wolę mieć pewność.

Zacząłem też dłubać przy XMLach, żeby wyczaić sposób podmiany exeków na zoptymalizowane. Jednak na razie, oprócz masy błędów w profilu eksperymentalnego hosta, nie przyniosło to żadnych rezultatów. :lol:

[tito]

Zacząłem też dłubać przy XMLach, żeby wyczaić sposób podmiany exeków na zoptymalizowane. Jednak na razie, oprócz masy błędów w profilu eksperymentalnego hosta, nie przyniosło to żadnych rezultatów. :lol:

A nie lepiej, przynajmniej tymczasowo, zamieścić zoptymalizowane wersje gdzieś na serwerze do ręcznego pobrania? Patrz przykład seti i swego czasu einsteina - tam to jakoś działa.

[krzyszp]

Chtba jednak automatyczne wysyłanie optymalizowanej wersji daje lepszy wynik, z serwera stosunkowo mało osób je pobiera, choć oczywiście tymczasowo może funkcjonować i takie rozwiązanie.

Ps. Czy w ogóle jakiś projekt wysyła optymalizowane wersje automatycznie?

[TJM]

A nie lepiej, przynajmniej tymczasowo, zamieścić zoptymalizowane wersje gdzieś na serwerze do ręcznego pobrania? Patrz przykład seti i swego czasu einsteina - tam to jakoś działa.

To chyba konieczność, bo przekopałem dziesiątki stron z dokumentacją i nigdzie nie ma wzmianki o tym, czy da się jakoś zautomatyzować pobieranie optymalizacji.

Jedyny sensowny sposób byłby taki jak z linuksem: udostępnić w miarę uniwersalny, szybszy exek, a ewentualnie dla osób z starszymi procami chcących się przyłączyć, konieczność ręcznej podmianki na inny.

Czekam z dalszym kombinowaniem aż na testowym hoście zejdzie mi dzienny limit próbek, bo nie chcę ręcznie bazy edytować, a wczoraj za dużo błędów było i zblokowało wysyłanie do tego hosta  :D

[RAD-Poland]

Poprawiłem chyba ten bug z chmodami na linuksie. Czy ktoś z linuksowców mógłby się odłączyć od projektu i podłączyć ponownie, żeby to zweryfikować ? U mnie działa, ale wolę mieć pewność.

mogę potwierdzić, u mnie też działa poprawnie  8)

[TJM]

Kombinując z mod_proxy i mod_rewrite udało mi się wymyślić taki patent, że strona jest osiągalna również pod adresami http://enigma.no-ip.net/enigma/ i http://enigma.no-ip.net/
Jednak nie będę zmieniał adresu URL projektu, lepiej, żeby wskazywał na maszynę, gdzie rzeczywiście jest serwer. Przynajmniej do czasu, aż dorwę jakiś zewnętrzny serw z mod_proxy i mod_rewrite - wtedy za jednym zamachem zmieni się url i znikną problemy z DNSem. Kłopot tylko ze znalezieniem czegoś takiego - przekopałem mnóstwo stron i jak na razie kapa.

[PMG]

Z tego co widzę w statystykach projektu to próbek na razie jest troche :)

Acha - kicha jest. Spadlismy na 2 miejsce w Enigmie i mamy strate 600 punktów w RACu. I wcale nie jest tak że jesteśmy dobrzy. Tacy w czołówce ale nie superaśni jak na początku.

[TJM]

Liczba wszystkich zadań na serwerze M4 to chyba 5,6 miliona*, a mój serwer przechowuje tylko tyle, żeby był jakiś zapas pozwalający na ewentualne parogodzinne dłubanie przy wrapperze. Przez ostatnie dwa dni były przejściowe problemy z komunikacją między serwerami, co spowodowało chwilowe braki zadań.

* to maksymalna liczba zadań przewidziana na tekst/ustawienia serwera. Odpowiada to chyba liczbie co najmniej kilku tysięcy przebiegów po całym zakresie ustawień. Tak długo raczej nie będziemy czekali, myślę, że jeśli najbliższe 100-200 przebiegów nie przyniesie rezultatów, to zmieni się taktykę.

[lukaszde]

zeby bylo jasne, to co teraz testujemy jako alpha, to sa probki pobrane z projektu M4, obliczamy, odsylamy na Twoj serwer i sprawdzasz czy sa dobre/czy przesylasz do m4? W ogole jaki jest szczegolowy plan na najblizszy czas ?

[TJM]

---------- 08:42 24.09.2007 ----------

Projekt ma status alpha (i jeszcze długo tak zostanie), ale zadania są z serwera M4 projektu: http://www.bytereef.org/alpha-stats.txt
Podczas pierwszych testów brałem zadania z starego alpha serwera, później Stefan zmienił ustawienia i teraz jest to coś w rodzaju 'productive testu' - tzn trzeba mieć świadomość, że coś się może wysypać, może nie działać albo mogą być problemy, ale czas procesorów nie idzie na marne

Btw, dziś w późnych godzinach wieczornych prawdopodobnie zmienię linuksową wersję aplikacji, na binarki skompilowane przez Stefana - powinny być bardziej kompatybilne z wieloma systemami, co być może wyeliminuje problemy tego typu http://enigma.nfshost.com/index.php?topic=10.0 ale z drugiej strony, są też sporo wolniejsze (jakieś 10%). Zmniejszy się przez to nieco różnica prędkości między linuksową a windowsową aplikacją, ta pierwsza w niektórych przypadkach była nawet 50% szybsza. Jednak podejrzewam, że linuksowa wersja i tak będzie działać szybciej, okaże się w praniu.
Początkowo zmiana była zaplanowana na dziś rano, ale na skutek nagłej zmiany planów jestem w robocie (dobrze, że nikt nie patrzy jak się obijam  :P) i do domu dotrę dopiero pod wieczór.

W weekend zrobiłem też dużo prób z XMLami w celu podmiany aplikacji na szybsze wersje. Stopień trudności wykombinowania czegoś takiego jest nieco wyższy, niż w projektach nie używających wrappera. Wykombinowałem, że trzeba stworzyć XML zawierający opis wszystkich plików aplikacji, z czego dwa trzeba zmienić - główną aplikację i job.xml (lub, od biedy, zmienić po prostu nazwę nowego exeka na nazwę starego, wtedy odpada konieczność dłubania w job). Wrapper, ciphertext i oba słowniki pozostają bez zmian. Jak uda mi się to doszlifować, udostępnię do testów szablon XMLa i exeki. Trochę się jeszcze zejdzie z tym, nie mogę zbyt intensywnie kombinować, bo przy tego typu próbach powstaje dużo błędów, co kończy się tym, że mój host na 24h przestaje dostawać zadania.

---------- 09:47 ----------

EDIT: wyczaiłem jakiś wirtualny dedykowany hosting, wieczorem może wykupię tam konto i potestuję - jeśli uda się odpalić apache z mod_proxy/mod_rewrite i ewentualnie innymi potrzebnymi bajerami, to w najbliższym czasie powinny skończyć się problemy z dynamiczną domeną.

---------- 19:00 26.09.2007 ----------

07-09-26 18:52:11|Enigma@Home|Found app_info.xml; using anonymous platform
07-09-26 18:52:14|Enigma@Home|Restarting task test3_1_148484_0 using enigma_m4_naval_2 version 517

Jeśli ktoś chce się pobawić z innymi exekami:

Najpierw trzeba (przy wyłączonym boincu) wypakować te pliki do katalogu projektu, zastępując stare:
http://tjm.boo.pl/enigma/app/app_test.rar
To jeszcze nic nie zmienia, bo exek nadal jest stary. Teraz stąd http://tjm.boo.pl/enigma/app/exe.rar trzeba zassać archiwum z exekami, wybrać odpowiedni i zastąpić stary.
Po uruchomieniu managera, powinien zacząć używać podmienionej aplikacji, bez żadnych dodatkowych komplikacji - tzn aktualnie liczone zadania powinny sie wznowić. Jednak różnie może być, więc trzeba przygotować się na to, że coś może się posypać.
Testnąłem to na kilku swoich kompach, wszystkie łyknęły aplikację bez problemu.

[emik]

zainstalowałem i też nie stwierdziłem żadnego problemu - zaczęły się liczyć normalnie

Kod [Zaznacz] Rozwiń

2007-09-26 19:26:10|Enigma@Home|Found app_info.xml; using anonymous platform
2007-09-26 19:26:10||Processor: 2 GenuineIntel Intel(R) Core(TM)2 CPU         T5500  @ 1.66GHz [x86 Family 6 Model 15 Stepping 2]
2007-09-26 19:26:10||Processor features: fpu tsc pae nx sse sse2 mmx
2007-09-26 19:26:10||OS: Microsoft Windows XP: Home Edition, Dodatek Service Pack 2, (05.01.2600.00)
2007-09-26 19:26:10||Memory: 1015.36 MB physical, 2.38 GB virtual
2007-09-26 19:26:10||Disk: 54.71 GB total, 31.41 GB free


[tito]

Na A64 i C2D idzie normalnie - jeśli wystąpią błędy dam znać.

[Simek]

Potwierdzam C2D działa poprawnie...

Jeszce mam małe pytanie - czy moge odpalić optymalne pod A64 jak mam Semprona64? xD

[tito]

---------- 04:46 27.09.2007 ----------

A64 się natychmiast wysypuje. Procek to dokładnie laptop na A64 3700+ z win xp sp2.




Na C2D też.... Laptop z C2D 1.66 win xp SP2

2007-09-26 20:45:38|Enigma@Home|Computation for task test3_1_147932_0 finished
2007-09-26 20:45:38|Enigma@Home|Starting test3_1_148233_0
2007-09-26 20:45:38|Enigma@Home|Starting task test3_1_148233_0 using enigma_m4_naval_2 version 517
2007-09-26 20:45:39|Enigma@Home|Deferring communication for 1 min 0 sec
2007-09-26 20:45:39|Enigma@Home|Reason: Unrecoverable error for result test3_1_148233_0 ( - exit code -108 (0xffffff94))
2007-09-26 20:45:39|Enigma@Home|Computation for task test3_1_148233_0 finished
2007-09-26 20:45:39|Enigma@Home|Starting test3_1_148550_0
2007-09-26 20:45:39|Enigma@Home|Starting task test3_1_148550_0 using enigma_m4_naval_2 version 517
2007-09-26 20:45:40|Enigma@Home|Deferring communication for 1 min 0 sec
2007-09-26 20:45:40|Enigma@Home|Reason: Unrecoverable error for result test3_1_148550_0 ( - exit code -108 (0xffffff94))
2007-09-26 20:45:40|Enigma@Home|[file_xfer] Started upload of file test3_1_147932_0_0
2007-09-26 20:45:40|Enigma@Home|Computation for task test3_1_148550_0 finished
2007-09-26 20:45:40|Enigma@Home|Starting test3_1_148526_0
2007-09-26 20:45:40|Enigma@Home|Starting task test3_1_148526_0 using enigma_m4_naval_2 version 517

[AL]

U mnie na A64 X2 póki co w normie. Jest jakieś  przewidywane przyspieszenie?

[TJM]

tito: to z logów:

<core_client_version>5.10.20</core_client_version>  
<![CDATA[
<message>
- exit code -108 (0xffffff94)
</message>
<stderr_txt>
can't open job file job.xml
can't parse job file: -108

</stderr_txt>
]]>

sprawdź czy aby na pewno masz tam plik job_1.14.xml w katalogu projektu, po skopiowaniu patcha.

Przyspieszenie powinno być znaczne. Nie jestem w stanie stwierdzić, jak duże będzie na Athlonie 64, bo nigdy nie odpalałem na nich żadnej wersji enigmy pod windowsem, ale myślę, że można się spodziewać co najmniej 15%.

[tito]

sprawdź czy aby na pewno masz tam plik job_1.14.xml w katalogu projektu, po skopiowaniu patcha.

Przyspieszenie powinno być znaczne. Nie jestem w stanie stwierdzić, jak duże będzie na Athlonie 64, bo nigdy nie odpalałem na nich żadnej wersji enigmy pod windowsem, ale myślę, że można się spodziewać co najmniej 15%.

Na A64 już poszło - za nic nie wiem jak to zrobiłem (niby tak jak poprzednio, ale przed kopiowaniem wszystko spauzowałem, wyszedłem z BOINCa, skopiowałem, uruchomiłem BOINC i dałem "wznów" na każdy z WU-tylko co to niby miało zmienić?). Na C2D chwilowo nie mogę pobrać nowych unitów (too recent connection). Przepraszam za kilka skopanych WU - trochę poczekają na ponowne wysłanie.

Edit. Na C2D ciągle nic, ten sam błąd - wszystkie pliki są. Problemy na jutro, idę oglądać godzillę :)

[TJM]

Serwer dobrze sobie radzi z uwalonymi zadaniami, nie ma się co przejmować takimi rzeczami. Praktycznie jedyny skutek uboczny błędów, to chwilowe zmniejszenie się daily wu quota. Tak btw, to czy ktoś z was zetknął się już z tym limitem, podczas normalnego działania ? Od początku ustawiłem na 50xliczba CPU, co wydawało mi się dość odpowiednią wartością, biorąc pod uwagę to, że mało jest zapewne kompów, które dadzą radę tyle przeliczyć w ciągu 24h...

[emik]

u mnie na C2D wszystkie wu wywaliły się z błędem -108

[TJM]

właśnie na jednym z kompów sypnęły mi się zadania, po kilku przeliczonych pojawił się ten problem z job.xml - podejrzewam, że któryś z plików zasysa się ponownie z serwera, mimo, że nie powinien. Pokombinuję jak to naprawić, póki co lepiej wrócić do starej wersji (wystarczy chyba wykasować wszystko oprócz plików 00hc_wu* i powinno samo się naprawić).

EDIT: poprawiłem XMLa. Poprawię archiwum na serwerze, jak tylko uda mi się połączyć z ftp.

EDIT2: poprawiony

[AL]

Jednak i u mnie są kłopoty. Zrobiłem tak jak napisałeś i po ponownym uruchomienia BOINC ładnie zastartowały przerwane wcześniej jednostki, przeliczyły się do końca. Niestety w momencie gdy miał zacząć przeliczać nowe próbki wystąpił u mnie ten sam błąd co u innych (108). Chwila nieuwagi i wywaliło mi 90 WU :cry:

[TJM]

Jeśli będziesz miał po tym zacier z ściąganiem nowych, daj cynk to wyedytuję w bazie wu_quota hosta.

[tito]

Jednak i u mnie są kłopoty. Zrobiłem tak jak napisałeś i po ponownym uruchomienia BOINC ładnie zastartowały przerwane wcześniej jednostki, przeliczyły się do końca. Niestety w momencie gdy miał zacząć przeliczać nowe próbki wystąpił u mnie ten sam błąd co u innych (108). Chwila nieuwagi i wywaliło mi 90 WU :cry:

Oooo to jest To. Jak ktoś napisał to wszystko jasne - nowy klient dokańcza już zaczęte jednostki, lecz przy nowych wywala błąd. Właśnie to sprawdziłem na jednym hoście.

[TJM]

---------- 23:44 26.09.2007 ----------

U mnie nowa wersja XMLa poprawiła ten problem.

---------- 01:59 27.09.2007 ----------

Tak wygląda u mnie różnica między gołą aplikacją a zoptymalizowaną (typ zadania: 3)

[cezar]

---------- 08:02 27.09.2007 ----------

Na Core jednak cały czas wywala błędy

---------- 08:43 ----------

Jeśli będziesz miał po tym zacier z ściąganiem nowych, daj cynk to wyedytuję w bazie wu_quota hosta.

Nie mogę pobierac juz nowych WU - 200 results. Prosze o edycję.

[tito]

Na A64 też ciągle się sypie. Hmm... zaraz sprawdzę na optymalizacji dla Athon Xp

Update : to samo:/

Edit: Właśnie sprawdziłem kredyty za jedyny prawidłowy unit przeliczony przy użyciu optymalizacji :D
Na A64 przy 3000 sekund standardowo dawało mi claimed ~11 granted ~8. Przy optymalizacji claimed 12 granted 15. Piękny wzrost, aby tylko chciało działać cały czas...

[TJM]

---------- 10:22 27.09.2007 ----------

Wyedytowałem wpisy.
Nie wiem jak to możliwe, ale na FTPie znów jest stara wersja aplikacji, dlatego wam się sypie. Wczoraj miałem jakieś problemy z łączeniem się tam, może coś było nie tak i przywrócili jakiś backup czy coś... Uploadnąłem nowe archiwum ponownie i teraz ściąga się dobre. Na wszelki wypadek wrzuciłem też tutaj http://s004.wyslijto.pl/index.php?file_id=78366266697153652778 - link przez parę dni będzie działał.

---------- 10:59 ----------

Plik po ściągnięciu powinien mieć 180087 bajtów - jeśli ma 1801xx to jest to stara wersja, która jakimś cudem gdzieś się 'zakeszowała'. Widzę, że u mnie dalej z boo zasysa się stara, mimo, że na ftpie jak wół widzę nową.

[AL]

Ja mam inny dziwny problem:

Kod [Zaznacz] Rozwiń

2007-09-27 12:07:58|Enigma@Home|Sending scheduler request: To fetch work
2007-09-27 12:07:58|Enigma@Home|Requesting 1762733 seconds of new work
2007-09-27 12:08:08|Enigma@Home|Scheduler RPC succeeded [server version 511]
2007-09-27 12:08:08|Enigma@Home|Message from server: No work sent
2007-09-27 12:08:08|Enigma@Home|Message from server: (reached daily quota of 2 results)
2007-09-27 12:08:08|Enigma@Home|Deferring communication for 59 min 3 sec
2007-09-27 12:08:08|Enigma@Home|Reason: no work from project


to "reached daily quota of 2 results" było chyba ustalone na 50 wcześniej?

Acha comp nr 5 jakby co. Na innych po staremu mam 50.

[TJM]

Ustawione jest na 60, po prostu zmniejsza się o połowe po każdym błędzie, a potem powoli wraca do normalnej wartości, jeśli wszystko działa.
Zresetowałem wu quota dla tego hosta.

[emik]

host nr 4:

mimo, że są wu na serwerze to:

Kod [Zaznacz] Rozwiń


2007-09-27 16:32:44|Enigma@Home|Sending scheduler request: Requested by user
2007-09-27 16:32:44|Enigma@Home|Requesting 3456000 seconds of new work
2007-09-27 16:32:49|Enigma@Home|Scheduler RPC succeeded [server version 511]
2007-09-27 16:32:49|Enigma@Home|Message from server: Not sending work - last request too recent: 35 sec
2007-09-27 16:32:49|Enigma@Home|Deferring communication for 1 min 0 sec
2007-09-27 16:32:49|Enigma@Home|Reason: no work from project


[bartsob5]

ekhm... ludzie! czemu wy takich pytan nie zadajecie jak admin nie mowi po polsku? przeciez w tym wypadku wyraznie pisze, ze zbyt czesto host kontaktowal sie z serwerem i w celu unikniecia przeciazenia sieci musi poczekac. nie zameczajcie TJM'a takimi rzeczami...