Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home

[TJM]

Tutaj wina na pewno nie leży w managerze, może jedynie w tym 6.6.20

Teraz 6.6.28 i powrót do request delay 24h:

2009-05-07 22:07:19.4842 [PID=21590] [normal  ]  Request: [USER#1482] [HOST#3147
] client 6.6.28, work req 2797 sec
2009-05-07 22:07:19.5129 [PID=21590] [normal  ]   Sending reply to [HOST#3147]: 0 results, delay req 86400.000000 [scheduler ran 0.627531 seconds]

Zatrzymałem na chwilę projekt i włączę najwyższy level logowania schedulera, zobaczymy co się zmieni.

EDIT: możesz zaktualizować projekt parę razy ? Zobaczę wpisy w logach.

[Pantarhei]

Sorry, że w tym wątku to piszę ale nie znalazłem odpowiedniejszego.
Mam pewne wątpliwości, co do projektu ENIGMA w ogóle.

Jak można przeczytać na stronie głównej projektu, zajmuje/zajmował się on złamaniem trzech szyfrogramów z niemieckich okrętów. Dwa zostały odczytanie w zaledwie trzy miesiące od uruchomienia projektu w styczniu 2006 r.

Dziwi mnie, że przez kolejne dwa lata nie udało się złamać ostatniego i zastanawiam się, co tak naprawdę liczymy.

A może czegoś nie doczytałem bo słabo znam angielski.  ;)

[lolek]

Takie pytania to chyba nailepjej do TJM

[KrzychuP]

Dla mnie seria 6.6.x managerów jest spalona. Jedyna słuszna wersja to 6.5.0.
Wszystko działa, bufor napchany, ile mu każę.
AiDec pewnie też to potwierdzi ;)

[Troll81]

TJM rządzi projektem. Z tego co wiem to łamiemy szyfry metodą brute-force. a to oznacza że czasem możesz zgadnąć klucz już po 5 minutach a czasem po 2 latach :(

[Troll81]

dziś ok 9:30 aktualizowałem chyba ze dwa razy a teraz jestem w roboci. Jak wrócę to znów poaktualizuję.

A jak nie będzie działać to 6.5.0 zainstaluję

[Pantarhei]

Rozumiem. Ale zakładam, że projekt w początkach swojego istnienie w BOINC miał wielokrotnie mniej użytkowników niż dziś, a mimo to udało się im wykonać 2/3 roboty w trzy miesiące.
Wydaje się że z rachunku prawdopodobieństwa wynika, że trzeci kod powinien się już dawno doliczyć.

A w jaki sposób można zapytać TJM o te moje rozterki?
:book:

[KrzychuP]

Możesz napisać do niego na PW

[AiDec]

Dla mnie seria 6.6.x managerów jest spalona. Jedyna słuszna wersja to 6.5.0.
Wszystko działa, bufor napchany, ile mu każę.
AiDec pewnie też to potwierdzi ;)

Tak, masz racje Krzychu. Calkowicie potwierdzam. Przede wszystkim 6.5.0 byla naprawde bardzo udana wersja, natomiast na przeciwnym biegunie sa WSZYSTKIE 6.6.x do dnia dzisiejszego. Jeszcze nie spotkalem sie z calkowicie poprawnie dzialajaca 6.6.x. Co wiecej, wszystko wskazuje na to ze kazda kolejna jest coraz bardziej zamotana :(. Byly jeszcze wspaniale wersje 6.3.19 i 6.3.21, ale one nie obslugiwaly CUDA.

Trollu, odinstaluj BM calkowicie, zrestartuj kompa, przeczysc rejestr i wyrzuc pozostalosci po dotychczasowych BM (skasuj folder BOINC i co tam jeszcze masz), zrestartuj ponownie, zainstaluj 6.5.0 i ciesz sie zyciem. Jeszcze mi sie nie zdazylo zeby ta wersja robila JAKIEKOLWIEK problemy. Zawsze, wszystko w 100% dzialalo prawidlowo. Instalacja 6.5.0 (po wyczyszczeniu pozostalosci starych BM) da Ci jeszcze jedna zalete - jesli mimo wszystko nie bedziesz mogl pobrac probek, to daje Ci 100% gwarancje ze to nie wina BM.

[Troll81]

tylko co zrobić z próbkami???

[AiDec]

Sorry, że w tym wątku to piszę ale nie znalazłem odpowiedniejszego.

Mamy caly dzial poswiecony Enigmie, a odpowiedniejszy watek to ten :):

http://www.boincatpoland.org/smf/enigmahome-78/tworzenie-projektu-czyli-powstanie-i-ewolucja-enigmahome/msg67137/#new

I zapewniam Cie ze TJM (tfórca projektu) zaglada tam bardzo czesto i na pewno odpowie na Twoje pytania :).

A może czegoś nie doczytałem bo słabo znam angielski.  ;)

TJM jest Polakiem i angielski nie jest Ci potrzebny w rozmowie z Nim :). Powodzenia w uzyskiwaniu odpowiedzi  :arrr:

[AiDec]

tylko co zrobić z próbkami???

A koniecznie je potrzebujesz? ;). Sciagna sie nowe  %). A skasowac WSZYSTKO naprawde powinienes. Mozliwe ze Twoj poprzedni BM pozostawil jakies smieci i kiedy zainstalowales a raczej nadpisales 6.6.28 pozostawione smieci nie pozwalaja Twojemu BM dzialac prawidlowo.

[Troll81]

ale z innymi projektami nie mam problemu. Wystarczy reset projektu i ciągnie próbki aż miło. tylko enigma mi tak fika. A jak już mam 50 godzni próbki climate przeliczone i jeszcze ok 70 innych wu w połowie przerabiania, to trochę szkoda wyciąć kilka dni pracy mojego kompa.

[Troll81]

Poza tym enigma jest open source i nikt nie przeszkadza ci w obejrzeniu kodu aplikacji a nawet przejrzeniu zawartości próbki :D

[KrzychuP]

hmm, no nie wiem czy taki radykalizm jest potrzebny
przy próbach na 6.6.x też miałem problemy z pobieraniem próbek, a po nadinstalowaniu 6.5.0 na 6.6.x wszystko wróciło do normy, bez konieczności kasowania wszystkich pozostałości po Boinc przed ponowną instalacją

[AiDec]

Zatem zrob sobie najpierw kopie BOINC`a. Czy tez backup calego systemu (tez nie zaszkodzi ;) ).

[Pantarhei]

Poza tym enigma jest open source i nikt nie przeszkadza ci w obejrzeniu kodu aplikacji a nawet przejrzeniu zawartości próbki :D

W wolnej chwili przejrzę sobie kody programu :) Z pewnością w lot pojmę co tam stoi bo jakieś piętnaście lat temu miałem w podstawówce 5 z informatyki.  ;)
Dzięki za rady. Już, zgodnie z sugestią , napisałem do TJM, po polsku na PW.
:respect:

[TJM]

W logu jest cały czas work req 0 secs, więc pachnie jakimś grubym bugiem managera. Lepiej zamiast go od razu zamieniać, powłączaj jakieś debug flagi w cc_config i spróbuj rozkminić o co mu chodzi, przyczynisz się do rozwoju tych niedopracowanych wersji %)
Spróbuj może też na chwilę ustawić bufor na 10 dni i wstrzymać inne projekty, zauważyłem że czasami to pomaga odblokować się managerowi jeśli jest nieśmiały i nie próbuje zasysać próbek z projektu. Najwyżej potem nadmiar anulujesz, nie jest to szkodliwe w żaden sposób.

[Troll81]

bufor jest na 10 dni :D a dziś rano specjalnie wstrzymałem wszystkie inne projekty. Dla przykłady gdy zrobiłem coś takiego z YOYO to od razu zaczeło mi wręcz srać próbkami :D a enigma ni huhu. Jak wrócę to ustawię flagi :D i obaczym :D daj mi na pw swój numer gg to pogadamy jak z pracy wyjdę :D

[RAD-Poland]

a ja z innej beczki, problem z usuwaniem aplikacji z pamięci (EDIT: WinXP32 + aplikacja z tego tematu)

używam tego samego Manager Boinc we wszystkich niżej wymienionych projektach PrimeGrid (AP26/PSP_sieve), Einstein ,Climate ,Sztaki, Spinhenge, WCG (5 podprojektów), Cosmology(old), LHC i nie miałem z nimi problemu w tym miesiącu przyłączyłem Enigmę

mam ustawioną opcję pracy boinc "tylko kiedy komputer nie używany" oraz odznaczone "pozostawianie aplikacji w pamięci", w momencie uaktywnienia się użytkownika wszystkie procesy obliczeniowe związane z boinc znikają, w przypadku uruchomionego projektu Enigma pozostaje proces enigma_app i wrapper_enigmy przyczym nie obciążają CPU 0%, co ciekawe skilowanie tych procesów nie powoduje uszkodzenia próbki (gdybym procesy były używane spowodowałyby uszkodzenie przeliczanych próbek lub ich restart)

dla przykładu uruchomione były jednocześnie 2 Prime i 2 Enigmy (po uaktywnieniu się użytkownika, procesy prime wyłączyły się, a enigmy+wrappery zostały) co skłania mnie do napisania w tym wątku dotyczącym Enigmy

oczywiście mogę się mylić i problem leży po stronie Managera(clienta boinc), ale może macie jakieś sugestie dotyczące tej sytuacji

[AiDec]

Jedyne co moge napisac, to potwierdzic ta sytuacje. Tyle tylko ze ja mam to od ponad pol roku, pod wieloma roznymi BM i na zupelnie roznych kompach. Innymi slowy taka sytuacja miala miejsce `od zawsze`, albo przynajmniej odkad ja licze. Jakos mi to nigdy nie przeszkadzalo. IMHO BM nie calkiem poprawnie obsluguja wrappery. Ale to tylko IMHO.

[Troll81]

może mi ktos powiedzieć skąd zassać 6.5.0 bo na stronie boinc jest 6.4.7 a potem od razu 6.6.xx albo może ktoś będzie tak dobry by mi wysłać

[buninek]

dziś ok 9:30 aktualizowałem chyba ze dwa razy a teraz jestem w roboci. Jak wrócę to znów poaktualizuję.

A jak nie będzie działać to 6.5.0 zainstaluję

Czy w client_state.xml i client_state_prev.xml masz poprawne adresy schedulera?

Kod [Zaznacz] Rozwiń

<scheduler_url>http://www.enigmaathome.net/enigma_cgi/cgi</scheduler_url>

Jako mało wymagający liczydłowy (liczę głównie jeden projekt i nie korzystam z GPU), nie zauważyłem wielkich różnic pomiędzy rożnymi wersjami managerów.
Obecnie jadę na 6.6.25. Jedyny minus to zwiększony apetyt na RAM. W 24h od startu pożarł 25MB. Przy starcie 5MB. Trzeba powrócić do poprzedniego.

Katalog boincowy jest ciągle ten sam. Pliki time_stats_log oraz job_log_boinc* zawierają całą historię mojego liczenia.

[Troll81]

adres schedulera poprawny

Po restarcie kompa dostałem dodatkowo taki bonus
2009-05-08 18:46:53   Enigma@Home   Message from server: No work sent
2009-05-08 18:46:53   Enigma@Home   Message from server: Your app_info.xml file doesn't have a version of Enigma 0.76b.
??? i tu zaliczyłem zonka. Bo mam optymalkę zassaną z linka podanego tu ostatnio

zrobię roll back optymalki

[buninek]

Przypadkiem nie ładujesz na siłę optymalki bez odpowiedniego app_info.xml.

[Troll81]

w app_info jest nazwa execa i nazwa wrappera  takie jakie leżą u mnie na dysku

<app_info>
   <app>
      <name>enigma_m4_naval_2</name>
      <user_friendly_name>Enigma 0.76-Opt</user_friendly_name>
   </app>
   <file_info>
      <name>wrapper_5.17_windows_intelx86.exe</name>
      <executable/>
   </file_info>
   <file_info>
       <name>enigma_0.76_windows_intelx86.exe</name>
       <executable/>
   </file_info>
   <file_info>
       <name>00trigr.naval</name>
   </file_info>
   <file_info>
       <name>00bigr.naval</name>
   </file_info>
   <file_info>
       <name>ciphertext2</name>
   </file_info>
   <file_info>
       <name>job_1.14.xml</name>
   </file_info>
   <app_version>
      <app_name>enigma_m4_naval_2</app_name>
      <version_num>517</version_num>
      <file_ref>
         <file_name>wrapper_5.17_windows_intelx86.exe</file_name>
         <main_program/>
      </file_ref>
      <file_ref>
         <file_name>enigma_0.76_windows_intelx86.exe</file_name>
      </file_ref>
      <file_ref>
         <file_name>00trigr.naval</file_name>
         <copy_file/>
      </file_ref>
      <file_ref>
         <file_name>00bigr.naval</file_name>
    <copy_file/>
      </file_ref>
      <file_ref>
         <file_name>ciphertext2</file_name>
    <copy_file/>
      </file_ref>
      <file_ref>
         <file_name>job_1.14.xml</file_name>
         <open_name>job.xml</open_name>
      </file_ref>
   </app_version>

</app_info>

[buninek]

Sprawdź jeszcze czy przy optymalce jest

Kod [Zaznacz] Rozwiń

<platform_name>anonymous</platform_name>

w pliku sched_request_www.enigmaathome.net.xml

[AiDec]

@Troll:

http://boinc.berkeley.edu/dl/?C=M;O=D

Jako mało wymagający liczydłowy (liczę głównie jeden projekt i nie korzystam z GPU), nie zauważyłem wielkich różnic pomiędzy rożnymi wersjami managerów.

A ja bardzo wymagajacy. Licze wszystko i wszystko ma dzialac. 90% managerow to stolec. I to taki po kiepskim bigosie.

[Troll81]

dziękuję ślicznie  ;D zaraz będzie reinstalka managera i obaczym co i jak...

[Troll81]

no. to 100 zadań do buforka

ale w tym wyścigu falstart straszliwy :(

[TJM]

Aplikacja pozostaje w pamięci, bo z jakiegoś powodu BOINC nie zauważa że zarówno aplikacja jak i wrapper robią checkpointy. Prawdopodobnie wystarczyłoby skompilować nowego wrappera z w miarę nowej rewizji źródeł, w czasie gdy ja przerabiałem swoje w kodzie był dość spory burdel i dlatego nie działa do końca tak jak powinien.

[TJM]

Serwer off gdzieś na godzinę, optymalizacja baz danych + backup i spróbuję odpalić fastcgi wersję schedulera.

EDIT: No i zamiast jednego schedulera odpalanego w kółko jest teraz 10 pracujących cały czas, pytanie na ile to będzie stabilne - na listach mailingowych poczytałem, że niejeden projekt miał/ma z tym problemy.

[[PBT] Horpah]

15:44 scheduler piknie działa, oby tak dalej

[szuu]

Przed paroma minutami.

09-May-2009 21:01:10 [---] Project communication failed: attempting access to reference site
09-May-2009 21:01:13 [---] Internet access OK - project servers may be temporarily down.
09-May-2009 21:01:13 [Enigma@Home] Scheduler request failed: Couldn't connect to server
09-May-2009 21:04:50 [Enigma@Home] Sending scheduler request: To fetch work.  Requesting 20757 seconds of work, reporting 1 completed tasks
09-May-2009 21:06:36 [Enigma@Home] Scheduler request failed: HTTP internal server error
09-May-2009 21:20:40 [Enigma@Home] Sending scheduler request: Requested by user.  Requesting 21378 seconds of work, reporting 1 completed tasks
09-May-2009 21:21:02 [---] Project communication failed: attempting access to reference site
09-May-2009 21:21:04 [---] Internet access OK - project servers may be temporarily down.
09-May-2009 21:21:05 [Enigma@Home] Scheduler request failed: Couldn't connect to server
09-May-2009 21:27:29 [Enigma@Home] Sending scheduler request: Requested by user.  Requesting 22412 seconds of work, reporting 1 completed tasks
09-May-2009 21:27:51 [---] Project communication failed: attempting access to reference site
09-May-2009 21:27:53 [---] BOINC can't access Internet - check network connection or proxy configuration.
09-May-2009 21:27:54 [Enigma@Home] Scheduler request failed: Couldn't connect to server
09-May-2009 21:29:20 [Enigma@Home] Sending scheduler request: Requested by user.  Requesting 22754 seconds of work, reporting 1 completed tasks
09-May-2009 21:30:21 [Enigma@Home] Scheduler request completed: got 1 new tasks
09-May-2009 21:30:21 [Enigma@Home] Message from server: Completed result hceyz72_1_5913887_r0_0 refused: result already reported as success
09-May-2009 21:30:21 [Enigma@Home] Message from server: Resent lost result hceyz72_0_5805600_r0_0
09-May-2009 21:30:23 [Enigma@Home] Started download of 00hc_wu_5805600_r0
09-May-2009 21:30:52 [Enigma@Home] Finished download of 00hc_wu_5805600_r0
09-May-2009 21:34:28 [Enigma@Home] Sending scheduler request: To fetch work.  Requesting 16895 seconds of work, reporting 0 completed tasks
09-May-2009 21:36:04 [Enigma@Home] Scheduler request failed: HTTP internal server error
09-May-2009 21:37:04 [Enigma@Home] Sending scheduler request: To fetch work.  Requesting 17088 seconds of work, reporting 0 completed tasks
09-May-2009 21:38:10 [Enigma@Home] Scheduler request completed: got 4 new tasks
09-May-2009 21:38:10 [Enigma@Home] Message from server: Resent lost result hceyz72_0_5808483_r0_0
09-May-2009 21:38:10 [Enigma@Home] Message from server: Resent lost result hceyz72_0_5808484_r0_0
09-May-2009 21:38:10 [Enigma@Home] Message from server: Resent lost result hceyz72_0_5808648_r0_0
09-May-2009 21:38:10 [Enigma@Home] Message from server: Resent lost result hceyz72_0_5808672_r0_0
09-May-2009 21:38:12 [Enigma@Home] Started download of 00hc_wu_5808483_r0
09-May-2009 21:38:12 [Enigma@Home] Started download of 00hc_wu_5808484_r0
09-May-2009 21:38:13 [Enigma@Home] Finished download of 00hc_wu_5808483_r0
09-May-2009 21:38:13 [Enigma@Home] Started download of 00hc_wu_5808648_r0
09-May-2009 21:38:14 [Enigma@Home] Finished download of 00hc_wu_5808648_r0
09-May-2009 21:38:14 [Enigma@Home] Started download of 00hc_wu_5808672_r0
09-May-2009 21:38:16 [Enigma@Home] Finished download of 00hc_wu_5808672_r0
09-May-2009 21:38:41 [Enigma@Home] Finished download of 00hc_wu_5808484_r0

Sorry za przydługawy log ale wolałem być pewien ze nie zgubię żadnego ważnego wpisu.

Czy ktoś może mi naświetlić co oznaczają te "Message from server: Resent lost result hceyz72_0_5808483_r0_0" - na czerwono w sekcji wiadomości ?
Troszkę się przestraszyłem:/

z góry dzieki

[sesef]

teraz mnie dopadł problem braku zadań :/

2009-05-10 02:40:38   Enigma@Home   update requested by user
2009-05-10 02:40:40   Enigma@Home   Sending scheduler request: Requested by user.
2009-05-10 02:40:40   Enigma@Home   Requesting new tasks
2009-05-10 02:40:45   Enigma@Home   Scheduler request completed: got 0 new tasks
2009-05-10 02:44:51   Enigma@Home   Sending scheduler request: To fetch work.
2009-05-10 02:44:51   Enigma@Home   Requesting new tasks
2009-05-10 02:45:16   Enigma@Home   Scheduler request completed: got 0 new tasks
2009-05-10 02:46:35   Enigma@Home   update requested by user
2009-05-10 02:46:36   Enigma@Home   Sending scheduler request: Requested by user.
2009-05-10 02:46:36   Enigma@Home   Requesting new tasks
2009-05-10 02:46:41   Enigma@Home   Scheduler request completed: got 0 new tasks
2009-05-10 02:47:57   Enigma@Home   update requested by user
2009-05-10 02:48:01   Enigma@Home   Sending scheduler request: Requested by user.
2009-05-10 02:48:01   Enigma@Home   Requesting new tasks
2009-05-10 02:48:22   Enigma@Home   Scheduler request completed: got 0 new tasks

i na 6.6.26 i na 6.6.28 to samo, a rano było jeszcze dobrze. Zaczęło się od tego, że wcieło mi wszystkie próbki a teraz nie chce pobrać nowych :( nr hosta 13682

[TJM]

Scheduler miał jakieś dziwne jazdy i przymulał serwer, skompilowałem lekko nowszą wersję z innej rewizji BOINCa i jak na razie zachowuje się dużo lepiej.

Na dziś planuję upgrade całego serwera do ostatniej rewizji lub server_stable, na razie jednak na przeszkodzie stoją jakieś błędy w kodzie - zarówno stabilna jak i ostatnia wersja po prostu wysypują się przy kompilacji z masą błędów.
Zobaczymy też co się zmieni po przerzuceniu tabeli result na iRAMa, aktualnie zwykły HDD tak dostaje w palnik, że zastanawiam się jakim cudem jeszcze się nie posypał i serwer nie padł od przeciążenia %)

[AiDec]

Ja tylko chcialbym napisac ze nie mam zadnych problemow z unitami. O kazdej porze dnia i nocy. Jak chce, to mam 250 od reki. Ale ja nie mam 6.6.x.

[TJM]

Ja zawsze mam najnowszą lub prawie najnowszą betę i nie mam raczej tego typu problemów, sądzę że jeśli nawet jest jakiś bug, musi być specyficzny dla jakiejś sytuacji zachodzącej w projekcie. Dlatego mam parcie na upgrade do nowszej wersji, bo gdzieś w okolicach 17xxx dodali chyba do tekstów schedulera dokładne info o tym, dlaczego nie wysyła nic do klienta.

[sesef]

powiem tyle, w nocy złapało 3 WU teraz znowu dupa... dałem AP26 żeby się komp nie nudził jak coś złapie to policzy sobie na przemian najwyżej.

[AiDec]

Tak na probe zapialem nowego managera. 100 WU od kopa.