Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home

[TJM]

Powoli zaczynam myśleć o powrocie 'z ciepłych krajów' :D Zostały jeszcze mniej więcej 3 miechy. Gdyby udało się znaleźć parę osób do pomocy (najbardziej przydałby się programista c/c++ chociażby do konsultacji zmian w kodzie i drobnych poprawek - nie mam dużego doświadczenia z tym jezykiem i topornie mi to idzie, często rozwiązanie prostej pierdółki to wiele godzin ślęczenia nad dokumentacją, bo trzeba się douczać na bieżąco) projekt mógłby ruszyć z wielkim hukiem zaraz na samym początku października. Solo niestety ciężko ciągnąć projekt - doba ma tylko 24h a nieprzespane noce szybko dają o sobie znać %-)

Z tego co widzę zaszły spore zmiany w oprogramowaniu BOINCa zarówno po stronie serwera jak i klienta, pewnie minie trochę czasu zanim znów to wszystko ogarnę :o Pierwsza rzecz do zrobienia po powrocie to update całości do ostatniej wersji i przerzucenie z powrotem do własnej 'serwerowni' (przy okazji na nowy serwer który przyjedzie chyba już pod koniec sierpnia :D)
Będę stawał na głowie żeby odpalić całość jak najszybciej po przyjeździe, ponieważ pod koniec (gdzieś w okolicach 19-20 października) wyjeżdżam znów na kilka dni i nie zamierzam nawet telefonu brać ze sobą żeby w końcu trochę wypocząć - te parę dni stabilny projekt mógłby spokojnie postać bez nadzoru  :D

[bartsob5]

zmien sobie dobe na 28-godzinna - masz 6-dniowy tydzien i dziennie 4 godziny czasu wiecej na cokolwiek i "dzien" masz w nocy z soboty na niedziele, wiec mozna isc jeszcze na impreze;) ale to oczywiscie dla osob, ktore nie maja restrykcjowanego czasu pracy ;)

[Szopler]

Daj tylko cynk, trochę wcześniej to pozwolę BOINCowi próbki pobierać ;).

[Mchl]

zmien sobie dobe na 28-godzinna - masz 6-dniowy tydzien i dziennie 4 godziny czasu wiecej na cokolwiek i "dzien" masz w nocy z soboty na niedziele, wiec mozna isc jeszcze na impreze;) ale to oczywiscie dla osob, ktore nie maja restrykcjowanego czasu pracy ;)

Ciekawy ten pomysł...

[bartsob5]

gdyby nie szkola, to juz bym tak od pol roku jechal ;) moze na studiach sie uda xD

[TJM]

Na razie organizacji czasu pracy sobie nie zmienię, ale od października się zobaczy - do końca roku powinienem mieć w miarę luz, trzeba będzie odbić sobie poprzednie miesiące, więc nie mam zamiaru za wiele pracować %-)
Od stycznia może być różnie, ale na pewno nie dam sobie wcisnąć takiego sajgonu jak teraz.

[TJM]

Możliwe, że uruchomię projekt sporo wcześniej niż planowałem, ponieważ obecnie mam jaki taki dostęp do Internetu, jednak z małymi (czasami kilkudniowymi) przerwami.
Przez jakiś czas jednak na pewno liczba zadań byłaby ograniczona, ponieważ przed zatrzymaniem projektu przerabiałem kilka daemonów i trochę pękałbym zostawiać samopas takie niesprawdzone. W przyszły weekend przeniosę wszystko z powrotem na normalny serwer i zobaczę co dalej.

[Troll81]

Czekam z niecierpliwością :D

[lukaszde]

czekamy na re-start  ;D

[Szopler]

Oj tak, czekamy... :)

[TJM]

W przyszłym tygodniu planuję na weekend jechać do domu (tylko jeszcze nie ma pewności, że się uda), postaram się uruchomić serwer, jeśli zdążę wyrobić się na czas, to resztę jakoś dam radę powoli tu na miejscu zrobić. Najpoważniejszy problem jaki teraz widzę to brak dostępu do kompa z windowsem, więc prace nad poprawkami windowsowej aplikacji siłą rzeczy będą wstrzymane jeszcze jakiś czas.

[Troll81]

byleby liczyło :D

[emik]

mi tylko 2100pkt brakuje do upragnionych 25k

[TJM]

W piątek jadę na 4 dni do domu, jeśli czasu starczy spróbuję uruchomić projekt taki jaki był przed 'śpiączką'. Optymistycznym wariantem byłoby uruchomienie nowych daemonów, które są gotowe tylko jeszcze nieprzetestowane - wtedy projekt mógłby rozsyłać zadania z wszystkimi ciphertextami jakie dostępne są z serwera projektu M4 (aktualnie 3 różne fragmenty ostatniego tekstu), a nie tylko z jednym.
Nieprzetestowany jest też nowy generator zadań (jego automatyczna wersja, która śledzi zapotrzebowanie na zadania i ściąga / tworzy nowe w razie potrzeby), ale to niewielki problem - zawsze można generować ręcznie zapas na wiele dni.

[emik]

super - czekamy na nowe unity ;D

[TJM]

Hm nie wiem czy uda mi się w ogóle uruchomić coś w tym tygodniu, na razie mam duży poślizg czasowy przez to http://www.boincatpoland.org/smf/index.php/topic,1711.0.html - muszę połączyć dwie partycje w jedną a tymczasem mi to nie wychodzi.

[Pigu]

właśnie zassało mi jakieś 30 wu  ;D

[TJM]

To niezłego farta miałeś, wygenerowałem tylko 1200 żeby sprawdzić demony i sam zdążyłem zassać jedynie kilka, reszta rozeszła się w parę minut, nawet nie wiedziałem że tyle hostów może być podłączonych do uśpionego projektu.

Cały serwer zupgrejdowałem do wersji 15600 co przyniosło pewne komplikacje, raczej nie dam rady wszystkiego poprawić w ciągu 1.5 dnia (jutro pod wieczór wyjeżdżam) więc kolejna seria zadań dopiero kiedy przyjadę następnym razem lub jak powoli podłubę na odległość.

Błędy które zauważyłem do tej pory:
-wszechobecne slashe, ma to związek z usunięciem stripslashes() gdzieś w kodzie stron serwera; pytanie tylko czemu to usunęli skoro slashe przy escapowaniu znaków specjalnych były są i będą w bazie. Na razie nie zauważyłem wpływu na działanie czegokolwiek, jednak teksty wyglądają mało estetycznie.

-znikły zmiany które ręcznie ponanosiłem na kod, większość to były poprawki wizualne więc chwilowo brak tego na stronie i forum, podopisuję w wolnym czasie.

-Coś przyczęsto zmienia się UOTD, na razie nie wiem czemu i chyba jest to sytuacja jak w nowych projektach, mam nadzieję że samo wróci do normy, bo póki co nie mogę znaleźć przyczyny.

[Bober]

Wydaje mi się, że zniknęło trochę postów z forum projektu. Jeszcze niedawno ludzie pytali się czy coś nowego słychać, a teraz nie widzę tych postów...

[emik]

właśnie zassało mi jakieś 30 wu  ;D

ja załapałem tylko 2 :)

[TJM]

Wydaje mi się, że zniknęło trochę postów z forum projektu. Jeszcze niedawno ludzie pytali się czy coś nowego słychać, a teraz nie widzę tych postów...

To dlatego, że serwer w tym momencie śmiga na oryginalnej wersji bazy, tej sprzed przeniesienia na tymczasową maszynkę. Jak ze wszystkim dojdę do ładu (co na pewno zajmie trochę czasu) to spatchuję bazę, chociaż nie jest to aż tak bardzo konieczne.

[krzyszp]

No i ja się załapałem na 21 WU ;-)

Ciekawe, ile inne maszyny zassały...

Update:

Jedna linuksowa maszyna również dostała... jedną jednostkę...
Inna maszyna na WXP - kolejne 10 ;-)

[TJM]

Możliwe, że liczba zadań z tej pierwszej, próbnej serii wzrośnie jeszcze dziś z 1200 do około 12k, tyle leży w zapasie, a gdyby tak wszystkie rozesłać mógłbym od razu przetestować czy poprawnie zadziała automatyczne pobieranie nowych z serwera M4.

[emik]

zauważyłem nowe jednostki - 100wu zmagazynowanych i juz się przeliczają

[lukaszde]

Zalapalem pare WU. Widze ze statystyki synchronizuja sie z projektem M4 http://www.enigmaathome.net/server_status
TJM mam nadzieje, ze od tego weekendu projekt ruszyl pelna para ;) Jak dla mnie jest to najciekawszy projekt w calej serii BOINC.
Tak btw tego co liczymy http://www.bytereef.org/m4-project-blog.html czyli jak sie domyslam pozostala tylko 1 wiadomosc nierozszyfrowana ?

[TJM]

Zalapalem pare WU. Widze ze statystyki synchronizuja sie z projektem M4 http://www.enigmaathome.net/server_status

Co masz na myśli pisząc o synchronizacji ? To, że teraz oba serwery pokazują mniej więcej tą samą liczbę zadań ? Jeszcze jakiś czas temu rozrzut był bardzo duży, bo nie mogłem odsyłać zadań które wróciły długo po deadline (serwer M4 ich nie akceptował). Parę tygodni temu przepisałem kawałek serwera i teraz trzyma takie zadania czekając aż dostanie następne z takimi samymi ustawieniami, wtedy odsyła od razu z takim 'nadplanowym' wynikiem. Zadziałało to też wstecz i odesłane zostały wszelkie nadmiarowe wyniki uzbierane od samego początku projektu.

TJM mam nadzieje, ze od tego weekendu projekt ruszyl pelna para ;) Jak dla mnie jest to najciekawszy projekt w calej serii BOINC.

Od tego weekendu może jeszcze nie, ale będę pomału dążył do tej pełnej pary. Ideałem byłoby osiągnąc projekt ze stabilnymi aplikacjami zwracającymi możliwie małą liczbę błednych wyników obliczeń (to już w sumie było) i z jak najmniejszą liczbą błędów, nawet tych najdrobniejszych. Z tym drugim znacznie gorzej, bo wymaga to dość dużego nakładu pracy, podobnie jak ciągłe utrzymywanie świeżej wersji oprogramowania serwera z naniesionymi własnymi łatami i poprawkami.

Tak btw tego co liczymy http://www.bytereef.org/m4-project-blog.html czyli jak sie domyslam pozostala tylko 1 wiadomosc nierozszyfrowana ?

Z tych oryginalnych została ta ostatnia nieszczęsna której do tej pory nikt jeszcze nie złamał, jednak już zapowiedziano pojawienie się co najmniej jednej dodatkowej.

Kolejnym krokiem jeśli chodzi o rozbudowę serwera będzie taka modyfikacja samych aplikacji (albo raczej template do nich), żeby w ciągu max kilku godzin można było stworzyć zadania nowego typu w razie pojawienia się nowych ciphertextów. W zasadzie większa część serwera już jest na to przygotowana, pozostało tylko wprowadzić małe przeróbki w dwóch daemonach odpowiedzialnych za pobieranie i wysyłanie zadań z/do serwera Stefana.

Nie wiem tylko kiedy znajdę na to wszystko czas, póki co do początków października większość czasu spędzam daleko poza domem - do chaty przyjeżdżam w weekendy i to nie zawsze (bywa że raz na 2-3 tygodnie, dojazd jest męczący, zajmuje dużo czasu i nie jest tani więc nie mogę szaleć). Przez ten czas wprowadzane poprawki mogą być raczej tylko minimalistyczne, chociażby ze względu na to, że zdalne połączenia na kiepskim łączu licho działają i pracuje się bardzo mozolnie :/

[lukaszde]

Co masz na myśli pisząc o synchronizacji ? To, że teraz oba serwery pokazują mniej więcej tą samą liczbę zadań ?

Tak dokladnie chodzilo o to, ze pokazywana jest mniej wiecej taka sama liczba przeliczonych/pozostalych zadan.

Dzieki za szczegolowe wyjasnienie reszty spraw. W takim razie oczekuje az projekt ruszy pelna para i mam nadzieje, ze z naszym wkladem bedziemy mogli zamknac pewien etap w historii oraz dzieki temu wypromowac platforme BOINC do rownie ciekawych projektow.

[Bober]

Przypominam pod kątem nowych liczydłowych, że Enigma dysponuje optymalizacjami. Warto ich używać!

[TJM]

Dziwne że tylko jeden, jeszcze się nie skończyły, chociaż podejrzewam, że mógł pojawić się znany już dobrze problem z feederem który atakuje zawsze po przestojach i hurtowym generowaniu zadań.
Póki co wszystko wygląda nienajgorzej, chociaż znalazło się trochę pomniejszych błędów na zapleczu projektu. Zastanawiam się teraz, czy całość jest wystarczająco stabilna, żeby zostawić włączony generator zadań do czasu wprowadzenia poprawek.

Btw, moglibyście od czasu do czasu luknąć na forum projektu? Z jakiegoś powodu mój bezprzewodowy net nie lubi zakresu IP z którego korzysta http proxy projektu i raz mam dostęp, raz nie.

[Bober]

Jasne, ja zaglądam. Tylko, że jak się coś komuś pochrzani to nie pomogę  :P

[emik]

czy aktualnie Enigma nie eksportuje statystyk do BAM'a ??

[TJM]

Projekt eksportuje statsy, przynajmniej powinien. Jeśli coś jest nie tak, dajcie cynk.

[tito]

TJM - mam pytanie. Wyjeżdżam teraz na 4 miesiące, ale komp będzie włączony. Jest sens zostawiać Enigmę na nim, czy może przewidujesz jakieś zmiany, które uniemożliwią na nim liczenie (obecnie korzystam ze zoptymalizowanej aplikacji)?

[TJM]

Trudno powiedzieć, przez najbliższe dwa miesiące żadnych dużych zmian się nie spodziewam, co najwyżej może braknąć zadań.
Później najprawdopodobniej zmieni się aplikacja, więc lepiej zostaw kompa podłączonego też pod inne projekty.

[KrzychuP]

u mnie regularnie pobiera po jednej/dwie jak kończy kolejną

[emik]

Projekt eksportuje statsy, przynajmniej powinien. Jeśli coś jest nie tak, dajcie cynk.

na BAM'ie wciąż jest:
ostatnie uaktualnienie XML: 160 dni temu

[Bober]

na BAM'ie wciąż jest:

Wiem czepiam się, ale chciałeś napisać "na BOINCstats"  :P

[emik]

dokładnie ;D

już wszystko ok

[Bober]

No to mamy awarię.  :(
Jak mi się jutro próbki nie odeślą to potem przez tydzień nie będę miał możliwości tego zrobić  :'(

[TJM]

I to awarię raczej poważną, wczoraj jak się dowiedziałem, że serwer 'znikł' dzwoniłem do brata, powiedziałem mu żeby sprawdził co jest grane - wyniki przeglądu nie są za wesołe, serwer się wyłączył i przy próbie odpalania nie daje znaku życia. Pewnie padł zasilacz albo płyta, ten pierwszy przypadek jest w miarę optymistyczny, bo w domu leżą zapasowe zasilacze i brat dziś będzie próbował zmienić. Drugi przypadek nieco gorszy, bo w domu będę prawdopodobnie dopiero za tydzień w weekend (na ten tydzień wyjazdu nie planowałem, a w ostatniej chwili nie mogę tego zmienić) więc jeśli zdechło coś innego niż zasilacz, serwer do przyszłego piątku lub soboty będzie offline.

Proponuję anulować wszystkie nieprzeliczone zadania a przeliczone zostawić, serwer je zapewne łyknie jak się uruchomi.