Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home

[Bober]

Rzeczywiście przewidywanie czasu obliczeń szwankuje. 2 próbki, które przeliczyłem w ~50 min miały się liczyć ponad 40h. Przez to BOINC wpada w tryb "high priority" bo myśli, że nie wyrobi się przed deadlinem i nie liczy nic poza Enigmą.

[miszol]

no właśnie tryb high priority mnie torszke irytuje bo próbki uFluids czekają...

---edit---

przeliczyła się po 1h13' :) ta która była oceniona na ponad 80h

[ka_ga]

u mnie na Pentium III 800 MHz pokazuje ponad 200 godzin, a na Intel Core2 1,66 ponad 150 godzin

tak przy okazji czy jest ustawiony jakiś limit pobierania próbek? po na dwujajowcu pobiera mi tylko jedną przez co na drugim procku muszę uruchamiać co innego zamiast skoncentrować się na enigmie  :?

[PMG]

Acha - można zmienić temat ? bo mało informacyjny jest. Wystarczy Enigma@Home.

PAczki sie liczą - teraz była po 1,3 godziny. Znowu pokazuje 11 godzin następną - ale to spoko.

[TJM]

Zatrzymałem generowanie nowych zadań do czasu, aż obmyślę, jak to poprawić. Nie powinno to być zbyt trudne, trzeba tylko znaleźć sposób, żeby obliczyć poprawną wartość rsc_fpops_est. Przekopałem dziesiątki stron i nie widzę żadnych konkretnych informacji. Pamiętam jednak, że jeszcze zanim w ogóle ściągnąłem źródła serwa, widziałem gdzieś info o kalibracji czasu zadań, a teraz nie mogę tego znaleźć.
W najgorszym wypadku będę musiał pozasysać trochę jednostek z innych projektów i zobaczyć, jak tam wyglądają te ustawienia, a później wymyśleć jaki jest na to wzór %-)

[Bober]

A może yoyo będzie ci umiał jakoś pomóc?

Tymczasem trza się mobilizować w Enigmie bo już czyhają na nasze 1 miejsce  :!:
Pentiumy D tego gostka baaardzo dobrze punktują...
Nie wiem czy nie za dobrze  :?:

Porównywalnie z Quadem

Na domiar złego ta jednostka przeliczała się 300sek i  dostał za nią 20 pkt.

System punktacji ma więc luki  :(

[RAD-Poland]

RAD-Poland gotowy do obrony I miejsca tylko brak aplikacji pod Linuksa do liczenia  :(- pod wine Windowsowa aplikacja wysypuje się na starcie
- ściągnąłem źródłową aplikację Enigmy pod Linuksa i nawet się skompilowała, tylko czekam na zielone światło TJM

[PMG]

W najgorszym wypadku będę musiał pozasysać trochę jednostek z innych projektów i zobaczyć, jak tam wyglądają te ustawienia, a później wymyśleć jaki jest na to wzór %-)

To zacznij od zassania jednostki climata :)

Ale z tego co piszesz to wynika że już teraz mamy z platformy BOINC taką moc obliczeniową jak normalnie ma sam z siebie ten projekt- to co sie stanie jak to tak na powaznie pójdzie w świat ? :>

[TJM]

---------- 21:02 13.09.2007 ----------

Czas przeliczania nie ma nic wspólnego z przyznawanymi kredytami. Wystarczy spojrzeć na mój profil, jest tam host (Win98) który raportuje 0.00 sekund czasu procesora a dostaje mimo to kredyty. Po zrestartowaniu zadania czas 'leci' od nowa, więc jeśli ktoś restartnie pod sam koniec, to może zaraportować zadanie np. z 5 sekundami czasu. Ale jeśli przejdzie przez testy poprawności, dostanie właściwą ilość punktów.
Wszystko przez to, że wrapper i BOINC prawdopodobnie nie wiedzą, że enigma checkpointuje samodzielnie podczas pracy, po restarcie progs 'myśli' że zadanie zaczęło się od nowa. To pewnie da się jakoś obejść, ale jeszcze nad tym nie myślałem.

Punkty przyznawane mogą wyglądać trochę dziwne, ale nie widzę powodu, żeby to zmieniać. Dla wolniejszych kompów i tak wartości są zaniżone (nawet mój athlon, który jest w projekcie referencyjną maszyną, dostaje mniej niż żąda), a to, że szybsze proce dostają nawet 2 razy więcej punktów niż żądają, wynika z ich prawdziwej wydajności, a nie zaniżonych BOINCowych benchmarków. Nie widzę powodu dla którego naprawdę szybki komp miałby za tą samą robotę dostawać np. o połowę punktów mniej niż wolniejszy. To, że wykonuje zadanie 3-4 razy szybciej to właśnie jego zaleta.
Aż strach wypuszczać zoptymalizowaną aplikację, bo dla i tak już szybkich kompów szybkość jeszcze wzrośnie.




Enigma pod linuksem kompiluje się bez problemów, nawet na dość archaicznych systemach. Problemem jest kompatybilność między linuksami... Nie mam żadnego doświadczenia w budowaniu exeków, które mają działać na wielu systemach, więc nie mam pojęcia jak się za to zabrać. Na dodatek oprócz samego exeka enigmy, którego najprawdopodobniej mógłbym przygotować na moim głównym serwie, gdzie jest starszy system, trzeba skompilować też tego zakichanego wrappera, którego tam nie skompiluję, bo system jest za stary %-)
W weekend się za to wezmę, razem z kumplem prawdopodobnie posiedzimy nad linuksową wersją. Na razie cały przewidziany na dłubanie czas wciągają mi inne rzeczy. Wczoraj chciałem forum uruchomić, ale dziś dopiero mam dostęp do serwera, więc przy nim dłubę (postawiłem SMF teraz szukam jakiegoś skina na tyle ładnego, żeby ustawić jako domyślny).

---------- 21:50 ----------

Z tego co się do tej pory dowiedziałem, rsc_fpops_est ustawia się właśnie tak, jak to zrobiłem. Problem może leżeć jednak w bazie danych - pierwsze jednostki miały bardzo nisko ustawione te fpopsy, dlatego dla hostów które 'przerobiły' ich dużo, rdcf w bazie jest bardzo wysoki. 90% hostów ma poprawne wartości w zakresie 0.6-2, ale reszta ma dziwne. To powinno samo minąć, ale jeśli komuś bardzo zależy, mogę poprawić ręcznie (przestawię na 1, powinno szybciej się wyregulować), wystarczy podać ID hosta.

---------- 22:16 ----------

Jak nazwać takie coś:  1 lat(a), 146 dni, 8 godzin, 14 minut pracy Athlona 1400 (jest to całkowity czas procesora poświęcony dla projektu, przeliczony na czas referencyjnej maszyny) ? Chcę to wypchnąć na stronę główną, bo ładnie wygląda.

[PMG]

[moderacja: link nie aktualny] - byłem pierwszy :).



Acha - można utworzyć osobny dział dla tego projektu ?



Pytanie - czy to już jest "oficlany" projekt o którym można informować i tak dalej ? Bo może pochwalić się szerzej gdzieś ?



Czy lub kiedy będzie eksport statystyk do BoincStats.

[AL]

http://boinc.mundayweb.com/one/ - już eksportują, na BOINCStats trzeba pewnie poczekać kilka dni.

[miszol]

kolejna jednostka: test3_1_96655_0 - ponad 160h... zobaczmy w ile pójdzie

[Bober]

http://boinc.mundayweb.com/one/ - już eksportują, na BOINCStats trzeba pewnie poczekać kilka dni.

Już są również na BS  :D
Enigma dodana też do BAM  :D

[TJM]

96665 to najdłuższy typ zadania, ale te setki godzin to gruba przesada.
Sprawdzałem dziś na świeżej instalacji, czas zadań pokazywany jest w miarę poprawnie, wychodzi na to, że rzeczywiście problem leży w rdcf zamotanym przez pierwsze serie zadań.

na kolanie zrobiony podglądacz długości zadań:
http://enigma.no-ip.net/enigma/wu_lookup.php?id=96655

[Bober]

Świetne. Dzięki  :D
Rzeczywiście mój RDCF to prawie 32  :?
Szkoda, że tak wolno się to koryguje... (o ile w ogóle).

EDIT: Na forum BS Shai zwrócił uwagę, że jemu w miarę liczenia przewidywany czas wzrasta  :-k

A co do punktacji to dostaję średnio 11,793/h na Pentium M 1,5Ghz. To odrobinę za dużo w stosunku do Seti/Einsteina/Rosetty, ale mnie to nie przeszkadza  :P

[TJM]

sprawdzałem na swoim kompie, rdcf spada mi około 1 po każdym zadaniu, zaczynałem od 80 i już opadło do 54. Nie wiem, czy czasami ręczna zmiana tego nie pokaszani czegoś.

[Bober]

Ja też nie wiem. Ale możesz po eksperymentować na moim hoście ID=22.

[TJM]

Kod [Zaznacz] Rozwiń


mysql> select duration_correction_factor from host where id = 22;
+----------------------------+
| duration_correction_factor |
+----------------------------+
|                  31.681728 |
+----------------------------+
1 row in set (0.00 sec)



Zmieniłem na 1.

[Bober]

Dzięki. Nie wiem jak po stronie projektu, ale po mojej póki co próbka się spokojnie przelicza.  :D

[Bober]

Niestety po odesłaniu próbki RDCF wynosi 31.370602  :(

[TJM]

Hm czyli pewnie ręczna zmiana tego nie wchodzi w grę, bo prawdopodobnie wartość po stronie serwera odzwierciedla tylko jakąś wartość zapisaną po stronie klienta.
Rozwiązaniem może być opuszczenie projektu i ewentualne wytropienie pozostałych plików w katalogu BOINCa, a potem ponowne przyłączenie się.

[tito]

Na Boincstats też już są statystyki:) Ciekawe ilu teraz userów się dołączy? Trzeba brać się do roboty, bo Polska cienko stoi:/

[Tomislaw]

kolejna jednostka: test3_1_96655_0 - ponad 160h... zobaczmy w ile pójdzie

moja to test3_1_96810_0 ponad 181 godz (C2D E6600) "pozostały czas" wcale nie ubywa.

[Bober]

Nic się nie martw. Na pewno dłużej niż 3 godziny się liczyć nie będzie.
Nie ma nowych próbek  :(

[Timaxi]

O kurde USA  8O  nas wyprzedziło trzeba się wziąść

[Bober]

Hm czyli pewnie ręczna zmiana tego nie wchodzi w grę, bo prawdopodobnie wartość po stronie serwera odzwierciedla tylko jakąś wartość zapisaną po stronie klienta.
Rozwiązaniem może być opuszczenie projektu i ewentualne wytropienie pozostałych plików w katalogu BOINCa, a potem ponowne przyłączenie się.

Po sprawie. Wystarczyło odłączyć i przyłączyć projekt.

[TJM]

U mnie też pomogło. Teraz szacowany czas od prawdziwego różni się o 10-15 minut przy najdłuższym zadaniu.
Ciągłość generowania zadań może być trochę zakłócona, bo przepisuję progs zajmujący się wymianą zadań z serwerem M4. Musi być wielowątkowy, bo przy pracy szeregowej z jednym wątkiem (odsyłanie/pobieranie na raz jednego zadania) chwilami robiły się duże kolejki. Odsyłanie już przerobiłem, teraz działa ze 100 razy szybciej. Pracuję właśnie nad pobieraniem zadań.

[Bober]

Powodzenia  :D

Z pobieżnej obserwacji wyników tak mi wychodzi, że procki Intela się sprawdzają lepiej w tym projekcie niż AMDki. Zgadza się?

[TJM]

Na standardowej aplikacji tak, o ile wiem to ten zwykły exek był zrobiony kompilatorem Intela, więc to pewnie dlatego.
Można by spróbować stworzyć odpowiedni XML i wypróbować exeki zbudowane w devcpp z optymalizacjami - powinno to wyrównać szanse i przy okazji przypieszyć wszystko.

[Bober]

Tzn, że jeszcze nie udało ci się optymalizacji zaaplikować?

[TJM]

W ogóle jeszcze nad tym nie kombinowałem, od strony serwera chyba się nie da, za to po stronie klienta powinno się dać dość łatwo.

[Bober]

Hm czyli pewnie ręczna zmiana tego nie wchodzi w grę, bo prawdopodobnie wartość po stronie serwera odzwierciedla tylko jakąś wartość zapisaną po stronie klienta.
Rozwiązaniem może być opuszczenie projektu i ewentualne wytropienie pozostałych plików w katalogu BOINCa, a potem ponowne przyłączenie się.

Po sprawie. Wystarczyło odłączyć i przyłączyć projekt.

Jeszcze prościej wyedytować client_state.xml i zmienić tam wartość RDCF.

[jaskij]

Wracając jeszcze na chwilę do punktowania, to Intel Core Duo punktuje bardzo dobrze, zależnie od WU dostaję 1/3 do połowy creditów więcej niż claimed...
statystyki
Pytanie: czy to nie jest ciut za dużo?
Wszystko było wysyłane z tego samego hosta.

[Simek]

---------- 13:20 15.09.2007 ----------

Hehe... Widzę, że wrzuciłeś mój CSS. Tak jak się spodziewałem namieszał on trochę na innych częściach strony ;) Właśnie pracuję nad poprawkami...

---------- 13:57 ----------

Poprawiony CSS: (powinno być teraz ok) http://ysfshare.com/download2.php?a=302723&b=9a63a 328e5bee6fcb3ef1d249944ad4b

[TJM]

---------- 23:47 15.09.2007 ----------

Wrzuciłem przedwczoraj wieczorem, u mnie wszystko było ok, jedyne do czego mogłem się przyczepić, to dziwnie wielka tabelka w server status. No i przydałoby się, żeby zielony kolor wrócił w tej tabelce.
Tego poprawionego niestety nie mogę zassać. Nawet jak złożę link do kupy, wyskakuje błąd.
Jutro prawdopodobnie zmieni się trochę system punktowania i wprowadzę pewne poprawki w rdcf. Mam nadzieję, że tym razem nic nie spitolę  :D
Dla zadań typu 0-2 poprawka będzie raczej kosmetyczna (uaktualnienie do najświeższej średniej wartości z referencyjnej maszyny), dla zadań typu 3 będzie to bugfix, bo w nich rdcf znacznie odbiega od rzeczywistości. Jednak nie tak, jak za pierwszym razem - teraz różnica to jakieś -25%

Zacząłem też prace poprawkowe nad wrapperem - mam zamiar przerobić dziada, żeby poprawnie raportował postępy i przy okazji zapisywał czas procesora, a nie jak obecnie, po restarcie zadania gubił poprzednią wartość. Myślę, że przeróbki nie powinny być zbyt trudne, może już w przyszłym tygodniu nowa wersja zastąpi aktualną, zależy jak wypadnie w testach.
Zanim jednak dalej zacznę w nim dłubać, odpalę wreszcie forum i dodam parę detali do strony. Chciałbym też dodać te przyciski typu 'Your account', 'Forums' itp do samego klienta; wiem, że konfiguruje się to jakoś po stronie serwera, nawet widziałem kiedyś te ustawienia, ale teraz nie mogę ich znależć %-)

---------- 02:13 16.09.2007 ----------

Dodałem link do forum na stronie i na tym kończę dłubanie na dziś, jutro zajrzę pewnie dopiero w porze obiadowej, więc możecie tam ewentualnie 'zabawiać gości' pod moją nieobecność %-)

[Simek]

http://simek.ifastnet.com/enigma.css

U mnie na serverku...
No właśnie poprawiłem zbyt duży padding komórek... Poprawki w stylu th i td...

Jeszcze denerwują mnie puste tabelki np. w statusie serwera... Ale ti już wina plików php, a nie stylów...

[TJM]

Zmienione, gdyby zmiany nie pojawiły się od razu, wystarczy poklikać trochę w odśwież.
Nie wiem jak inne przeglądarki, Opera sama z siebie jakoś rzadko CSSy odświeża.

[Simek]

Ehh... Problem będzie z tymi kolorkami w statusie serwera, ponieważ aby działały trzeb by już modyfikować pliki php/inc. Zmian plikach wymaga także usunięcie tych dziwnych tabelek po prawej w nagłówku otwartej strony...

Usunąłeś justowanie w głównym menu, bo widzę że nie ma ;)

Aha i w wolnej chwili możesz podmienić tekst i logo BOINC na nowy obrazek:
http://boinc.berkeley.edu/logo/pb_boinc.gif

[RAD-Poland]

niechcę nikogo poganiać, dotyczy aplikacji pod Linuksa  :wink:ale mam pytanko
Do czego służy wrappr, czy tylko odpowiada za naliczanie czasu i wyświetlane postępu pracy ?
czyli jeśli się nie mylę brakowało by tych dodatków gdybyś udostępnił aplikację bez wrappera czasami liczę projekt SHA pod Linuksem używając wine i windosowego Boinca
kiedyś liczyłem Cosmology, SIMAP i Einsteina ponieważ miały lepiej optymalizowane aplikacje pod Windę
efekt był taki, że przy odesłanym wyniku (czas obliczeń był = "0" i claim credit = '0"), a np: grant cedit = 10 pkt  dla SHA bo tyle jest za przeliczoną próbkę (oczywiście rzeczywisty czas przeliczania wu był taki jak trzeba np: 34 min dla SHA)Niecierpliwy Linuksowiec   P-)

[TJM]

Linuksową aplikację działającą na najnowszych dystrybucjach mógłbym zrobić prawdopodobnie w ciągu godziny, pytanie tylko, kto będzie odpowiadał na pytania userów, czemu na ich systemach nie rusza %-) Jak znajdzie się ktoś chętny, to można próbować  :lol:
Żeby aplikację odpalić w BOINCowym środowisku, musi mieć wbudowane BOINC api lub działać z wrapperem. W zasadzie na jedno wychodzi, a nawet wrapperowa wersja bardziej mi się podoba, bo nie komplikuje kodu samej aplikacji. Bez wrappera nie ma szans uruchomić oryginalnej, niezmodyfikowanej enigmy w BOINCowym środowisku. Początkowo myślałem, że wrapper to badziew, ale przecież źródło jest dostępne, po przeanalizowaniu kodu wymyśliłem sposób jak go zmodyfikować, tak, żeby wyeliminować wszystkie problemy, które powoduje domyślna wersja.

To wszystko jest jednak niczym w porównaniu z koszmarem w postaci dynamicznej domeny. Wszystko wskazuje na to, że bez zaawansowanego kombinowania po prostu nie da się tego poprawić, więc albo stanę na głowie i coś wymyślę (Bjoern od Depspida dużo się nakombinował i mu się udało), albo narucham skądś dedykowany host, na którym odpalę sam serwer BOINCa, co niestety jest mało realne ze względu na koszty.