Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home

[TJM]

Zanim skończę prace nad brakującymi częściami jeszcze zapewne minie sporo czasu, gdybym widział, że to tyle roboty, to bym nie zaczynał  :)
Enigma elegancko kompiluje się pod linuksem, podobnie jak i boincowe przykładowe aplikacje, ale sęk w tym, że exeki skompilowane na moich linuksach niekoniecznie muszą działać na innych :/ Np. teraz dodałem do apps uppercase skompilowany na najnowszym debianie, wszystko ładnie wygląda ale już np. na nieco starszym systemie nie rusza.
Wychodzi na to, że użytkownicy linuksa powinni sami sobie kompilować aplikacje na własnym systemie :lol:
Na razie nie będę sobie tym głowy zawracał, jak dokończę serwer, to na pewno znajdzie się ktoś, kto pomoże przygotować jakiś uniwersalny exek który ruszy na większości linuksów + instrukcje jak zrobić własny i podmienić.

Co przedstawia wygaszacz nie mam pojęcia, to defaultowa aplikacja z zestawu dołączonych do BOINCa więc może tam gdzieś będzie pisać. Nawet nie wiedziałem, że ma jakiś tryb graficzny i bym się nie dowiedział gdyby nie ten post  :lol:

EDIT: orientujecie się, czy któreś z 'mniej zasobożernych' projektów są pod linuksa ?

[Tomislaw]

Pobrałem i zostałem UotDejem

[RAD-Poland]

Enigma  - > upperCASE 5.11 pod Linuksa - poszedł bez problemu

EDIT: orientujecie się, czy któreś z 'mniej zasobożernych' projektów są pod linuksa ?

'mniej zasobożernych' = ??? (RAM, łącze,..)
np teraz liczę SIMAP:
jednostka SIMAP RAM = 20 MB, łącze = 2 MB jednostka
jednostka HMMER RAM = 30 MB, łącze = 5 MB jednostka

[Tomislaw]

---------- 07:22 02.09.2007 ----------

Unity jeszcze nie zaczęły się liczyć, ale czas przeliczania próbek wskazuje 00:00:00  :?

---------- 07:32 ----------

Już pierwsze próbki odesłane. Czas przeliczania ok. 1,5 min

[RAD-Poland]

... Np. teraz dodałem do apps uppercase skompilowany na najnowszym debianie, wszystko ładnie wygląda ale już np. na nieco starszym systemie nie rusza.
Wychodzi na to, że użytkownicy linuksa powinni sami sobie kompilować aplikacje na własnym systemie ...

ldd może pomoże
przykład

[localhost enigma.no-ip.net_443_enigma]$ ldd uppercase_5.11_i686-pc-linux-gnu
       linux-gate.so.1 =>  (0xffffe000)
       libssl.so.0.9.8 => /usr/lib/libssl.so.0.9.8 (0xf7f68000)
       libcrypto.so.0.9.8 => /usr/lib/libcrypto.so.0.9.8 (0xf7e05000)
       libdl.so.2 => /lib/libdl.so.2 (0xf7e01000)
       libnsl.so.1 => /lib/libnsl.so.1 (0xf7deb000)
       libz.so.1 => /lib/libz.so.1 (0xf7dd7000)
       libpthread.so.0 => /lib/libpthread.so.0 (0xf7dc3000)
       libstdc++.so.6 => /usr/lib/libstdc++.so.6 (0xf7cdf000)
       libm.so.6 => /lib/libm.so.6 (0xf7cb8000)
       libc.so.6 => /lib/libc.so.6 (0xf7b89000)
       libgcc_s.so.1 => /lib/libgcc_s.so.1 (0xf7b7e000)

- widzimy jakich bibliotek używa (wymaga) aplikacja i w jakiej wersji

[TJM]

Wiedziałem, że o czymś zapomniałem - work unit template nie ma podanego szacowanego czasu procesora, dlatego klient nie pokazuje czasu.

[cezar]

Nie od razu RZYM zbudowano   :wink:

[AdNet]

---------- 00:28 02.09.2007 ----------

Ja po prostu kurde wiedziałem, że Wy mi to zrobicie jak będę dziś na noc w pracy ....
a specjalnie caly dzień czekałem na otwarcie tego projektu !!

No ale coś sie tam zaczyna pobierać
No ale nie jest tak źle, załapałem sie na pierwszą 10-tkę :)


A kiedy w planach będzie doliczenie punktów ze statystyk, które powstały przy użyciu projektu enigma 0.5 ?

---------- 00:44 ----------

PS. To ja sie zgłaszam na ochotnika, jeśli padnie pytanie - "czy ktoś ma ochotę zająć sie stroną główną projektu Enigma?"
Tak Ja :)

[emik]

czy skończyły się jednostki? bo przestało mi pobierać

[TJM]

Wszystkich było 10,000 i z tego co widzę, zostały jeszcze 3k. Z tym, że ustawiłem limit 100*liczba rdzeni na dobę dla hosta, więc to może być przyczyną Nawiasem mówiąc, dziwnie ten limt działa, czasami 'rozpędem' udaje się łyknąć nawet 150.
Dodam później trochę poprawionych zadań, z ustawionym przewidywanym czasem - z tego co widzę, chyba można go brać z bazy, z tych już przeliczonych. Zadania muszą mieć jakiś czas ustawiony, inaczej pierwszy host który się podłączy, oblicza sobie, że da radę przetworzyć kilka tysięcy na dobę, po czym pobiera tyle i BOINC manager się zapycha  :D

Z tymi statsami z starego klienta coś wkrótce pomyślę, muszę jakoś proporcjonalnie przeliczyć to co jest w bazie, żeby pasowało pod BOINCowe statsy, a później przestawić serwer tak, żeby od razu obliczał w BOINCowych jednostkach.

[Simek]

Gratuluje uruchomienia projektu! ;)

Tez już liczę jakieś jednostki ;P
Chętnie mogę pomóc w upiększeniu i stworzeniu bardziej unikalanego wyglądu... :P (CSS, grafika, co chcesz xD)

[bartsob5]

co sie dzieje z upload/download server   Ravager ?????

mam chyba z 80 probek do odeslania!

[Simek]

Mi nie chciało odsyłać ale ręcznie zaktualizowałem projekt i pomogło... Ale zauważyłem, że max. 2 próbki na raz odsyła...

[kempler]

Ja dopiero co się przyłączyłem do projektu i u mnie wszystko ładnie śmiga, jednostki się ładnie odsyłają.

[TJM]

Strona to najmniejszy problem i na razie nie ma co jej ruszać raczej, przynajmniej dopóki reszta nie będzie skończona. Chociaż jakieś logo na górze ładnie by wyglądało %-)

Dłubię przy ostatecznej wersji aplikacji, podejrzewam, że jeszcze trochę to potrwa, zależnie ile czasu w tym tygodniu będę mógł na to przeznaczyć. Podejrzewam, że na pewnym etapie będę musiał przyblokować dostęp do serwera od strony netu, żeby wasze klienty nie pościągały jakichś niedorobionych wersji enigmy; nie można wykluczyć sytuacji w której niedokończony klient przyblokuje całego managera :D

Edit: serwer raczej działa, przynajmniej jeszcze przed chwilą tak było.
Zadania czasami nie są odsyłane automatycznie, bo w momencie kiedy klient dostaje komunikat od serwera, że wyczerpał limit zadań, ustawia czas następnej komunikacji z serwerem dość daleko (z tego co widzę w logu 5-7 godzin).

2007-09-02 16:07:12|enigma|Requesting 17280 seconds of new work
2007-09-02 16:07:17|enigma|Scheduler RPC succeeded [server version 511]
2007-09-02 16:07:17|enigma|Message from server: No work sent
2007-09-02 16:07:17|enigma|Message from server: (reached daily quota of 100 results)
2007-09-02 16:07:17|enigma|Deferring communication for 7 hr 58 min 42 sec
2007-09-02 16:07:17|enigma|Reason: requested by project

Dla ostatecznej wersji aplikacji nie będzie raczej takich 'problemów', bo przy standardowej długości zadań niewiele znajdzie się hostów, które dadzą radę przeliczyć więcej niż 30 dziennie, a limit planuję ustawić na 50.

Jeśli coś się nie pobiera/nie odsyła, wklejajcie logi, łatwiej będzie wypatrzeć co jest nie teges.

[bartsob5]

Edit: serwer raczej działa, przynajmniej jeszcze przed chwilą tak było.
Zadania czasami nie są odsyłane automatycznie, bo w momencie kiedy klient dostaje komunikat od serwera, że wyczerpał limit zadań, ustawia czas następnej komunikacji z serwerem dość daleko (z tego co widzę w logu 5-7 godzin).

2007-09-02 16:07:12|enigma|Requesting 17280 seconds of new work
2007-09-02 16:07:17|enigma|Scheduler RPC succeeded [server version 511]
2007-09-02 16:07:17|enigma|Message from server: No work sent
2007-09-02 16:07:17|enigma|Message from server: (reached daily quota of 100 results)
2007-09-02 16:07:17|enigma|Deferring communication for 7 hr 58 min 42 sec
2007-09-02 16:07:17|enigma|Reason: requested by project

Dla ostatecznej wersji aplikacji nie będzie raczej takich 'problemów', bo przy standardowej długości zadań niewiele znajdzie się hostów, które dadzą radę przeliczyć więcej niż 30 dziennie, a limit planuję ustawić na 50.

Jeśli coś się nie pobiera/nie odsyła, wklejajcie logi, łatwiej będzie wypatrzeć co jest nie teges.

ja odswiezam odsylanie i projekt co chwile, wiec to nie jest kwestia czasu do nastepnej aktualizacji...

probka moich logow:

2007-09-02 16:59:53|enigma|[file_xfer] Temporarily failed upload of test_1_3801_0_1: system connect
2007-09-02 16:59:53|enigma|Backing off 1 hr 28 min 32 sec on upload of file test_1_3801_0_1
2007-09-02 16:59:53||[file_xfer_debug] PERS_FILE_XFER::poll(): file transfer status -107
2007-09-02 16:59:53|enigma|[file_xfer] Temporarily failed upload of test_1_4073_0_1: system connect
2007-09-02 16:59:53|enigma|Backing off 40 min 19 sec on upload of file test_1_4073_0_1
2007-09-02 16:59:53|enigma|[file_xfer] Started upload of file test_1_4074_0_1
2007-09-02 16:59:53||[file_xfer_debug] PERS_FILE_XFER::start_xfer(): URL: http://enigma.no-ip.net:443/enigma_cgi/file_upload_handler
2007-09-02 16:59:53|enigma|[file_xfer] Started upload of file test_1_4075_0_1
2007-09-02 16:59:53||[file_xfer_debug] PERS_FILE_XFER::start_xfer(): URL: http://enigma.no-ip.net:443/enigma_cgi/file_upload_handler
2007-09-02 16:59:53||[http_xfer_debug] HTTP: wrote 1095 bytes
2007-09-02 16:59:53||[http_xfer_debug] HTTP: wrote 1428 bytes
2007-09-02 16:59:53||[http_xfer_debug] HTTP: wrote 791 bytes
2007-09-02 16:59:54||Access to reference site succeeded - project servers may be temporarily down.
2007-09-02 17:00:02|QMC@HOME|[mem_usage_debug] last_bench15_jsch2005s22.1364_0: RAM 79.70MB, page 220.88MB, 0.00 page faults/sec, user CPU 723.172, kernel CPU 0.797
2007-09-02 17:00:12|QMC@HOME|[mem_usage_debug] last_bench15_jsch2005s22.1364_0: RAM 79.70MB, page 220.88MB, 0.00 page faults/sec, user CPU 730.438, kernel CPU 0.813
2007-09-02 17:00:14||[cpu_sched_debug] enforce_schedule(): start
2007-09-02 17:00:14|Einstein@Home|[cpu_sched_debug] want to run: h1_0530.85_S5R2__326_S5R2c_1
2007-09-02 17:00:14||[mem_usage_debug] enforce: available RAM 818.78MB
2007-09-02 17:00:14|Einstein@Home|[cpu_sched_debug] processing h1_0530.85_S5R2__326_S5R2c_1
2007-09-02 17:00:14|Einstein@Home|[cpu_sched_debug] didn't preempt last_bench15_jsch2005s22.1364_0: tr 2200.406250 tsc 242.750000
2007-09-02 17:00:14||[cpu_sched_debug] finished preempt loop, nrunning 1
2007-09-02 17:00:14|Einstein@Home|[cpu_sched_debug] h1_0530.85_S5R2__326_S5R2c_1 sched state 1 next 1 task state 0
2007-09-02 17:00:14|QMC@HOME|[cpu_sched_debug] last_bench15_jsch2005s22.1364_0 sched state 2 next 2 task state 1
2007-09-02 17:00:14|boincsimap|[cpu_sched_debug] 7090103.019932_0 sched state 1 next 1 task state 9
2007-09-02 17:00:14||[cpu_sched_debug] enforce_schedule: end
2007-09-02 17:00:15||Project communication failed: attempting access to reference site
2007-09-02 17:00:15||[file_xfer_debug] FILE_XFER_SET::poll(): http op done; retval -107
2007-09-02 17:00:15||[file_xfer_debug] FILE_XFER_SET::poll(): http op done; retval -107
2007-09-02 17:00:15||[file_xfer_debug] PERS_FILE_XFER::poll(): file transfer status -107
2007-09-02 17:00:15|enigma|[file_xfer] Temporarily failed upload of test_1_4074_0_1: system connect
2007-09-02 17:00:15|enigma|Backing off 10 min 30 sec on upload of file test_1_4074_0_1
2007-09-02 17:00:15||[file_xfer_debug] PERS_FILE_XFER::poll(): file transfer status -107
2007-09-02 17:00:15|enigma|[file_xfer] Temporarily failed upload of test_1_4075_0_1: system connect
2007-09-02 17:00:15|enigma|Backing off 2 hr 48 min 49 sec on upload of file test_1_4075_0_1
2007-09-02 17:00:15|enigma|[file_xfer] Started upload of file test_1_4076_0_1
2007-09-02 17:00:15||[file_xfer_debug] PERS_FILE_XFER::start_xfer(): URL: http://enigma.no-ip.net:443/enigma_cgi/file_upload_handler
2007-09-02 17:00:15|enigma|[file_xfer] Started upload of file test_1_4077_0_1
2007-09-02 17:00:15||[file_xfer_debug] PERS_FILE_XFER::start_xfer(): URL: http://enigma.no-ip.net:443/enigma_cgi/file_upload_handler
2007-09-02 17:00:16||[http_xfer_debug] HTTP: wrote 1095 bytes
2007-09-02 17:00:16||[http_xfer_debug] HTTP: wrote 1428 bytes
2007-09-02 17:00:16||[http_xfer_debug] HTTP: wrote 791 bytes
2007-09-02 17:00:16||Access to reference site succeeded - project servers may be temporarily down.

[Simek]

Co do loga ciężko zrobić logo do strony która nie ma lay'a ;P
Nawet nie mam pojęcia jakiego rozmiaru ma być i jakichch kolorów użyć xD

Takie bezosobowe logo ;) Biało-czarne... Nic nadzwyczajnego ;) Chodziło o to, żeby nie było proste w wyglądzie, trochę trudne do odczytania, ale czytelne ;)

[RAD-Poland]

bartsob5 - miałem podobny problem (EDIT - boinc nie odsyłał wyników)  - pomogło wyłączenie i ponowne włączenie BOINC'ateraz nadrabiam straty, zostawiliście mnie na szarym końcu :wink:EDIT: widzę,że coś pomogło  8)

[bartsob5]

bartsob5 - miałem podobny problem (EDIT - boinc nie odsyłał wyników)  - pomogło wyłączenie i ponowne włączenie BOINC'ateraz nadrabiam straty, zostawiliście mnie na szarym końcu :wink:EDIT: widzę,że coś pomogło  8)

rzeczywiscie zadzialalo... kiedy byly te czasy co wykorzystywalem najprosztsze metody?:|

[TJM]

Mhm kombinowałem z przeliczaniem punktów z starej wersji na nową, według tego co pokazuje klient BOINCa dzielnik wychodzi nie 80-90 tylko 240-250 %-) 150 punktów = 0.60498 w przeliczeniu na BOINCowe jednostki. Wychodzi nieco mniej niż 7 punktów na godzinę dla Athlona 1400. Jak to wygląda na tle innych projektów ?
Ostateczny przelicznik jeszcze się może zmienić, bo wciąż nad tym pracuję. Punkty za zadania ze starego serwera można dodawać bez problemu do bazy BOINCa, ale raczej nie w czasie rzeczywistym, tylko np. skryptem raz dziennie.

Ze stroną za bardzo szaleć nie można, bo jak nietrudno zauważyć, serwer stoi na neo i dysponuje uploadem rzędu 32kB/s (+ kompresja w locie). Dla samego projektu to nie problem bo przesyłane ilości danych są znikome (poniżej 0,5kB na zadanie), ale np. forum koniecznie musi znaleźć się na innym serwie, a strona musi być 'odchudzona' %-)

[bartsob5]

ale liczysz to dla probek optymalizowanych czy standartowych?

ja liczylem probke 65 minut i dostalem za nia 1274 pkt...
czyli wychodzi 1176 pkt/h
na projekcie boinc zgodnie z benchmarkami (klient 5.10.8 ) powinienem dostawac 13,16pkt/h
czyli 90,5 raza mniej...

standartowa aplikacja, sempron 3100+ @2,25GHz...

a wg twojego rozumowania 150 = 0,605 wychodzi mi 5,1383pkt/h a nie 7...

[TJM]

To jest dla gołej aplikacji, wiadomo że zoptymalizowane dadzą lepsze wyniki i o to właśnie chodzi.
Jak zmierzyłeś te 65 minut ? Ja liczę według czasu procesora potrzebnego na zadanie, zawsze wychodzi sporo mniej od normalnego upływu czasu, nawet kiedy nic innego w tym czasie nie działało. Zrobiłem na tę okazję specjalną wersję enigmy, kiedy skończy obliczać zatrzymuje się a nie wyłącza, dzięki czemu faktycznie użyty czas procesora mogę zobaczyć choćby process explorerem.

[bartsob5]

testowalem clienta 0.5... i oprocz kilkudziesieciu probek wartych 28 punktow przez 65 minut liczylem jedna wieksza, za ktora dostalem 1274 pkt (lub cos okolo tego)

[TJM]

Hm zastanawiam się, skąd mogły się brać te problemy z odsyłaniem danych. Jedyne co mi przychodzi do głowy, to problemy z odświeżaniem IP dynamicznych domen (niestety zdarza się w niektórych sieciach, 'dodatkowy' soft też może to powodować, np. niektóre firewalle mają DNS cache). Z tym, że zmiana IP zazwyczaj odbywa się u mnie w nocy, chyba, że po jakiejś awarii netu/padzie prądu się godzina przestawi, ale zazwyczaj szybko to poprawiam.
Jednak taka teoria nie wyjaśnia, czemu restart BOINCa pomógł. Chyba, że sam BOINC też ma swój DNS-cache.
Na razie dopisuję to do ArchiwumX problemów nie wyjaśnionych  :lol:

[AL]

Taki problem miałem już w kilku projektach ( niestety teraz nie przypominam sobie dokładnie jakich ), więc to może być problem samego mgr BOINC.

[TJM]

---------- 06:20 03.09.2007 ----------

Taki problem w różnych projektach może oznaczać po prostu przeciążenie serwera - sam to już zaobserwowałem parę razy, np. w ufluids to praktycznie standard, zwłaszcza w godzinach porannych naszego czasu. Jednak w moim przypadku to nie wchodzi w grę, odkąd postawiłem ten serwer najwięcej czasu proca wciągnął top odpalony w jednej konsoli.
Kolejna hipoteza to problem z miejscem na dysku - partycja gdzie siedzi cała część serwerowa ze wszystkimi plikami zadań, logami itp ma tylko 5GB i jak się okazuje, logi już zatkały to do poziomu 98% (serwer jest trochę głupkowaty i zapisuje non stop statusy do logów nawet jak nic się nie dzieje), co może oznaczać, że nie-root userzy (w tym user na którym pracuje BOINC) mogą mieć trudności z zapisem %-)


Ten uppercase to nawet niezła rzecz do testów, zadania łatwo się przygotowuje i od razu widać, czy jako tako działa strona serwerowa; na dodatek zadania są krótkie, więc test odbywa się w przyspieszonym tempie. 10k zadań przy użyciu normalnych work unitów enigmy to pewnie ze 2 tygodnie pracy co najmniej kilkudziesięciu niezłych kompów.

Nawiasem mówiąc, wczoraj Stefan Krah udostępnił mi testowy serwer, z którego teraz łykam zadania. Testy wrappera pomiędzy jego serwerem a moim jak na razie przebiegają nieźle, na około 1100-1200 work unitów trafiło się 5 błędów, co moim zdaniem jest do przyjęcia, zwłaszcza jak na pierwszą wersję i fakt, że protokół używany przez tamtejszy serwer nie przewiduje żadnych poprawek -- jeśli coś się nie powiedzie podczas transferu, to zadanie przepada.
Na dodatek testowe zadania są krótkie (poniżej 1/26 czasu normalnego zadania) dzięki czemu od razu jestem w stanie ocenić wydajność wrappera. Wygląda na to, że pojedyńczy potrafi zweryfikować i odesłać około 10-12 zadań na minutę, co daje 14,4k+ zadań dziennie, a takich wrapperów pewnie można odpalić kilka - prędkość odsyłania zadań limitowana jest przez sam sposób komunikacji, wszystko odbywa się tak, że bez problemu można ręcznie połączyć się telnetem i odsyłać zadania wklejając z pliku z wynikami to, o co prosi serwer.
Żeby w pełni nasycić nawet jedno ciągłe połączenie z serwerem projektu M4, potrzeba by około 400 core2 duo 1.86 pracujących non stop 24/7.

---------- 22:15 03.09.2007 ----------

Mhm jak myślicie, jeśli za jakiś czas projekt ruszy 'pełną parą' i wyeksportuję statsy, nie będzie problemów żadnych w związku z tym, że niektórzy userzy od razu na starcie będą mieli sporo punktów zdobytych w czasie testów ?
Gdybym ja prowadził jakiś sajt ze statsami, to by mi pachniało cheatowaniem, bo przecież w sumie każdy może sobie postawić serwer boinca i wpisać ręcznie do bazy odpowiednią ilość punktów.

[lukaszde]

pon 03 wrz 2007 14:27:00 CEST|enigma|Message from server: No work sent
pon 03 wrz 2007 14:27:00 CEST|enigma|Message from server: (reached daily quota of 100 results)
pon 03 wrz 2007 14:27:00 CEST|enigma|Deferring communication for 10 hr 16 min 12 sec

Domyslam sie, ze ustawiles dzienny limit na 100 WU ?

A co do punkow, zrob jak uwazasz, dla mnie to raczej obojetne, chociaz dobrze byloby miec jakies pkty za testy.

[ka_ga]

a jest w ogóle jeszcze jakaś praca? to u mnie wyskakuje:

2007-09-03 14:40:27|enigma|Sending scheduler request: Requested by user
2007-09-03 14:40:27|enigma|Requesting 101081 seconds of new work
2007-09-03 14:40:32|enigma|Scheduler RPC succeeded [server version 511]
2007-09-03 14:40:32|enigma|Deferring communication for 7 sec
2007-09-03 14:40:32|enigma|Reason: requested by project
2007-09-03 14:40:32|enigma|Deferring communication for 1 hr 42 min 17 sec
2007-09-03 14:40:32|enigma|Reason: no work from project

[AL]

Mhm jak myślicie, jeśli za jakiś czas projekt ruszy 'pełną parą' i wyeksportuję statsy, nie będzie problemów żadnych w związku z tym, że niektórzy userzy od razu na starcie będą mieli sporo punktów zdobytych w czasie testów ?
Gdybym ja prowadził jakiś sajt ze statsami, to by mi pachniało cheatowaniem, bo przecież w sumie każdy może sobie postawić serwer boinca i wpisać ręcznie do bazy odpowiednią ilość punktów.

O to się nie martw. Wiele projektów powstawało w ten sposób i te kilkaset punktów które zdobyliśmy w trakcie testów to mały pikuś w porównaniu do tego ile punktów podczas testów innych projektów nastrzelały poszczególne osoby w innych projektach i jakoś nikt nigdy z tego powodu problemu nie robił.

BTW. Koniec WU do przeliczania, mi zostało jeszcze przychodowanych na jednej instalacji BOINC niecałe 200 sztuk (nie ma to jak kilka zapasowych instalacji na pendrivie :wink: ) i myślę, że do około 2 godzin się z nimi uporam.

Rozumiem, że skoro wspominasz już powoli o eksporcie statystyk - myślisz już powoli o międzynarodowym upublicznieniu projektu? Ja narazie coś tylko wspominałem tutta55 o Twoim projekcie - ale bez Twojej zgody adresu www mu nie podam. Myślę, że w tym samym czasie pewno Bober da cynk na forum BOINCSynergy i tak naprawdę wtedy dopiero zaczną się prawdziwe testy i oblężenie strony projektu, choć zauważyłem, że już jedna jaskółka z USA wyczaiła projekt i o mały włos by nas jeszcze wszystkich wyprzedziła w punktacji ogólnej - ale nie damy się!
Ja myślę, że zanim damy cynk za granicę - to wpierw przydałoby się jednak dokończyć stronę projektu ( w wersji angielskiej ) i uruchomić forum. No i podstawa to opisać na stronie głównej projektu czym on się będzie zajmował, nawet jeśli w tej chwili liczymy tylko upercasa jako aplikację testową - to jak będzie dobra i czytelna informacja czym tak naprawdę po testach (fazie alpha, beta) projekt będzie zajmował - to naprawdę nikomu nie będzie przeszkadzało liczenie narazie upercasa i pomaganie w testach.
Tak mi jeszcze do głowy przyszło, że może tymczasowo u nas na forum jaiś dział zrobić poświęcony tylko temu projektowi (takie jakby subforum). Wiem, że to rozwiązanie to tylko półśrodek - ale kuszący - bo możliwy do wykonania w bardzo krótkim czasie.

[bartsob5]

ja mysle, ze jesli tjm juz teraz zablokuje tworzenie nowych kont (lub na przyklad po osiagnieciu 50 uzytkownikow) to mozna spokojnie oglaszac adres  na boincstatsach...

[Bober]

Ja narazie coś tylko wspominałem tutta55 o Twoim projekcie - ale bez Twojej zgody adresu www mu nie podam. Myślę, że w tym samym czasie pewno Bober da cynk na forum BOINCSynergy

Heheh, jak Tutta55 się dowie to ja nawet nie zdążę dotknąć klawiatury a już cały świat będzie znał adres projektu  :lol:

[tito]

Dziś rano się dołączyłem :) Tylko jak to jest z próbkami? Mi na A64 3700 i C2D 1,66 liczy poniżej 2 minut (na obu jakieś 118sekund) i dostaję za nie odpowiednio 0,46 i 0,35 pkt. Natomiast w top10 za próbki dostawali (ten sam czas) 0,66. Skąd taka rozbieżność?

[Bober]

Bo niektórzy mają zawyżone benchmarki przez klienta 5.9.0 od Crunch3r'a.
TJM wspominał, że może zrobi stałą ilość punktów za jednostkę. To by rozwiązało problem.
Na benchmarkach nie ma co polegać  :P

[RAD-Poland]

obecnie przyznawane punkty są na podstawie benchmarków Menageratito
w twoim przypadku:
- wydajność obu twoich komputerów jest na tym samym poziomie
- na obu masz tę samą wersję Managera 5.10.13
- a fakt jest taki, że procesory C2D mocno zaniżają benchmarki, dlatego masz taką różnicę punktacji

[tito]

obecnie przyznawane punkty są na podstawie benchmarków Menageratito
w twoim przypadku:
- wydajność obu twoich komputerów jest na tym samym poziomie
- na obu masz tę samą wersję Managera 5.10.13
- a fakt jest taki, że procesory C2D mocno zaniżają benchmarki, dlatego masz taką różnicę punktacji

Dzięki :) i wszystko jasne.
Miejmy nadzieję, że punkty będą "fixed" - zdecydowanie preferuję takie rozwiązanie jako bardziej uczciwe.

[TJM]

Punkty na pewno będą przyznawane w zależności od prawdziwej długości zadań, moim zdaniem to jedyny sensowny sposób. Zwłaszcza, że zoptymalizowane klienty są dużo szybsze od standardowego i niektóre procesory radzą sobie z enigmą lepiej niż inne.
Już wiem skąd się bierze ten rozrzut długości zadań. Początkowo cały system serwerowy był przewidziany tylko dla enigmy M3, nie przewidziałem tego, że dodatkowe rotory dostępne w M4 wydłużają czas przeliczania zadań, jeśli są użyte. Dla M4 każde zadanie ma 3 możliwe długości, zależnie od tego czy oba lub jeden (albo żaden) rotory z prawej to VI-VIII

Tak to wygląda z czasem przeliczeń, dla benchmarku:

276:

real    4m47.606s
user    4m36.069s
sys     0m0.040s

236:

real    2m23.649s
user    2m18.093s
sys     0m0.028s


235:

real    1m20.063s
user    1m16.953s
sys     0m0.020s

jak widać, różnica w czasie znaczna. Doszedłem do wniosku, że nie będę kombinował z obliczaniem długości 'w locie' przez skrypt do weryfikowania zadań, po prostu dla każdej serii zadań zrobię 3 pomiary i zapiszę wyniki w bazie. Potem na etapie tworzenia zadania będzie można przypisywać do niego punkty. Porządne przygotowanie zadania do 'odpalenia' w sieci rozproszonej i tak zajmuje mi sporo czasu, te dodatkowe parę minut na ręczne obliczenia i parę godzin czekania na wyniki testów nie zrobią żadnej różnicy.

Normalne (testowe) zadanie tego typu co na samym dole trwa 6 minut 32 sekundy na mojej referencyjnej maszynie (Athlon 1400), przy niezoptymalizowanym kliencie i na chwilę obecną przewiduję za nie 0.60498 punktu. Zoptymalizowany klient rozpędza trochę obliczenia (tak pi razy drzwi do 5 minut i paru sekund, wczoraj robiłem testy ale nie zapisałem dokładnych wartości) i te same 0.60498 punktu dostaje się szybciej.

Być może w późniejszym czasie wyjdą jeszcze jakieś dodatkowe różnice między zadaniami, na razie nic innego nie widzę.
Zadania testowe uppercasa się skończyły, następne będą już chyba na normalnej aplikacji (oby). Późnym wieczorem serwer na jakiś czas odepnę od netu, bo muszę przetestować działanie samej enigmy, bez sensu byłoby gdyby aplikacje z błędami 'poszły w świat'.

[lukaszde]

jesli mozna prosic, to uzupelnij na stronie informacje o projekcie
Czekamy na WU i zabieramy sie do liczenia :)

[TJM]

Z 'prawdziwymi' work unitami to jeszcze nie tak prędko, najpierw trzeba zbetatestować enigmę, która w środowisku BOINCa działa z defaultowym BOINCowym wrapperem. Teoretycznie można by do progsa dorobić BOINC API (lepsze rozwiązanie), źródła są dostępne więc pewnie jest to wykonalne, jednak na obecnym etapie rzeczy do zrobienia jest jeszcze tyle, że nawet nie chce mi się myśleć o przeróbkach.
Zanim to odpalę muszę jeszcze 'przyuczyć' się do dodawania zadań na tyle, żeby zrobić skrypt który będzie je automatycznie generował na podstawie mojej głównej bazy. Wczoraj zacząłem przy tym dłubać (dlatego serwer off), ale w międzyczasie zacząłem testować różne typy zadań i obliczać punkty za nie, na tym się skoncentrowałem, a dalsze kombinowanie z zadaniami zostawiłem na dziś. Aktualną punktację bez/z optymalizacjami można na żywo obejrzeć w starym kliencie 0.5, jest w pełni kompatybilny z BOINCowym zapleczem, mimo, że po stronie klienta z BOINCem nie ma nic wspólnego. Zamiast 3 tak jak wczoraj kombinowałem, zadania podzielone są na 4 grupy długości, w obrębie grup istnieje też niewielki rozrzut (+/- 5-15% zależnie od procesora), ale nad tym nie ma co się głowić, po prostu przyjąłem średnią wartość i raz za zadanie wpadnie trochę mniej punktów niż by się należało, a raz troche więcej, przy wielu zadaniach samo się wyrówna do odpowiedniej wartości.

[jaskij]

Co do strony, forum, itp. itd. to z mojej strony pomagać mogę głównie z angielskim. Co do serwera to podobno na kablu nie idzie wyciągnąć przyzwoitego uploadu... Ew. radio albo jakieś łącze dla firm ale jest to strasznie drogie...

[TJM]

Prędkość łącza to najmniejszy problem, w projekcie tego typu bardziej liczy się wydajność bazy danych, bo na pewnym etapie to zaczyna limitować prędkość wysyłania work unitów.
Gdyby wszystko miało działać na jednym kompie, pewnie nie byłoby mnie stać na maszynę która miałaby uciągnąć nawet średniej wielkości bazę. Jednak świetnie sprawdza się podział, który wprowadziłem kiedyś przebudowując stary serwer - główna baza stoi na oddzielnym kompie, który może być byle słabizną, bo nie generuje nic w czasie rzeczywistym. Główny serwer operuje na mniejszej bazie i jedynie raz na jakiś czas uzupełnia listę work unitów zasysając nowe z głównej i oddając już przeliczone. W ten sposób baza projektu jest malutka i byle sprzęt daje radę to ciągnąć.