Universe@Home - serwer testowy projektu

[cp]

Projekt jest już uwzględniany w statystykach BoincStats :)

:p_arr:

[necavi]

Niestety, ale na gadżecie z http://boinc.mundayweb.com go brak  :dunno: Potrafi ich ktoś poinformować? Inne projekty dodali.

[Troll81]

 :boing:

[Krzysiak]

Sucho trochę  ;)

[krzyszp]

Sucho trochę  ;)

Ja widzę 12k próbek czekających na wysłanie...

[Krzysiak]

Ciągle mam problem z buforem próbek jak pisałem kilka postów wyżej i przestojami do 5 minut

[krzyszp]

Ciągle mam problem z buforem próbek jak pisałem kilka postów wyżej i przestojami do 5 minut

Zmieniłem max_wus_in_progress z 2 na 4 (na rdzeń), może to pomoże.

[Krzysiak]

Dalej to samo jak by nie było próbek  :(
Projekt zrestartowałem

[dziubas]

a mi pomogło

[krzyszp]

Dalej to samo jak by nie było próbek  :(
Projekt zrestartowałem

Restartować nie ma potrzeby, ale możesz powiedzieć, na jaki czas masz ustawiony zapas WU oraz jak wysoko pod względem innych projektów na tym kompie masz ustawione priorytety? Może po prostu nie dobiera WU, bo "nisko wisi"?
Chyba, że to jedyny projekt - w takim przypadku manipulacja zapasem powinna pomóc (projekt ma deadline na 48 godzin ustawiony i tak niestety musi pozostać).

[Krzysiak]

Project mam ustawiony jako jedyny
Zapas na 24 godziny

Kod [Zaznacz] Rozwiń

2014-07-29 19:07:15 | Universe@Home | update requested by user
2014-07-29 19:07:18 | Universe@Home | Sending scheduler request: Requested by user.
2014-07-29 19:07:18 | Universe@Home | Requesting new tasks for CPU
2014-07-29 19:07:21 | Universe@Home | Scheduler request completed: got 0 new tasks
2014-07-29 19:07:21 | Universe@Home | Not sending work - last request too recent: 43 sec


[krzyszp]

Project mam ustawiony jako jedyny
Zapas na 24 godziny

Kod [Zaznacz] Rozwiń

2014-07-29 19:07:15 | Universe@Home | update requested by user
2014-07-29 19:07:18 | Universe@Home | Sending scheduler request: Requested by user.
2014-07-29 19:07:18 | Universe@Home | Requesting new tasks for CPU
2014-07-29 19:07:21 | Universe@Home | Scheduler request completed: got 0 new tasks
2014-07-29 19:07:21 | Universe@Home | Not sending work - last request too recent: 43 sec


Akurat w tym przypadku, za szybko dałeś "update" - projekt ma ustawione kilka minut oczekiwania pomiędzy kolejnymi próbami kontaktu...

Niemniej, ustaw na 48h i zobaczymy, jak to nie pomoże, to 7 dni, a jak i to nie pomoże, to poszukamy głębiej...

[sknd]

kiedy przewidywane przejście z serwera testowego na ten już "prawdziwy"? Pytam, bo wtedy pewnie wydłuży się deadline i (mam nadzieję) WU przestaną u mnie łapać od razu wysoki priorytet, co jest bardzo wkurzające - bez częstych ręcznych ingerencji nie da się liczyć kilku projektów na raz  :bad:

[krzyszp]

kiedy przewidywane przejście z serwera testowego na ten już "prawdziwy"? Pytam, bo wtedy pewnie wydłuży się deadline i (mam nadzieję) WU przestaną u mnie łapać od razu wysoki priorytet, co jest bardzo wkurzające - bez częstych ręcznych ingerencji nie da się liczyć kilku projektów na raz  :bad:

To nie będzie przejście, obydwa będą funkcjonować równolegle, tylko na testowym będzie mniej WU i będzie on służył do testowania apek, ustawień, skryptów. Projekt ma w zamierzeniach dość mocno ewoluować.

Co do deadline, to jest to (w tej chwili) konieczne, bo w razie wykrycia błędu nie mogę czekać tygodnia/dwóch na przyjście zaległych/skasowanych WU...
Nie pomaga obniżenie priorytetu? Manager powinien wtedy mniej ich pobierać lub robić przerwy pomiędzy WU na inne projekty.

Zresztą, zobacze jeszcze jak obecna seria zejdzie, jeżeli poziom błędów będzie tak niski, jak dotąd (na poziomie 0.0X Windows, 0.00X Linuks), to może faktycznie trochę wydłużę deadline do 3-4 dni.
Generalnie, czeka mnie jeszcze jedna, dość duża zmiana w aplikacji, a następnie podejście do checkpointów (czego nie obiecuję ze względu na skomplikowanie app) i dopiero wtedy będziemy robić przymiarki do serwera produkcyjnego.

Sprawa produkcji, to też kwestia czasu, kiedy będzie rozstrzygnięty przetarg na serwer, a ma to nastąpić w sierpniu, o ile oczywiście nikt go nie oprotestuje lub coś podobnego nie nastąpi...

[sknd]

dzięki, zapomniałem w ogóle o istnieniu opcji przydziału zasobów, zmniejszyłem z 100 na 25%, zobaczymy co będzie, na razie zagarnął wszystkie wątki  ;)

[Krzysiak]

Teraz mam jeszcze ciekawiej  ;D
Mimo udostępnienia 4 jajek w użyciu są tylko 2-3 ?
Wróciło do normy - próbek brak

Ustawiłem tak
Minimalny zapas zadań 2 dni
Maksymalny zapas zadań 7 dni

Czas przeliczenia 1 próbki na 4790K 4,4Ghz to około 10 minut

[PDH]

U mnie podobnie -bufory na dwa dni, zasoby na 100% i jak pobierze to max 3 zadania...

Kod [Zaznacz] Rozwiń

30/07/2014 02:38:24 |  | Starting BOINC client version 7.4.9 for windows_x86_64

30/07/2014 02:43:33 | Universe@Home | update requested by user
30/07/2014 02:43:33 |  | [work_fetch] Request work fetch: project updated by user
30/07/2014 02:43:38 | Universe@Home | sched RPC pending: Requested by user
30/07/2014 02:43:38 | Universe@Home | [work_fetch] set_request() for CPU: ninst 31 nused_total 1.00 nidle_now 0.00 fetch share 1.00 req_inst 30.00 req_secs 10246154.17
30/07/2014 02:43:38 | Universe@Home | [sched_op] Starting scheduler request
30/07/2014 02:43:38 | Universe@Home | [work_fetch] request: CPU (10246154.17 sec, 30.00 inst) NVIDIA GPU (0.00 sec, 0.00 inst)
30/07/2014 02:43:38 | Universe@Home | Sending scheduler request: Requested by user.
30/07/2014 02:43:38 | Universe@Home | Requesting new tasks for CPU
30/07/2014 02:43:38 | Universe@Home | [sched_op] CPU work request: 10246154.17 seconds; 30.00 devices
30/07/2014 02:43:38 | Universe@Home | [sched_op] NVIDIA GPU work request: 0.00 seconds; 0.00 devices
30/07/2014 02:43:40 | Universe@Home | Scheduler request completed: got 0 new tasks
30/07/2014 02:43:40 | Universe@Home | [sched_op] Server version 705
30/07/2014 02:43:40 | Universe@Home | No tasks sent
30/07/2014 02:43:40 | Universe@Home | Project requested delay of 182 seconds
30/07/2014 02:43:40 | Universe@Home | [sched_op] Deferring communication for 00:03:01
30/07/2014 02:43:40 | Universe@Home | [sched_op] Reason: requested by project
30/07/2014 02:43:40 |  | [work_fetch] Request work fetch: RPC complete

30/07/2014 03:01:17 | Universe@Home | [work_fetch] set_request() for CPU: ninst 31 nused_total 1.00 nidle_now 0.00 fetch share 1.00 req_inst 30.00 req_secs 23676870.41
30/07/2014 03:01:17 | Universe@Home | [sched_op] Starting scheduler request
30/07/2014 03:01:17 | Universe@Home | [work_fetch] request: CPU (23676870.41 sec, 30.00 inst) NVIDIA GPU (0.00 sec, 0.00 inst)
30/07/2014 03:01:17 | Universe@Home | Sending scheduler request: To fetch work.
30/07/2014 03:01:17 | Universe@Home | Requesting new tasks for CPU
30/07/2014 03:01:17 | Universe@Home | [sched_op] CPU work request: 23676870.41 seconds; 30.00 devices
30/07/2014 03:01:17 | Universe@Home | [sched_op] NVIDIA GPU work request: 0.00 seconds; 0.00 devices
30/07/2014 03:01:19 | Universe@Home | Scheduler request completed: got 0 new tasks
30/07/2014 03:01:19 | Universe@Home | [sched_op] Server version 705
30/07/2014 03:01:19 | Universe@Home | No tasks sent
30/07/2014 03:01:19 | Universe@Home | Project requested delay of 182 seconds
30/07/2014 03:01:19 | Universe@Home | [work_fetch] backing off CPU 1556 sec
30/07/2014 03:01:19 | Universe@Home | [sched_op] Deferring communication for 00:03:01
30/07/2014 03:01:19 | Universe@Home | [sched_op] Reason: requested by project




Nawet jak nie liczę innych projektów CPU, to serwer rzuca jakieś ochłapy a "zadań do wysłania" jest ponad 50k :wacko:

[Krzysiak]

To znaczy że nie jestem sam ze swoim problemem  :)

[Cyfron]

Czy wiadomo ile czasu będzie trwało przeliczenie całego projektu? Czy jest przewidziany jakiś koniec?

[Szopler]

Ad.1 W *uj długo...
Ad.2 Jak się skończy dofinansowanie + pół roku od tego momentu ;)

[krzyszp]

Ad.1 W *uj długo...
Ad.2 Jak się skończy dofinansowanie + pół roku od tego momentu ;)

Szopler, ciekawa odpowiedź :)

Roboty to jest spokojnie na 10 lat całego BOINC, więc WU raczej prędko się nie skończą.
Natomiast obecnie grant jest przydzielony na 3 lata (liczone od momentu startu serwera produkcyjnego), ale zawsze istnieje szansa, że zostanie przedłużony. Natomiast IMHO dla potomności zostanie baza danych wykonanych analiz - a będzie potężna, na tę chwilę mam już 175GB wyników symulacji po kilku dniach...

[Krzysiak]

Nie to żebym był upierdliwy

Kod [Zaznacz] Rozwiń

2014-07-31 09:47:16 | Universe@Home | Requesting new tasks for CPU
2014-07-31 09:47:19 | Universe@Home | Scheduler request completed: got 0 new tasks
2014-07-31 09:47:19 | Universe@Home | No tasks sent
2014-07-31 09:58:10 | Universe@Home | update requested by user
2014-07-31 09:58:14 | Universe@Home | Sending scheduler request: Requested by user.
2014-07-31 09:58:14 | Universe@Home | Requesting new tasks for CPU
2014-07-31 09:58:17 | Universe@Home | Scheduler request completed: got 0 new tasks
2014-07-31 09:58:17 | Universe@Home | No tasks sent


i tak na 3 maszynach  :wth:

Przy CPU 4 jajkowych mam wrażenie że serwer nie nadąży z wysyłaniem próbek
Może trzeba zwiększyć czas żywotności próbki ?

[Dario666]

U mnie też tak było, więc ustawiłem:
1. Blokada jeszcze nie rozpoczętych Wu z innych projektów.
2. Ustawienie Minimalny zapas danych na 1 dzień i dodatkowy na 0,25 dnia.

[Krzysiak]

Ja już wywaliłem z menadżera pozostałe projekty i po ustawiałem zapas danych jak kilka postó wyżej i jak pobierze 4 próbki (najczęściej 3 ) to mogę czuć przez chwilę zadowolenie !!!

[krzyszp]

Powoli zwiększam czas próbek.
Obecnie jest ok 50k WU, z czego 10k jest dłuższe o 50%, następna seria znowu będzie wydłużona o 50%. To powinno zakończyć te problemy.

[Krzysiak]

I chyba wydłużenie czasu zmieniło buforowanie na lepsze  :whistle:
bo dla 4 jajek - 8 próbek wisi w zapasie i zaraz uzupełniają się następne  :)

[Dario666]

Każde WU ma 1100 kB, a liczone jest z 10-15 minut, to mając kilkanaście/kilkadziesiąt rdzeni można nieźle zapchać sieć.

[krzyszp]

Na ilość danych nic na razie nie poradzę (ale może za jakiś czas dorobię pakowanie ich przed wysyłką), natomiast wydłużenie czasu pracy spowoduje też analogicznie wzrost wielkości plików wynikowych - po prostu czas przetwarzania i wielkość plików wynikowych jest wprost proporcjonalny do ilości symulacji podawanej do WU. Wcześniej to było 2000 na próbkę, teraz ustawiłem 3000.

Zmieniłem też z 3 do 2 minut czas, jaki musi upłynąć pomiędzy dostawą nowych WU dla klienta - to też powinno pomóc.

Edit:

Jednak zajmę się pakowaniem plików wynikowych, bo faktycznie można łącza pozapychać. Musi tylko zejść obecna partia WU

[Troll81]

 :respect: jestem pełen szacunku dla twej pracy....

[Dario666]

Z tego co jest na stronie to wynika, że aplikacja do Linuxa jest 64-bit , a Win 32-bit?
Jaka jest różnica w wydajności?

[krzyszp]

Z tego co jest na stronie to wynika, że aplikacja do Linuxa jest 64-bit , a Win 32-bit?
Jaka jest różnica w wydajności?

O dziwo, aplikacja na Windows zdaje się odrobinę szybsza...

[Dario666]

A łyżka mówi "niemożliwe"  XD

[Krzysiak]

No w końcu próbki płyną pełnym strumieniem   :p_arr:

[sknd]

mam nadzieję, że w związku z wydłużeniem WU jednak te checkpointy się pojawią - teraz liczę WU trwające około godziny, a chyba mają być jeszcze dłuższe...

[krzyszp]

mam nadzieję, że w związku z wydłużeniem WU jednak te checkpointy się pojawią - teraz liczę WU trwające około godziny, a chyba mają być jeszcze dłuższe...

To już docelowa prędkość.

Dłuższe będą tylko w przypadku pojawienia się checkpointów :)

[Krzysiak]

Ilość przetworzonych danych mocno wzrosła ?

[krzyszp]

Ilość przetworzonych danych mocno wzrosła ?

Zdecydowanie.

Obecnie baza danych wyników to prawie 230GB (ponad 367kk rekordów z danymi).
W dodatku, wydłużenie próbek było konieczne ze względu na ruch na serwerze, podobnie wielkość plików wynikowych wymusiła zastosowanie kompresji przesyłanych danych.

[pawg]

Nie jestem pewien czy dalsze wydłużanie WU ma sens, ludzie wolą małe próbki. Dlatego PG dodatkowo premiuje dłuższe próbki... Lepszym sposobem przyciągania są: stała dostępność zadań, stabilność liczenia oraz stabilność serwera  ;)

[krzyszp]

...Lepszym sposobem przyciągania są: stała dostępność zadań, stabilność liczenia oraz stabilność serwera  ;)

No i tu niestety mamy problem...
Będę musiał trochę zmniejszyć ilość WU - ten serwer (dedyk na i7) nie daje rady zaimportować do bazy danych wszystkich próbek już przy ok 1k aktywnych hostów - danych jest po prostu za dużo (nawet 2.5MB czystych danych na WU!). W efekcie, dwa razy w ciągu ostatnich 24h padł serwer baz danych...

Do czasu, aż nie wymyślę, jak zoptymalizować ten proces, będę musiał niestety zmniejszyć ilość dostępnych próbek...

[Dario666]

Może by się zastanowić czy te wszystkie dane są potrzebne. Baza będzie miała 20 TB i jaki sprzet to wszystko przetworzy?