Universe@Home - serwer testowy projektu

[Sebastian M. Bobrecki]

Cieszę się że serwer dał radę :) Tyle że teraz nie ma czego liczyć ;)

P.S. krzyszp jak byś może potrzebował jakiejś pomocy przy optymalizacji serwera to daj znać.

[krzyszp]

Cieszę się że serwer dał radę :) Tyle że teraz nie ma czego liczyć ;)

P.S. krzyszp jak byś może potrzebował jakiejś pomocy przy optymalizacji serwera to daj znać.

Muszę poczekać na powrót próbek z ostatnich serii zanim zmienię aplikację na ciut nowszą.

Sebastian, chyba będę miał kilka pytań, ale na razie sprawdzam, czy sam sobie nie poradzę :)

[Sebastian M. Bobrecki]

Ok. Jakby co to wal śmiało.

[Sebastian M. Bobrecki]

wto, 27 sty 2015, 14:56:19 | Universe@Home | Wiadomość z serwera: universe2 needs 55435.54MB more disk space.  You currently have 10100.46 MB available and it needs 65536.00 MB.  :(

[krzyszp]

wto, 27 sty 2015, 14:56:19 | Universe@Home | Wiadomość z serwera: universe2 needs 55435.54MB more disk space.  You currently have 10100.46 MB available and it needs 65536.00 MB.  :(

Już zrobione, przez pomyłkę w templatce o 2 zera za dużo dałem ;)

[Troll81]

 %)

[kva.pl]

Subtelna pomylka :D

[krzyszp]

Subtelna pomylka :D

Tak jest, jak w dokumentacji opis jest informacja, jak wpisać oczekiwania, ale nie ma podane w jakich jednostkach: bajtach, kilobajtach czy może w kwintalach ;)

[kva.pl]

No to fakt, najlepiej poleciec w ekstremum i od razu znalezc problem :) Znam ta metode, stosuje radosnie  :attack:

[pawg]

Nie podoba mi się pomysł zwiększenia długości WU  :bad:

[kva.pl]

Dlaczego?

[krzyszp]

Nie podoba mi się pomysł zwiększenia długości WU  :bad:

Dlaczego? Jeżeli będą checkpointy?

Generalnie w planach "na teraz" (mogą się zmienić) będą minimum 2 rodzaje WU na serwerze produkcyjnym: "zwykłe" w przypadku których przewidywany czas działania to będzie pomiędzy jedną a trzema godzinami na średnio mocnym sprzęcie (jako punkt odniesienia będę przyjmował mój E3-1230v3), oraz grupa długich WU (20h+). Te drugie będą generowane na podstawie wyników tych pierwszych i będą służyły dokładnemu sprawdzeniu co ciekawszych wyników z podstawowych jednostek. Oczywiście, mówimy tu o serwerze produkcyjnym, testowy już wkrótce wróci do swojej podstawowej roli jaką jest testowanie aplikacji i WU.

[necavi]

@krzyszp "długie WU" będą przyznawane wg. mocy przerobowej danej maszyny czy innych względów?

[krzyszp]

@krzyszp "długie WU" będą przyznawane wg. mocy przerobowej danej maszyny czy innych względów?

Nie przewiduję jakiegoś specjalnego selekcjonowania klientów poza mechanizmami wbudowanymi w serwer (czyli czy klient się wyrobi oraz jego ogólnej "reputacji" - od jakiegoś czasu w serwer jest wbudowana taka funkcja).

[pawg]

Małe WU są bardzo mile widziane przez osoby posiadające słabsze komputery oraz osoby korzystające z nich nieregularnie. Z tego powodu PrimeGrid podzielił WU w pod projekcie PPS(LLR) na 3 klasy długości zadań.

[Sebastian M. Bobrecki]

Ale to zawsze jest kwestia jakiegoś kompromisu. Takie krótkie ok. 1h są bardzo fajne. Można je szybko odesłać, traci się mniej w przypadku błędu itp. ale to też większa ilość rekordów w bazie danych i więcej pobrań/odesłań z serwera itp. Wydaje mi się że najlepiej będzie jeśli te krótkie i te długie będą po prostu jako osobne aplikacje do wyboru. Nawet jeśli w rzeczywistości to będzie ta sama binarka. Tak jest np. w Einstein-ie z BRP4G i BRP5:

Kod [Zaznacz] Rozwiń

0493758b144f76223f204c5f62eb4f0d  einsteinbinary_BRP4G_1.39_x86_64-pc-linux-gnu__BRP4G-cuda32-nv270
0493758b144f76223f204c5f62eb4f0d  einsteinbinary_BRP5_1.39_x86_64-pc-linux-gnu__BRP5-cuda32-nv270


[kva.pl]

Tez mysle ze to najlepsza opcja pozostawic wybor uzytkownikom czy chca dlugie WU czy krotkie, sporo projektow ma taka opcje przeciez.

[krzyszp]

I bardzo możliwe, że tak właśnie będzie - nie wykluczam takiej opcji.

Natomiast za wydłużeniem także podstawowych WU przemawia zwiększona dokładność dłuższych WU. Po prostu czas wykonywania zależy od liczby wykonywanych symulacji, która obecnie wynosi 4000, zaś najbardziej optymalną ilością dla tych zadań jest 20'000 (być może to się zmieni, trwają prace nad nową aplikacją, która trochę inaczej będzie liczyła - mniej symulacji, za to dokładniejszych).

[Sebastian M. Bobrecki]

I bardzo możliwe, że tak właśnie będzie - nie wykluczam takiej opcji.

Natomiast za wydłużeniem także podstawowych WU przemawia zwiększona dokładność dłuższych WU. Po prostu czas wykonywania zależy od liczby wykonywanych symulacji, która obecnie wynosi 4000, zaś najbardziej optymalną ilością dla tych zadań jest 20'000 (być może to się zmieni, trwają prace nad nową aplikacją, która trochę inaczej będzie liczyła - mniej symulacji, za to dokładniejszych).

5 razy dłuższe czyli jakieś ~4h:10m na twoim referencyjnym kompie. Jak dla mnie może być bo to i tak raczej jest po tej krótszej stronie mocy. Choć już przy takim czasie liczenia checkpointy by się przydały.

[krzyszp]

Choć już przy takim czasie liczenia checkpointy by się przydały.

Nie biorę pod uwagę liczenia takich WU bez checkpointów...

[Sebastian M. Bobrecki]

I jak tam prace? Widzę że obecnie niby zadań dużo ale coś się nie chcą wysyłać. Ciągle dostaję "got 0 new tasks" :(

[krzyszp]

SOA#1 ;)

A poważniej - nadal nie dostajesz?

[Sebastian M. Bobrecki]

No poważnie:

Kod [Zaznacz] Rozwiń

pią, 30 sty 2015, 06:45:06 | Universe@Home | Sending scheduler request: To report completed tasks.
pią, 30 sty 2015, 06:45:06 | Universe@Home | Reporting 2 completed tasks
pią, 30 sty 2015, 06:45:06 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 06:45:09 | Universe@Home | Scheduler request completed: got 0 new tasks
pią, 30 sty 2015, 06:45:09 | Universe@Home | No tasks sent
pią, 30 sty 2015, 06:48:15 | Universe@Home | Sending scheduler request: To fetch work.
pią, 30 sty 2015, 06:48:15 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 06:48:18 | Universe@Home | Scheduler request completed: got 0 new tasks
pią, 30 sty 2015, 06:48:18 | Universe@Home | No tasks sent
pią, 30 sty 2015, 06:55:25 | Universe@Home | Sending scheduler request: To fetch work.
pią, 30 sty 2015, 06:55:25 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 06:55:28 | Universe@Home | Scheduler request completed: got 0 new tasks
pią, 30 sty 2015, 06:55:28 | Universe@Home | No tasks sent


A jak już po jakimś czasie coś wpadnie to raczej niewiele:

Kod [Zaznacz] Rozwiń

pią, 30 sty 2015, 09:06:16 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 09:06:19 | Universe@Home | Scheduler request completed: got 0 new tasks
pią, 30 sty 2015, 09:06:19 | Universe@Home | No tasks sent
pią, 30 sty 2015, 09:18:29 | Universe@Home | Sending scheduler request: To fetch work.
pią, 30 sty 2015, 09:18:29 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 09:18:32 | Universe@Home | Scheduler request completed: got 1 new tasks


Z tego co dziś zaobserwowałem to średnio dostaję zadań tak że obciążone jest jakieś  30-40% wątków. Choć teraz widzę że znowu coś tam poszło może się ustabilizuje. Zobaczę jak sprawa będzie wyglądać za jakąś godzinę i dam znać.

[Sebastian M. Bobrecki]

Jednak nic się nie zmieniło:

Kod [Zaznacz] Rozwiń

pią, 30 sty 2015, 11:04:10 | Universe@Home | Sending scheduler request: To fetch work.
pią, 30 sty 2015, 11:04:10 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 11:04:13 | Universe@Home | Scheduler request completed: got 0 new tasks
pią, 30 sty 2015, 11:04:13 | Universe@Home | No tasks sent
pią, 30 sty 2015, 11:18:24 | Universe@Home | Sending scheduler request: To fetch work.
pią, 30 sty 2015, 11:18:24 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 11:18:27 | Universe@Home | Scheduler request completed: got 1 new tasks
...
pią, 30 sty 2015, 11:21:33 | Universe@Home | Sending scheduler request: To fetch work.
pią, 30 sty 2015, 11:21:33 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 11:21:36 | Universe@Home | Scheduler request completed: got 0 new tasks
pią, 30 sty 2015, 11:21:36 | Universe@Home | No tasks sent
...
pią, 30 sty 2015, 11:29:13 | Universe@Home | Sending scheduler request: To report completed tasks.
pią, 30 sty 2015, 11:29:13 | Universe@Home | Reporting 1 completed tasks
pią, 30 sty 2015, 11:29:13 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 11:29:17 | Universe@Home | Scheduler request completed: got 0 new tasks
pią, 30 sty 2015, 11:29:17 | Universe@Home | No tasks sent
...
pią, 30 sty 2015, 11:32:23 | Universe@Home | Sending scheduler request: To report completed tasks.
pią, 30 sty 2015, 11:32:23 | Universe@Home | Reporting 2 completed tasks
pią, 30 sty 2015, 11:32:23 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 11:32:26 | Universe@Home | Scheduler request completed: got 1 new tasks
...
pią, 30 sty 2015, 11:35:31 | Universe@Home | Sending scheduler request: To fetch work.
pią, 30 sty 2015, 11:35:31 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 11:35:33 | Universe@Home | Scheduler request completed: got 0 new tasks
pią, 30 sty 2015, 11:35:33 | Universe@Home | No tasks sent
...
pią, 30 sty 2015, 11:47:50 | Universe@Home | Sending scheduler request: To report completed tasks.
pią, 30 sty 2015, 11:47:50 | Universe@Home | Reporting 1 completed tasks
pią, 30 sty 2015, 11:47:50 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 11:47:52 | Universe@Home | Scheduler request completed: got 0 new tasks
pią, 30 sty 2015, 11:47:52 | Universe@Home | No tasks sent
pią, 30 sty 2015, 11:50:58 | Universe@Home | Sending scheduler request: To fetch work.
pią, 30 sty 2015, 11:50:58 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 11:51:00 | Universe@Home | Scheduler request completed: got 0 new tasks
pią, 30 sty 2015, 11:51:00 | Universe@Home | No tasks sent
...
pią, 30 sty 2015, 12:00:38 | Universe@Home | Sending scheduler request: To report completed tasks.
pią, 30 sty 2015, 12:00:38 | Universe@Home | Reporting 1 completed tasks
pią, 30 sty 2015, 12:00:38 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 12:00:41 | Universe@Home | Scheduler request completed: got 0 new tasks
pią, 30 sty 2015, 12:00:41 | Universe@Home | No tasks sent



[krzyszp]

Powinno z czasem się naprostować, zadań jest od groma, ale też klientów sporo naraz próbuje zasysać WU...

Podłączyłem swojego hosta i po kilku minutach dostał 15 WU (na 8 wątków).

[Sebastian M. Bobrecki]

No u mnie to wygląda j.w. dla systemów z 16 i 32 wątkami. W tym momencie zablokowałem pobieranie nowych danych. Poczekam aż się resztki policzą i zresetuję projekt. Może to tylko kwestia tego że klient zgłupiał po zmianie wersji aplikacji albo tak po prostu sam z siebie.

[krzyszp]

Tak też może być.
Na wszystkich kompach masz 0.06?

[Sebastian M. Bobrecki]

Tak też może być.
Na wszystkich kompach masz 0.06?

Tak.

No niestety reset projektu i restart klienta nie pomógł. Włączę debug i może dowiem się czegoś sensownego.

-
Wygląda na to że klient się zachowuje w porządku:

Kod [Zaznacz] Rozwiń

pią, 30 sty 2015, 13:45:21 | Universe@Home | Sending scheduler request: To fetch work.
pią, 30 sty 2015, 13:45:21 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 13:45:21 | Universe@Home | [sched_op] CPU work request: 3837646.04 seconds; 9.00 devices
pią, 30 sty 2015, 13:45:23 | Universe@Home | Scheduler request completed: got 3 new tasks
pią, 30 sty 2015, 13:45:23 | Universe@Home | [sched_op] Server version 705
pią, 30 sty 2015, 13:45:23 | Universe@Home | Project requested delay of 182 seconds
pią, 30 sty 2015, 13:45:23 | Universe@Home | [sched_op] estimated total CPU task duration: 13636 seconds
pią, 30 sty 2015, 13:45:23 | Universe@Home | [sched_op] Deferring communication for 00:03:01
pią, 30 sty 2015, 13:45:23 | Universe@Home | [sched_op] Reason: requested by project
pią, 30 sty 2015, 13:45:23 |  | [work_fetch] Request work fetch: RPC complete


[krzyszp]

Ja widzę w panelu, że coraz więcej klientów dostaje zadania i to dość spory skok jest.

[Sebastian M. Bobrecki]

Znowu podobnie. 6 wolnych rdzeni a dostaje 1 zadanie:

Kod [Zaznacz] Rozwiń

pią, 30 sty 2015, 13:48:27 | Universe@Home | Sending scheduler request: To fetch work.
pią, 30 sty 2015, 13:48:27 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 13:48:27 | Universe@Home | [sched_op] CPU work request: 3830169.72 seconds; 6.00 devices
pią, 30 sty 2015, 13:48:29 | Universe@Home | Scheduler request completed: got 1 new tasks
pią, 30 sty 2015, 13:48:29 | Universe@Home | [sched_op] Server version 705
pią, 30 sty 2015, 13:48:29 | Universe@Home | Project requested delay of 182 seconds
pią, 30 sty 2015, 13:48:29 | Universe@Home | [sched_op] estimated total CPU task duration: 4546 seconds
pią, 30 sty 2015, 13:48:29 | Universe@Home | [sched_op] Deferring communication for 00:03:01
pią, 30 sty 2015, 13:48:29 | Universe@Home | [sched_op] Reason: requested by project
pią, 30 sty 2015, 13:48:29 |  | [work_fetch] Request work fetch: RPC complete


-
A jak duży bufor jest ustawiony w feederze?

[krzyszp]

A jak duży bufor jest ustawiony w feederze?

4 zadania na wątek, 24 max do wysłania jednorazowo.

[Sebastian M. Bobrecki]

Mi chodziło o <shmem_work_items>N</shmem_work_items> i <feeder_query_size>N</feeder_query_size>. Bo może tu jest zbyt mało. <shmem_work_items> domyślnie to raptem 100. Z tego co kojarzę z mersenne to ta wartość okazała się śmiesznie mała.

[krzyszp]

Mi chodziło o <shmem_work_items>N</shmem_work_items> i <feeder_query_size>N</feeder_query_size>. Bo może tu jest zbyt mało. <shmem_work_items> domyślnie to raptem 100. Z tego co kojarzę z mersenne to ta wartość okazała się śmiesznie mała.

Faktycznie, shmem jest na 100, ale po powiększeniu się cuda działy na serwerze, feeder query jest na 200.

[Sebastian M. Bobrecki]

Faktycznie, shmem jest na 100, ale po powiększeniu się cuda działy na serwerze, feeder query jest na 200.

No bo do tego też trzeba zwiększyć ilość shm w systemie kernel.shmall i kernel.shmmax.

[krzyszp]

Faktycznie, shmem jest na 100, ale po powiększeniu się cuda działy na serwerze, feeder query jest na 200.

No bo do tego też trzeba zwiększyć ilość shm w systemie kernel.shmall i kernel.shmmax.

Wiem, ale to też nie pomogło...

[krzyszp]

Mam już nową, działającą z checkpointami aplikację Linuksową. Ta nowa aplikacja to kolejna wersja tej samej aplikacji, ale z udoskonalonymi algorytmami (w sensie naukowym, nie wydajnościowym). Jak tylko dostanę informację zwrotną na temat optymalnej liczby symulacji dla pojedynczego przebiegu to ją wrzucę na serwer i wygeneruję testową serię próbek.

Jednocześnie będę dziś pracował nad nową funkcją importu danych wejściowych do aplikacji, wykonanie tego jest konieczne do zaimplementowania aplikacji na serwerze produkcyjnym, co nastąpi na pewno w tym tygodniu.

[sknd]

jak często checkpointy?

[krzyszp]

Myślę nad ustawieniem co 200 - 400 symulacji (obecnie WU są ustawione na 4k symulacji).

[sknd]

a na tym Twoim E3-1230v3

[krzyszp]

a na tym Twoim E3-1230v3

5-10 minut.