Universe@Home - serwer testowy projektu

[krzyszp]

Dostałem "zielone światło", więc informuję.

Na prośbę p. Grzegorza Wiktorowicza z UW zajmuję się nowym projektem Universe@Home, który będzie prowadzony w ramach ich projektu.
Otrzymałem kod źródłowy aplikacji będącej symulatorem rozwoju słońc, przerobiłem go do formy strawnej dla BOINC oraz dorobiłem wersję pod Windows. Obecnie obsługiwane systemy to Linuks 32/64 (osobne aplikacje) oraz Windows 32, chodząca również na systemach 64 bitowych.

Obecnie testuję całość na serwerze testowym, który ma działać cały czas (będzie poligonem dla aplikacji testowych wraz z ich rozwojem). Obecnie nic nie wskazuje na niestabilność.
Adres serwera:

http://universeathometest.info/universe/

Aplikacja nie ma checkpointów, ale to się niedługo zmieni.

[Troll81]

You have my Ice Axe :D

[necavi]

Próbek dla mnie zabrakło?  :dunno:

[krzyszp]

Próbek dla mnie zabrakło?  :dunno:

W tej chwili jest jeszcze 300 (ale dorobię, jak będzie trzeba), może musisz chwilkę odczekać lub komp ma za dużo w kolejce?

[necavi]

Już dowieźli 10 sztuk  :p_arr:

[Troll81]

5440    5761    28    8 Jul 2014, 16:27:04 UTC    8 Jul 2014, 17:24:40 UTC    Zakończone i zwalidowane    1,605.06    1,528.47    16.87    Universe_simulator v0.03
5441    5762    28    8 Jul 2014, 16:27:04 UTC    8 Jul 2014, 17:24:40 UTC    Zakończone i zwalidowane    1,629.26    1,525.05    17.13    Universe_simulator v0.03
5535    5856    28    8 Jul 2014, 16:27:04 UTC    8 Jul 2014, 17:24:40 UTC    Zakończone i zwalidowane    1,642.75    1,527.23    17.27    Universe_simulator v0.03
5439    5760    28    8 Jul 2014, 16:27:03 UTC    8 Jul 2014, 17:24:40 UTC    Zakończone i zwalidowane    1,611.83    1,522.43    16.94    Universe_simulator v0.03

[Troll81]

Mam już 512 punktów i nadal nie mogę założyć profilu....

[krzyszp]

Mam już 512 punktów i nadal nie mogę założyć profilu....

Tak, ustawiłem 1k, żeby boty wywalić...

[Krzysiak]

A tak się podłączyłem  ;D

[gregre]

krzyszp, wiesz coś więcej na temat projektu? rozumiem że projekt będzie w ramach pracy doktoranckiej ?

[krzyszp]

krzyszp, wiesz coś więcej na temat projektu? rozumiem że projekt będzie w ramach pracy doktoranckiej ?

Projekt powstaje w ramach Obserwatorium Astronomicznego UW i jest finansowany grantem Sonata BIS, więc odpowiedź jest twierdząca. Jednakże projekt ma przynieść konkretne wyniki społeczności naukowej w postaci otwartej bazy danych wyników uzyskanych podczas modelowania dużych obiektów gwiazdowych metodą syntezy populacji. Z tego, co się orientuję, wszystko zostanie opublikowane i udostępnione społeczności.

Myślę, że w najbliższym czasie wszystkie informacje na ten temat zostaną opublikowane, niestety ja zajmuję się wyłącznie stroną techniczną (serwer i aplikacja projektu) i mam za małą wiedzę, żeby się rozpisywać.
Z ciekawostek powiem tylko, że zgodnie z tym, co udało mi się zrozumieć z dokumentacji, projekt jest bardzo interesujący dla astronomów :)

[Krzysiak]

Takie moje spostrzeżenie  :boing:
i5-4670k 3,8GHz

Kod [Zaznacz] Rozwiń

9 Jul 2014, 5:20:40 UTC 9 Jul 2014, 6:42:09 UTC Zakończone i zwalidowane 1,202.43 1,197.06 16.16

i7-950 4,1GHz

Kod [Zaznacz] Rozwiń

9 Jul 2014, 6:49:58 UTC 9 Jul 2014, 7:49:36 UTC Zakończone i zwalidowane 1,226.22 1,217.78 14.23

Wydajność uzależniona od ilości MHz jest szansa o możliwość wykorzystania instrukcji AVX ?

[krzyszp]

Wydajność uzależniona od ilości MHz jest szansa o możliwość wykorzystania instrukcji AVX ?

Jeszcze nie kombinowałem z optymalizacjami, na to przyjdzie czas później.

Obecnie ważniejsze jest zaimplementowanie określania pewnych zmiennych w pliku wejściowym, które wprowadzę jak tylko zakończy się obecna seria WU (która już udowodniła, że aplikacja działa poprawnie ;))
Natomiast właśnie się dowiedziałem, że obecny czas wykonywania aplikacji (ilość symulacji w jednym przebiegu) jest ok, co pozwoli mi na zignorowanie kwestii checkpointów (na tę chwilę), co z kolei przyśpieszy pracę nad powyższym.

[sknd]

mnie dziwi, czemu wszystkie WU łapią u mnie wysoki priorytet - przecież są krótkie ( < 40 min) a deadline całkiem spory - 15 lub 16 lipca

[krzyszp]

mnie dziwi, czemu wszystkie WU łapią u mnie wysoki priorytet - przecież są krótkie ( < 40 min) a deadline całkiem spory - 15 lub 16 lipca

Nie mam pojęcia, u mnie na kompach testowych jeżeli mam inne projekty, to grzecznie czeka.

Bardziej mnie zastanawia, dlaczego niektórzy łapią po 100 WU, gdy inni już nie mogą się załapać... Najwidoczniej muszę skrócić deadline właśnie.

[Dario666]

Czy projekt pojawi się na BOINCu?

[krzyszp]

Czy projekt pojawi się na BOINCu?

Na BS? Tak, ale dajmy na to jeszcze kilka dni, zanim nie przełączę go całkiem na domenę i nie wypuszczę nowej apki (jest skompilowana, czeka na powrót aktualnych WU od klientów).

[stiven]

You have my Ice Axe :D

and my athlon  :attack: ... ale chyba próbek zbrakło.

[mordi]

no właśnie chyba tak ;) wczoraj mi jedną zassało i tyle :)

[krzyszp]

Tak, muszę wrócić wszystkie aktualnie przerabiane WU, żebym mógł dodać nową wersję app obsługującą pobieranie danych wejściowych z pliku (co już jest zrobione i przetestowane).

Z nową wersją aplikacji będzie można praktycznie zacząć rzeczywiste obliczenia dla całego projektu (bo obecnie, to testy szły).
Jako ciekawostkę podam, że nowa apka będzie pobierać aż jedenaście wartości z pliku, w tym co najmniej jedna ma milion możliwości - więc łatwo sobie wyobrazić, jak dużo próbek będzie do przerobienia policzywszy możliwe kombinacje  %)

[sknd]

to może jakieś odznaki?  ;)

[Troll81]

brązowa złota i srebrna galaktyka?

[andy101fah]

Można pójść na całość i zaproponować system odznak podobny do POGS.

http://signature.statseb.fr/index.py?badge=169

[krzyszp]

Odznaki będą - powstaną równolegle z grafiką dla strony głównej :)

Ps. Było teraz trochę uwalonych WU, ale na szczęście się wysypywały po sekundzie. Teraz leci już nowa apka (Win32 i Lin64), która już pobiera dane z pliku wejściowego i dane z niej pójdą najprawdopodobniej do realnych badań (o ile się nie wysypie cała partia w trakcie).

[mordi]

faktycznie :) wyskoczył mi przy kilku błąd przetwarzania :) ale reszta już idzie normalnie :)

[matszpk]

dopięty (do drużynki też  :parrrty:). Zobaczymy jak będzie liczyć. na razie  ok :boing:

[zablociak]

Wskaźnik postępu jest raczej do poprawy. Po pół godzinie liczenia pokazuje 0,1; 0,6 albo 1,05% a pozostały czas równo się odlicza i zostało też ok. 0,5 godziny. Poza tym jest OK :)

[krzyszp]

Wskaźnik postępu jest raczej do poprawy. Po pół godzinie liczenia pokazuje 0,1; 0,6 albo 1,05% a pozostały czas równo się odlicza i zostało też ok. 0,5 godziny. Poza tym jest OK :)

Wszystkie próbki, które mają w nazwie ciąg z zakresu universe_idum-test1-1465 oraz wszystkie z nazwą universe_p_1_idum-test6_ (czyli test 6) można spokojnie ubić, miałem błąd w skrypcie generującym próbki.

[Krzysiak]

mimo ubicia już kilku próbek mi nadal testowe pobiera ?

[krzyszp]

mimo ubicia już kilku próbek mi nadal testowe pobiera ?

A dokładniej?
Jeżeli w nazwie WU jest '1465-2000' to wszystko ok.

[Krzysiak]

Dobra teraz dobre pobrało  :)

[matszpk]

Cos niedobrze. Mi wywaliło 'cancelled by server'. póżniej sprobuje jeszcze raz.

[krzyszp]

Cos niedobrze. Mi wywaliło 'cancelled by server'. póżniej sprobuje jeszcze raz.

To te uszkodzone.
Oprócz napisania na forum skasowałem je też na serwerze, więc nic się nie stało. Teraz leci nowa, już poprawna wersja "1465-2000", a zapewne pójdzie też dalej jeszcze dzisiaj.

[matszpk]

Ok. pobrało nowe. zobaczymy czy się przeliczą   ::)

[Argento]

A mnie nic nie skapnęło mimo, że w buforze serwera 992 WU to send...  :dunno:

[krzyszp]

Pewnie zaraz wpłynie :)

Edit:
Wow, 2k WU poszło w pół godziny z serwera (tylko status ma spore opóźnienie w wyświetlaniu).
Dorobiłem jeszcze 2k, ale to już na dzisiaj wystarczy...

[sknd]

Próbki są teraz trochę dłuższe wg. "pozostało" - ponad godzinę. Czy są checkpointy?

[krzyszp]

Próbki są teraz trochę dłuższe wg. "pozostało" - ponad godzinę. Czy są checkpointy?

Na i7 około 38 minut.
Checkpointów brak...

[sknd]

u mnie na Xeonie E3-1230 V2 66 minut... zrobisz kiedyś checki?  ;)

[krzyszp]

u mnie na Xeonie E3-1230 V2 66 minut... zrobisz kiedyś checki?  ;)

Pod jakim systemem???
Bo u mnie na takim procku 32 minuty...