Universe@Home - serwer testowy projektu

[krzyszp]

Może by się zastanowić czy te wszystkie dane są potrzebne. Baza będzie miała 20 TB i jaki sprzet to wszystko przetworzy?

Właśnie kłopot w tym, że nie mogę decydować, co jest istotne. Mało tego - dziś mało ważne dane mogą się stać istotne, jak ich się więcej zgromadzi...
Słowem, nie kasuję niczego, czekam, aż mądrzejsi się wypowiedzą.

[Dario666]

Chciałem zapytać o PM, ale widać że system nie wytrzyma takiej ilości danych

[krzyszp]

W tej chwili to pewnie byśmy serwer w godzinę zabili ;)

Cały czas kombinuję, jak zoptymalizować import danych do bazy, ale pewnych rzeczy po prostu nie przeskoczę - po prostu tych danych jest dużo.

[pawg]

może archiwizacja na płytach DVD?

[Troll81]

ogranieczenie wysyłanych danych do hosta 3WU na dobe i ni hu hu więcej. pozwoli to większej ilości osób uczestniczyć w projekcie.

[krzyszp]

Na tę chwilę zaprzestałem eksportu do DB wyników, ale cały czas lecą skompresowane do archiwum. Obciążenie serwera (load) z 20-26 spadło do 1...

Załadowanie danych wynikowych do DB odsuwam do czasu uzyskania maszyny do tego dedykowanej, co niedługo powinno nastąpić. Oczywiście dotychczasowe prawie 500GB w bazie cały czas zachowuję.

[pawg]

Kod [Zaznacz] Rozwiń

ograniczenie wysyłanych danych do hosta 3WU na dobe i ni hu hu więcej. pozwoli to większej ilości osób uczestniczyć w projekcie.

ale to spowolni postęp projektu i przepadnie grant

[Troll81]

a masz inny pomysł? Moje rozwiązanie pozwoli wykorzystać 100% mocy projektu przy zachowaniu możliwości udziału jak największej ilości ludzi.....

[pawg]

pogonić ludzi z UW by utworzyli gigantyczny serwer - bazę danych do której będą na bieżąco przesyłane gotowe dane

[krzyszp]

pogonić ludzi z UW by utworzyli gigantyczny serwer - bazę danych do której będą na bieżąco przesyłane gotowe dane

Tu nie ma kogo gonić, po prostu młyny urzędnicze swoje muszą przemielić...

Przetarg ma się rozstrzygnąć w tym miesiącu, więc maszyna odpowiednia powinna się wkrótce znaleźć.

[pawg]

daj znać kiedy będzie można ruszyć pełną parą  ;)

[krzyszp]

W tej chwili ponad 1k komputerów nie "zabija" już serwera...
Nie sądzę, aby szybko pękła granica 2k maszyn...

[kva.pl]

To jak dlugo projekt dziala i jaki rozmiar bazy juz wygenerowal?

[necavi]

Miesiąc i o ile dobrze rozumie 500GB naszych wypocin.

[kva.pl]

No to liczmy ze jak sie projekt rozbuja bedzie tego 4-5 razy wiecej na miesiac. Nie bardzo wyobrazam sobie jak ma potem wygladac praca na takiej bazie danych.

[krzyszp]

No to liczmy ze jak sie projekt rozbuja bedzie tego 4-5 razy wiecej na miesiac. Nie bardzo wyobrazam sobie jak ma potem wygladac praca na takiej bazie danych.

Ja licze, że będzie tego 10 razy więcej...
Po pierwsze, serwer będzie dość mocny, dlatego jest kupowany w przetargu, a nie "w sklepie". Po drugie, te 500GB to są surowe dane - one będą filtrowane, aby usunąć wszystkie powtarzające się wyniki, których będzie całkiem sporo (zdecydowana większość). Efektem działania projektu będzie (spory) zbiór danych, ale jeszcze w wielkości "strawnej" do sprawnej obróbki.

[krzyszp]

Ma ktoś może ochotę popracować nad badge (obrazkami) dla Universe@Home testowego?
Na docelowym ma podobno grafik pracować, ale można by coś w testowym w międzyczasie zrobić...

Może jakieś ikonki planet/mgławic/gwiazd?

[Troll81]

Mam pomysł :D Obiekty z katalogu Messiera

Kod [Zaznacz] Rozwiń

http://scienceblogs.com/startswithabang/files/2012/11/Messier_Objects_1680.jpeg

tylko ktoś musiałby to obrobić :d

[krzyszp]

Mam pomysł :D Obiekty z katalogu Messiera

Kod [Zaznacz] Rozwiń

http://scienceblogs.com/startswithabang/files/2012/11/Messier_Objects_1680.jpeg

tylko ktoś musiałby to obrobić :d

Oj, chciałbym, zwłaszcza po lekturze "Messier 13" - ktoś czytał?

[necavi]

krzyszp "Dłuższe będą tylko w przypadku pojawienia się checkpointów"

Próbki, które ostatnio otrzymuję wydłużyły się z 30 min do 60, a checkpointów jak nie było, tak nie ma  :-[

[krzyszp]

krzyszp "Dłuższe będą tylko w przypadku pojawienia się checkpointów"

Próbki, które ostatnio otrzymuję wydłużyły się z 30 min do 60, a checkpointów jak nie było, tak nie ma  :-[

Bo to efekt buga w aplikacji win, która kończyła obliczenia po wykonaniu 50% zadania :)
Tłumaczyłem to na forum projektu ;)

[Troll81]

lista obiektów nadających się na badge

http://en.wikipedia.org/wiki/Messier_1
http://en.wikipedia.org/wiki/Messier_8
http://en.wikipedia.org/wiki/Messier_16
http://en.wikipedia.org/wiki/Messier_17
http://en.wikipedia.org/wiki/Messier_20
http://en.wikipedia.org/wiki/Messier_27
http://en.wikipedia.org/wiki/Messier_31
http://en.wikipedia.org/wiki/Messier_33
http://en.wikipedia.org/wiki/Messier_42
http://en.wikipedia.org/wiki/Messier_45
http://en.wikipedia.org/wiki/Messier_51
http://en.wikipedia.org/wiki/Messier_57
http://en.wikipedia.org/wiki/Messier_58
http://en.wikipedia.org/wiki/Messier_61
http://en.wikipedia.org/wiki/Messier_63
http://en.wikipedia.org/wiki/Messier_64
http://en.wikipedia.org/wiki/Messier_65
http://en.wikipedia.org/wiki/Messier_66
http://en.wikipedia.org/wiki/Messier_74
http://en.wikipedia.org/wiki/Messier_77
http://en.wikipedia.org/wiki/Messier_78
http://en.wikipedia.org/wiki/Messier_81
http://en.wikipedia.org/wiki/Messier_82
http://en.wikipedia.org/wiki/Messier_83
http://en.wikipedia.org/wiki/Messier_84
http://en.wikipedia.org/wiki/Messier_88
http://en.wikipedia.org/wiki/Messier_94
http://en.wikipedia.org/wiki/Messier_95
http://en.wikipedia.org/wiki/Messier_96
http://en.wikipedia.org/wiki/Messier_97
http://en.wikipedia.org/wiki/Messier_98
http://en.wikipedia.org/wiki/Messier_99
http://en.wikipedia.org/wiki/Messier_100
http://en.wikipedia.org/wiki/Messier_101
http://en.wikipedia.org/wiki/Messier_104
http://en.wikipedia.org/wiki/Messier_106

proponuje urządzić głosowanie na stronie projektu. Te które dostaną najwięcej głosów staną się badgami. Bonusem wiki jest licencja tych zdjeć :D

[Dario666]

Może by tak jeszcze FavIcon wrzucić na stronę projektu.

PS: A tak poza tym, to co się dzieje z OProject?

[AL]

PS: A tak poza tym, to co się dzieje z OProject?

Się przenosi na inny serwer.

[krzyszp]

proponuje urządzić głosowanie na stronie projektu. Te które dostaną najwięcej głosów staną się badgami. Bonusem wiki jest licencja tych zdjeć :D

Gdyby jeszcze mechanizm forum serwera miał jakieś opcje ankiety...

[krzyszp]

Panowie, jak macie jakieś milestony do zrobienia, to proponuję zacząć, bo będzie jeszcze ok 300k WU, a potem chwila przerwy (zmiany w kodzie app).

[necavi]

Jak zapewne zauważyliście projekt już zadań nie rozsyła. Pewnie te 300k WU się skończyło. Mam nadzieję, że te "zmiany w kodzie app" dotyczą (między innymi) checkpointów. Przesiadka na nowy serwer też trwa? Kiedy startujemy ponownie?

[krzyszp]

Jak zapewne zauważyliście projekt już zadań nie rozsyła. Pewnie te 300k WU się skończyło. Mam nadzieję, że te "zmiany w kodzie app" dotyczą (między innymi) checkpointów. Przesiadka na nowy serwer też trwa? Kiedy startujemy ponownie?

Tak, seria 300k WU już zeszła. Muszę poczekać, aż wszystkie wrócą, żeby wypuścić następną kolejkę, najpierw drobne ilości testowych WU (żeby sprawdzić, czy wszystko jest ok), a potem pójdzie 999'999 nowych WU, ze zmienionymi parametrami startowymi symulacji (oczywiście w mniejszych seriach, pewnie po 100-200k).

Checkpointów na razie nie będzie, do tego potrzebuje wsparcia merytorycznego, którego niestety jeszcze nie mam (nie wiem po prostu, które dane muszą być w checkpointach, żeby nie zepsuć symulacji).
Co do właściwego serwera, to wciąż czekam na efekty przetargu na sprzęt, nie mam na razie żadnych informacji, pewnie dowiem się po prostu jak już będzie.

[Dario666]

Polska... "nie dziwi nic"   :whistle:

[kva.pl]

W statystykach jeszcze nie widac, ale projekt juz sie liczy i ladnie punktuje :)

[Dario666]

No i jak tam serwery U@h się trzymają?

[krzyszp]

No i jak tam serwery U@h się trzymają?

Testowy, który chodzi na moim dedyku nie raportują żadnych problemów, PM go nie zabił :)

Co do produkcyjnych - nadal na nie czekam... Niestety, państwowe pieniądze mają bardzo długą wędrówkę od pomysłu, poprzez przyznanie, aż do... wydania.

W każdej chwili oczekuję na namiary na nie i jak tylko coś będzie, to się pochwalę.

Dobra wiadomość jest taka, że skoro już jakiś czas temu testy wykazały, że zarówno app jak i serwer są stabilne, to wszystkie dane i wyniki są już wykorzystywane przez ludzi z UW do ich badań.

[pawg]

Można byłoby spróbować jeszcze dodać "Workunit-Batch Monitor" podobny do tego z SIMAPu by widzieć postęp pracy...

[krzyszp]

Można byłoby spróbować jeszcze dodać "Workunit-Batch Monitor" podobny do tego z SIMAPu by widzieć postęp pracy...

W zasadzie dobry pomysł, ale to będzie dopiero na produkcyjnym, nie chcę dwa razy tej samej roboty robić.

[LQG]

Czy po miesiącu jest jakiś postęp w temacie "checkpoint'ów"? Dla mnie ich brak to pewne utrudnienie...

[krzyszp]

Czy po miesiącu jest jakiś postęp w temacie "checkpoint'ów"? Dla mnie ich brak to pewne utrudnienie...

Nie i niestety na razie nic nie mogę z tym zrobić (poza utrzymaniem próbek krótkimi).

W ogóle sprawa jest  tyle bardziej skomplikowana, że już na serwerze produkcyjnym aplikacja będzie się często zmieniać, co oznacza, że checkpointy za każdym razem by musiały być tworzone na nowo, testowane, itd... Więc właściwie nie ma co na to liczyć.

[Dario666]

Używaj hibernacji, a nie wyłączenia kompa, to próbki nie będa liczyć od nowa.

[LQG]

Używaj hibernacji, a nie wyłączenia kompa, to próbki nie będa liczyć od nowa.

Raczej trudno używać zahibernowanego lub uśpionego kompa :) Piszę o działaniu z ustawieniem "Przetwarzanie dozwolone gdy komputer jest w użyciu" na NIE co powoduje przeliczanie próbek od nowa. Zgodnie podstawową ideą BOINC'a ;)

[krzyszp]

Można ustawić pozostawianie WU w pamięci na czas przerw, też powinno pomóc (Universe nie zabiera za dużo RAM).

[krzyszp]

Jeszcze dzisiaj najprawdopodobniej będą testy nowej aplikacji (pewnie kilkaset WU). Aplikacja ta będzie podstawą publikacji naukowej, która ma się ukazać wkrótce.

Od poniedziałku ruszy pełna parą nowa seria miliona zadań oraz kończyć będziemy bieżącą.

Ps. Czy czasami wątek nie powinien trafić do odpowiedniego działu?