Universe@Home - serwer testowy projektu

Zaczęty przez krzyszp, 08 Lipiec 2014, 17:12

krzyszp

Cytat: Dario666 w 05 Sierpień 2014, 23:10
Może by się zastanowić czy te wszystkie dane są potrzebne. Baza będzie miała 20 TB i jaki sprzet to wszystko przetworzy?
Właśnie kłopot w tym, że nie mogę decydować, co jest istotne. Mało tego - dziś mało ważne dane mogą się stać istotne, jak ich się więcej zgromadzi...
Słowem, nie kasuję niczego, czekam, aż mądrzejsi się wypowiedzą.

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

Dario666

Chciałem zapytać o PM, ale widać że system nie wytrzyma takiej ilości danych

krzyszp

W tej chwili to pewnie byśmy serwer w godzinę zabili ;)

Cały czas kombinuję, jak zoptymalizować import danych do bazy, ale pewnych rzeczy po prostu nie przeskoczę - po prostu tych danych jest dużo.

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

pawg

może archiwizacja na płytach DVD?



Troll81

ogranieczenie wysyłanych danych do hosta 3WU na dobe i ni hu hu więcej. pozwoli to większej ilości osób uczestniczyć w projekcie.

krzyszp

Na tę chwilę zaprzestałem eksportu do DB wyników, ale cały czas lecą skompresowane do archiwum. Obciążenie serwera (load) z 20-26 spadło do 1...

Załadowanie danych wynikowych do DB odsuwam do czasu uzyskania maszyny do tego dedykowanej, co niedługo powinno nastąpić. Oczywiście dotychczasowe prawie 500GB w bazie cały czas zachowuję.

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

pawg

ograniczenie wysyłanych danych do hosta 3WU na dobe i ni hu hu więcej. pozwoli to większej ilości osób uczestniczyć w projekcie.

ale to spowolni postęp projektu i przepadnie grant



Troll81

a masz inny pomysł? Moje rozwiązanie pozwoli wykorzystać 100% mocy projektu przy zachowaniu możliwości udziału jak największej ilości ludzi.....

pawg

pogonić ludzi z UW by utworzyli gigantyczny serwer - bazę danych do której będą na bieżąco przesyłane gotowe dane



krzyszp

Cytat: pawg w 06 Sierpień 2014, 17:53
pogonić ludzi z UW by utworzyli gigantyczny serwer - bazę danych do której będą na bieżąco przesyłane gotowe dane
Tu nie ma kogo gonić, po prostu młyny urzędnicze swoje muszą przemielić...

Przetarg ma się rozstrzygnąć w tym miesiącu, więc maszyna odpowiednia powinna się wkrótce znaleźć.

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

pawg

daj znać kiedy będzie można ruszyć pełną parą  ;)



krzyszp

W tej chwili ponad 1k komputerów nie "zabija" już serwera...
Nie sądzę, aby szybko pękła granica 2k maszyn...

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

kva.pl

To jak dlugo projekt dziala i jaki rozmiar bazy juz wygenerowal?

necavi

Miesiąc i o ile dobrze rozumie 500GB naszych wypocin.

kva.pl

No to liczmy ze jak sie projekt rozbuja bedzie tego 4-5 razy wiecej na miesiac. Nie bardzo wyobrazam sobie jak ma potem wygladac praca na takiej bazie danych.

krzyszp

Cytat: kva.pl w 07 Sierpień 2014, 23:38
No to liczmy ze jak sie projekt rozbuja bedzie tego 4-5 razy wiecej na miesiac. Nie bardzo wyobrazam sobie jak ma potem wygladac praca na takiej bazie danych.
Ja licze, że będzie tego 10 razy więcej...
Po pierwsze, serwer będzie dość mocny, dlatego jest kupowany w przetargu, a nie "w sklepie". Po drugie, te 500GB to są surowe dane - one będą filtrowane, aby usunąć wszystkie powtarzające się wyniki, których będzie całkiem sporo (zdecydowana większość). Efektem działania projektu będzie (spory) zbiór danych, ale jeszcze w wielkości "strawnej" do sprawnej obróbki.

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

krzyszp

Ma ktoś może ochotę popracować nad badge (obrazkami) dla Universe@Home testowego?
Na docelowym ma podobno grafik pracować, ale można by coś w testowym w międzyczasie zrobić...

Może jakieś ikonki planet/mgławic/gwiazd?

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

Troll81

Mam pomysł :D Obiekty z katalogu Messiera

http://scienceblogs.com/startswithabang/files/2012/11/Messier_Objects_1680.jpeg

tylko ktoś musiałby to obrobić :d

krzyszp

Cytat: Troll81 w 11 Sierpień 2014, 20:05
Mam pomysł :D Obiekty z katalogu Messiera

http://scienceblogs.com/startswithabang/files/2012/11/Messier_Objects_1680.jpeg

tylko ktoś musiałby to obrobić :d
Oj, chciałbym, zwłaszcza po lekturze "Messier 13" - ktoś czytał?

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

necavi

krzyszp "Dłuższe będą tylko w przypadku pojawienia się checkpointów"

Próbki, które ostatnio otrzymuję wydłużyły się z 30 min do 60, a checkpointów jak nie było, tak nie ma  :-[

krzyszp

Cytat: necavi w 11 Sierpień 2014, 21:27
krzyszp "Dłuższe będą tylko w przypadku pojawienia się checkpointów"

Próbki, które ostatnio otrzymuję wydłużyły się z 30 min do 60, a checkpointów jak nie było, tak nie ma  :-[
Bo to efekt buga w aplikacji win, która kończyła obliczenia po wykonaniu 50% zadania :)
Tłumaczyłem to na forum projektu ;)

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

Troll81

lista obiektów nadających się na badge

http://en.wikipedia.org/wiki/Messier_1
http://en.wikipedia.org/wiki/Messier_8
http://en.wikipedia.org/wiki/Messier_16
http://en.wikipedia.org/wiki/Messier_17
http://en.wikipedia.org/wiki/Messier_20
http://en.wikipedia.org/wiki/Messier_27
http://en.wikipedia.org/wiki/Messier_31
http://en.wikipedia.org/wiki/Messier_33
http://en.wikipedia.org/wiki/Messier_42
http://en.wikipedia.org/wiki/Messier_45
http://en.wikipedia.org/wiki/Messier_51
http://en.wikipedia.org/wiki/Messier_57
http://en.wikipedia.org/wiki/Messier_58
http://en.wikipedia.org/wiki/Messier_61
http://en.wikipedia.org/wiki/Messier_63
http://en.wikipedia.org/wiki/Messier_64
http://en.wikipedia.org/wiki/Messier_65
http://en.wikipedia.org/wiki/Messier_66
http://en.wikipedia.org/wiki/Messier_74
http://en.wikipedia.org/wiki/Messier_77
http://en.wikipedia.org/wiki/Messier_78
http://en.wikipedia.org/wiki/Messier_81
http://en.wikipedia.org/wiki/Messier_82
http://en.wikipedia.org/wiki/Messier_83
http://en.wikipedia.org/wiki/Messier_84
http://en.wikipedia.org/wiki/Messier_88
http://en.wikipedia.org/wiki/Messier_94
http://en.wikipedia.org/wiki/Messier_95
http://en.wikipedia.org/wiki/Messier_96
http://en.wikipedia.org/wiki/Messier_97
http://en.wikipedia.org/wiki/Messier_98
http://en.wikipedia.org/wiki/Messier_99
http://en.wikipedia.org/wiki/Messier_100
http://en.wikipedia.org/wiki/Messier_101
http://en.wikipedia.org/wiki/Messier_104
http://en.wikipedia.org/wiki/Messier_106

proponuje urządzić głosowanie na stronie projektu. Te które dostaną najwięcej głosów staną się badgami. Bonusem wiki jest licencja tych zdjeć :D

Dario666

Może by tak jeszcze FavIcon wrzucić na stronę projektu.

PS: A tak poza tym, to co się dzieje z OProject?

AL

Cytat: Dario666 w 13 Sierpień 2014, 08:31

PS: A tak poza tym, to co się dzieje z OProject?

Się przenosi na inny serwer.

krzyszp

Cytat: Troll81 w 12 Sierpień 2014, 17:20
proponuje urządzić głosowanie na stronie projektu. Te które dostaną najwięcej głosów staną się badgami. Bonusem wiki jest licencja tych zdjeć :D
Gdyby jeszcze mechanizm forum serwera miał jakieś opcje ankiety...

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

krzyszp

Panowie, jak macie jakieś milestony do zrobienia, to proponuję zacząć, bo będzie jeszcze ok 300k WU, a potem chwila przerwy (zmiany w kodzie app).

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

necavi

Jak zapewne zauważyliście projekt już zadań nie rozsyła. Pewnie te 300k WU się skończyło. Mam nadzieję, że te "zmiany w kodzie app" dotyczą (między innymi) checkpointów. Przesiadka na nowy serwer też trwa? Kiedy startujemy ponownie?

krzyszp

Cytat: necavi w 10 Wrzesień 2014, 19:17
Jak zapewne zauważyliście projekt już zadań nie rozsyła. Pewnie te 300k WU się skończyło. Mam nadzieję, że te "zmiany w kodzie app" dotyczą (między innymi) checkpointów. Przesiadka na nowy serwer też trwa? Kiedy startujemy ponownie?
Tak, seria 300k WU już zeszła. Muszę poczekać, aż wszystkie wrócą, żeby wypuścić następną kolejkę, najpierw drobne ilości testowych WU (żeby sprawdzić, czy wszystko jest ok), a potem pójdzie 999'999 nowych WU, ze zmienionymi parametrami startowymi symulacji (oczywiście w mniejszych seriach, pewnie po 100-200k).

Checkpointów na razie nie będzie, do tego potrzebuje wsparcia merytorycznego, którego niestety jeszcze nie mam (nie wiem po prostu, które dane muszą być w checkpointach, żeby nie zepsuć symulacji).
Co do właściwego serwera, to wciąż czekam na efekty przetargu na sprzęt, nie mam na razie żadnych informacji, pewnie dowiem się po prostu jak już będzie.

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

Dario666

Polska... "nie dziwi nic"   :whistle:

kva.pl

W statystykach jeszcze nie widac, ale projekt juz sie liczy i ladnie punktuje :)

Dario666

No i jak tam serwery U@h się trzymają?

krzyszp

Cytat: Dario666 w 20 Październik 2014, 20:00
No i jak tam serwery U@h się trzymają?
Testowy, który chodzi na moim dedyku nie raportują żadnych problemów, PM go nie zabił :)

Co do produkcyjnych - nadal na nie czekam... Niestety, państwowe pieniądze mają bardzo długą wędrówkę od pomysłu, poprzez przyznanie, aż do... wydania.

W każdej chwili oczekuję na namiary na nie i jak tylko coś będzie, to się pochwalę.

Dobra wiadomość jest taka, że skoro już jakiś czas temu testy wykazały, że zarówno app jak i serwer są stabilne, to wszystkie dane i wyniki są już wykorzystywane przez ludzi z UW do ich badań.

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

pawg

Można byłoby spróbować jeszcze dodać "Workunit-Batch Monitor" podobny do tego z SIMAPu by widzieć postęp pracy...



krzyszp

Cytat: pawg w 21 Październik 2014, 18:03
Można byłoby spróbować jeszcze dodać "Workunit-Batch Monitor" podobny do tego z SIMAPu by widzieć postęp pracy...
W zasadzie dobry pomysł, ale to będzie dopiero na produkcyjnym, nie chcę dwa razy tej samej roboty robić.

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

LQG

Czy po miesiącu jest jakiś postęp w temacie "checkpoint'ów"? Dla mnie ich brak to pewne utrudnienie...

krzyszp

Cytat: LQG w 21 Październik 2014, 18:47
Czy po miesiącu jest jakiś postęp w temacie "checkpoint'ów"? Dla mnie ich brak to pewne utrudnienie...
Nie i niestety na razie nic nie mogę z tym zrobić (poza utrzymaniem próbek krótkimi).

W ogóle sprawa jest  tyle bardziej skomplikowana, że już na serwerze produkcyjnym aplikacja będzie się często zmieniać, co oznacza, że checkpointy za każdym razem by musiały być tworzone na nowo, testowane, itd... Więc właściwie nie ma co na to liczyć.

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

Dario666

Używaj hibernacji, a nie wyłączenia kompa, to próbki nie będa liczyć od nowa.

LQG

Cytat: Dario666 w 21 Październik 2014, 19:57
Używaj hibernacji, a nie wyłączenia kompa, to próbki nie będa liczyć od nowa.

Raczej trudno używać zahibernowanego lub uśpionego kompa :) Piszę o działaniu z ustawieniem "Przetwarzanie dozwolone gdy komputer jest w użyciu" na NIE co powoduje przeliczanie próbek od nowa. Zgodnie podstawową ideą BOINC'a ;)

krzyszp

Można ustawić pozostawianie WU w pamięci na czas przerw, też powinno pomóc (Universe nie zabiera za dużo RAM).

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

krzyszp

Jeszcze dzisiaj najprawdopodobniej będą testy nowej aplikacji (pewnie kilkaset WU). Aplikacja ta będzie podstawą publikacji naukowej, która ma się ukazać wkrótce.

Od poniedziałku ruszy pełna parą nowa seria miliona zadań oraz kończyć będziemy bieżącą.

Ps. Czy czasami wątek nie powinien trafić do odpowiedniego działu?

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka