BOINC@Poland

BOINC@Poland => Zespół BOINC@Poland => Wyścigi Teamów => Wątek zaczęty przez: ryszard.korczyk w 18 Styczeń 2015, 11:43

Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: ryszard.korczyk w 18 Styczeń 2015, 11:43
Kamraci, mobilizacja, nie możemy przegapić takiego wyścigu w projekcie Universe@Home. Wszyscy do wioseł, startujemy tej nocy po 1:00 polskiego czasu.
PS: Krzyszp, powodzenia!  :arrr:
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: cp w 18 Styczeń 2015, 13:22
No ba!

:arrr:
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: AL w 18 Styczeń 2015, 23:48
Coś mi się zdaje, że serw znowu tego nie wytrzyma ;)
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: krzyszp w 20 Styczeń 2015, 10:08
No i amerykańce nas łyknęli w nocy...
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: Krzysiak w 20 Styczeń 2015, 11:08
Tak tylko ich czas startu był o sensownej godzinie a ja dopiero o 7 zacząłem swój sprzęt przestawiać !!!  :wth:
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: Ufol w 20 Styczeń 2015, 16:10
Jankesi dosłownie gnają, w mordę kotkę, mogą nam odjechać, koszą punkty ostro.
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: cp w 20 Styczeń 2015, 19:03
Ano, odskoczyli. Jednocześnie udało im się skontrować nasz atak na pudło w wyścigu Einstein@Home |-? Jeśli nic się nie zmieni, przegramy na obydwu frontach. Zatem zwracam się z odezwą do wszystkich kamratów. Nie będzie jankes pluł nam w twarz :whistle: Skierujcie wszystkie rdzenie CPU wciąż jeszcze mielące WU E@H na Universe (samo GPU powinno wystarczyć do utrzymania niezłego, 4. miejsca). To jest dużo ważniejszy (przede wszystkim propagandowo) odcinek. Do boju, kamraci! Do wioseł!  :whip:
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: kva.pl w 21 Styczeń 2015, 06:56
Walcze z calych sil, ale to udzial honorowy na tle czolowki  :whip:
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: necavi w 21 Styczeń 2015, 22:27
Dla porządku podaję link do statystyk wyścigu. (http://boincstats.com/en/stats/challenge/team/chat/645)

Tak mi się wydaje, że pierwsza 4-ka pozostanie bez zmian...
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: kva.pl w 22 Styczeń 2015, 11:02
Tez tak mysle, ja sie odlaczam i wracam do WCG :)
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: Sebastian M. Bobrecki w 23 Styczeń 2015, 11:00
Wyścig w E@h dobiega już końca więc przepinam się tutaj. Tyle że strasznie słabo walidują mi się zadania. Ponad 6000 zadań w Validation pending i rośnie. Może co dziesiąte dostaje punkty na bieżąco. W związku z tym nie wiem czy to przyniesie jakieś sensowne punkty przed końcem wyścigu.
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: krzyszp w 23 Styczeń 2015, 11:19
Właśnie trafiłeś na czas, kiedy musiałem włączyć generowanie WU, bo bardzo szybko schodzą :)

Niestety, samo generowanie trwa około 6 godzin (zakończyło się o 8:45 rano), teraz trzeba czekać, aż serwer "się ogarnie" i zacznie nadrabiać opóźnienia, co również potrwa kilka godzin.
Najpóźniej jutro powinien już obrabiać na bieżąco, o ile podsystem dyskowy da radę (to on jest wąskim gardłem).

Jako ciekawostka:
Przy obecnej obróbce, jakiej musi po stronie serwera być poddany każdy wynik, nie spodziewałem się, że serwer wytrzyma więcej niż 35 tysięcy WU na dobę - za ostatnie 24h przeliczyło się 86'000 WU... :)

Edit:

Przypominam, że w projekcie jest quorum = 2.
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: pawg w 23 Styczeń 2015, 11:46
Co oznacza sytuacja gdy dwa komputery już odesłały to samo WU (jest quorum = 2) i zadania nadal mają status "Zakończone, oczekuje na walidację" ?
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: Sebastian M. Bobrecki w 23 Styczeń 2015, 11:52
Oczywiście zdaję sobie sprawę że quorum wynosi 2.

A ile będzie tych zadań? Pytam bo dziś wieczorem będę chciał oddelegować do liczenia do końca wyścigu jakieś 440 wątków. Przy średnim czasie liczenia poniżej 30 minut. Powinienem być w stanie robić ponad 20k zadań na dobę i jestem ciekaw czy ich wystarczy.

Wzywam też wszystkich kamratów do pełnego wsparcia może uda się odbić pierwsze miejsce. W końcu jeszcze zostało ponad 2,5 doby.
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: krzyszp w 23 Styczeń 2015, 11:56
Cytat: pawg w 23 Styczeń 2015, 11:46
Co oznacza sytuacja gdy dwa komputery już odesłały to samo WU (jest quorum = 2) i zadania nadal mają status "Zakończone, oczekuje na walidację" ?
Właśnie to, co pisałem wyżej. Dysk się nie wyrabia, dlatego walidacja jest opóźniona. W tej chwili to opóźnienie wynosi ok. 6 godzin i powinno stopniowo się zmniejszać lub chociaż utrzymać na tym poziomie (dlatego, że wciąż więcej danych napływa, amerykanie naprawdę przycisnęli).

Cały proces nadrabiania opóźnień powinien trwać jeszcze kilka godzin, ale ile dokładnie to nie wiem - teraz jestem bardziej na gruncie spekulacji, gdyż jeszcze nie spotkałem się z taką ilością przerabianych WU. Z moich wcześniejszych wyliczeń wynikało, że serwer powinien się zatkać całkowicie przy 35k WU na dobę, tymczasem w tej chwili licznik wskazuje już prawie 88k...

Co do ilości WU, to ja wygenerowałem w nocy następne 200k, ale jak będzie trzeba, to i milion wygeneruję (oczywiście spowoduje to następne opóźnienie, dlatego generuję mniejszymi ilościami).
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: kva.pl w 23 Styczeń 2015, 12:43
Cytat: Sebastian M. Bobrecki w 23 Styczeń 2015, 11:52
jakieś 440 wątków

:o
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: pawg w 23 Styczeń 2015, 13:12
Śmiało oddeleguj je na 1,5 doby, powinny zdążyć się zwalidować  ;) Nie odbijemy 1 miejsca, ale przynajmniej zmniejszy się strata do Amerykanów
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: borno w 23 Styczeń 2015, 13:26
Hej kamraci, też troszkę wspomogę projekt  :attack:
Szkoda że nie przyuważyłem wcześniej
http://stats.free-dc.org/stats.php?page=team&proj=unit&team=138&sort=today
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: krzyszp w 24 Styczeń 2015, 18:38
Niestety, serwer w obecnej konfiguracji osiągnął kres swojej wydolności... Ledwo przerabia bieżące WU, ale i tak walidacja się przeciąga niestety w czasie. Sytuacja powinna wrócić do normy, ale myślę że stanie się to dopiero jak przez kilka godzin źródełko będzie suche...

Obecnie przerabiamy ponad 100k WU na dobę, mając moc w okolicach 8,6 TFLOPs.

Jak pisałem wcześniej, zakładałem pojawienie się problemów przy przerobie na poziomie 35k WU na dobę :)
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: Aegis Maelstrom w 24 Styczeń 2015, 21:38
A właśnie o to Cię miałem pytać Krzysztofie, jak tam próba obciążeniowa serwera.  XD

Pisałeś, że szacowałeś wydajność na 35 tys. jednostek dziennie, a dziś na stronie uniwersalnego (jeśli ktoś nie śledzi) o ponad 100 000 WU w 24h i ponad 8 TFLOPSach. Tak czy inaczej, moje grrratulacje :parrrty:  i trzymam kciuki za serwer.

Dobrze też wiedzieć, że ta moc idzie w merytoryczne obliczenia i lecimy z koksem dla zespołu badawczego.  XD Mam nadzieję, że oficjalny serwer stabilny będzie już wkrótce i będzie bardziej wyporny.  :attack:
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: krzyszp w 24 Styczeń 2015, 22:29
Serwer doszedł do prawie 108k WU, jednak już się nie wyrabiał z walidowaniem próbek. Wąskie gardło już namierzyłem (jest nim HDD), ale niewiele teraz mogę z tym zrobić, niemniej w planach mam optymalizacje.
Oczywiście, optymalizacje będą zastosowane na serwerze produkcyjnym, gdzie mam zamiar osiągnąć wystarczającą wydajność w znacznie większych przedziałach, niemniej serwer testowy pokazał mi dobitnie, na czym się koncentrować.
Przy okazji, podczas tych zawodów serwer wytrzymał obciążenie kilkukrotnie większe nić podczas poprzednich i nie padł - złapał tylko opóźnienia :)

Co do obliczeń i merytoryki.
Już od dłuższego czasu na stronie projektu wisi news na ten temat :)
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: kva.pl w 24 Styczeń 2015, 23:02
W jaki sposob udalo sie okreslic ze to akurat dyski nie daja rady?
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: krzyszp w 24 Styczeń 2015, 23:09
Cytat: kva.pl w 24 Styczeń 2015, 23:02
W jaki sposob udalo sie okreslic ze to akurat dyski nie daja rady?
Łatwo (;)):

https://www.dropbox.com/s/i5gi6jr60xia01x/dysk.png?dl=0
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: kva.pl w 24 Styczeń 2015, 23:13
No to faktycznie wiele wyjasnia ;)
A obciazenie ramu i procesora mozesz pokazac?
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: krzyszp w 24 Styczeń 2015, 23:29
Cytat: kva.pl w 24 Styczeń 2015, 23:13
No to faktycznie wiele wyjasnia ;)
A obciazenie ramu i procesora mozesz pokazac?
RAM ma zajęte 10 z 16GB (bo tak ustawiłem MySQL'a), load skacze między 2 a 4, ale to głównie przez IO...
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: Sebastian M. Bobrecki w 25 Styczeń 2015, 02:15
Źródełko wyschło :(
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: krzyszp w 25 Styczeń 2015, 10:46
Cytat: Sebastian M. Bobrecki w 25 Styczeń 2015, 02:15
Źródełko wyschło :(
Generowanie trwa, wstrzymałem daemony na ten czas, aby je przyśpieszyć :)
Tytuł: Happy New Yarr Pirates Challenge [2015-01-19 00:00 2015-01-26 00:00 UTC]
Wiadomość wysłana przez: mimeq w 25 Styczeń 2015, 13:20
2015-01-25 12:55:41 | Universe@Home | Scheduler request completed: got 28 new tasks