Aktualności:

Nasz kanał IRC - Porozmawiaj z nami.

Menu główne

Universe@Home - serwer testowy projektu

Zaczęty przez krzyszp, 08 Lipiec 2014, 17:12

Troll81


krzyszp

Replikacja wprowadzona.
Następny krok to przygotowanie backupu jakiegoś sensownego dla skryptów i danych. Planowane wykonanie dzisiaj.

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

LQG

 :parrrty: :respect:
Kolejny argument za ogłoszeniem U@H oficjalnym projektem rezerwowym w każdym PM CPU! :)

PDH

krzyszp, mam kilka starszych WU w "pendingu", ale serwer się nie spieszy z przedzieleniem zadanka dla kolejnego hosta. Na forum projektu widziałem zgłoszony podobny problem.
Zobacz na te zadania:
http://universeathometest.info/universe/workunit.php?wuid=1405596
http://universeathometest.info/universe/workunit.php?wuid=1409639
http://universeathometest.info/universe/workunit.php?wuid=1411634
http://universeathometest.info/universe/workunit.php?wuid=1414065
http://universeathometest.info/universe/workunit.php?wuid=1440219
...

Projekt ma małe WU  z krótkim deadline'm, ale z walidacją się nie spieszy. Popatrz na to.

krzyszp

To pokłosie 5k próbek, które spierdzieliłem w ramach testów  :shame:

One w końcu zejdą, ale muszą trafić na kompa z Linuksem i aktualną aplikacją...

Edit:

Mógłbym je "zmusić" do wejścia na konkretne hosty, ale nie chcę nic mieszać przed zawodami...

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

PDH

No to spoko, w czasie wyścigu przybędzie maszyn liczących i zadanka powinny zejść.

krzyszp

Cytat: PDH w 28 Listopad 2014, 15:22
No to spoko, w czasie wyścigu przybędzie maszyn liczących i zadanka powinny zejść.
PDH, ja staram się tego pilnować, ale czasami mi wiedzy po prostu brak, a teren jest dziewiczy i trzeba dużo spraw na piechotę odkrywać...
Ale "mea culpa" ;)

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

PDH

Hej. Na moim koncie pojawiło się 26 próbek ze statusem Completed, can't validate - errors : WU cancelled
3335725 1666041 2204 30 Nov 2014, 20:54:06 UTC 1 Dec 2014, 0:06:34 UTC Completed, can't validate 2,606.89 2,606.89 0.00 universe2 v0.03
3334518 1665437 2204 30 Nov 2014, 20:09:08 UTC 30 Nov 2014, 23:21:10 UTC Completed, can't validate 2,638.59 2,634.69 0.00 universe2 v0.03
3334462 1665409 2204 30 Nov 2014, 20:09:07 UTC 30 Nov 2014, 23:27:24 UTC Completed, can't validate 2,784.67 2,780.38 0.00 universe2 v0.03
3334533 1665445 2787 30 Nov 2014, 20:09:00 UTC 30 Nov 2014, 23:35:37 UTC Completed, can't validate 3,131.11 3,111.19 0.00 universe2 v0.03
3324887 1660622 2204 30 Nov 2014, 14:13:33 UTC 30 Nov 2014, 17:28:24 UTC Completed, can't validate 2,907.19 2,907.19 0.00 universe2 v0.03
3323858 1660107 2204 30 Nov 2014, 13:39:53 UTC 30 Nov 2014, 17:09:28 UTC Completed, can't validate 2,821.77 2,821.77 0.00 universe2 v0.03
3322287 1659327 2204 30 Nov 2014, 12:46:35 UTC 30 Nov 2014, 15:58:35 UTC Completed, can't validate 2,948.95 2,946.94 0.00 universe2 v0.03
3322105 1659236 2204 30 Nov 2014, 12:37:14 UTC 30 Nov 2014, 15:49:08 UTC Completed, can't validate 2,761.75 2,755.16 0.00 universe2 v0.03
3313482 1654925 2204 30 Nov 2014, 7:22:54 UTC 30 Nov 2014, 10:42:49 UTC Completed, can't validate 2,915.92 2,908.86 0.00 universe2 v0.03
3300072 1648220 2204 29 Nov 2014, 22:57:08 UTC 30 Nov 2014, 2:33:22 UTC Completed, can't validate 2,814.95 2,814.95 0.00 universe2 v0.03
3297458 1646914 2204 29 Nov 2014, 21:24:30 UTC 30 Nov 2014, 1:02:46 UTC Completed, can't validate 2,814.86 2,810.36 0.00 universe2 v0.03
3295649 1646013 2204 29 Nov 2014, 20:22:12 UTC 29 Nov 2014, 23:40:58 UTC Completed, can't validate 2,918.78 2,913.63 0.00 universe2 v0.03
3294839 1645608 2204 29 Nov 2014, 19:52:22 UTC 29 Nov 2014, 23:31:32 UTC Completed, can't validate 2,724.53 2,719.38 0.00 universe2 v0.03
3284465 1640423 2204 29 Nov 2014, 13:32:26 UTC 29 Nov 2014, 16:44:44 UTC Completed, can't validate 2,710.61 2,710.61 0.00 universe2 v0.03
3281992 1639186 2204 29 Nov 2014, 12:04:46 UTC 29 Nov 2014, 15:16:25 UTC Completed, can't validate 2,691.45 2,685.34 0.00 universe2 v0.03
3281442 1638911 2204 29 Nov 2014, 11:49:04 UTC 29 Nov 2014, 15:06:45 UTC Completed, can't validate 2,682.63 2,674.05 0.00 universe2 v0.03
3265713 1631047 2204 29 Nov 2014, 1:15:40 UTC 29 Nov 2014, 4:25:57 UTC Completed, can't validate 2,902.66 2,899.77 0.00 universe2 v0.03
3265716 1631048 2204 29 Nov 2014, 1:12:25 UTC 29 Nov 2014, 4:19:40 UTC Completed, can't validate 2,685.28 2,682.14 0.00 universe2 v0.03
3265095 1630738 2204 29 Nov 2014, 0:44:10 UTC 29 Nov 2014, 2:59:29 UTC Completed, can't validate 2,982.03 2,982.03 0.00 universe2 v0.03
3255792 1626086 2204 28 Nov 2014, 17:43:17 UTC 28 Nov 2014, 22:46:13 UTC Completed, can't validate 2,932.33 2,746.30 0.00 universe2 v0.03


Rozumiem, że zadanka poszły na "wieczny odpoczynek". Czy to zasługa ostatniego wyścigu czy może coś innego nawaliło jeszcze %)

krzyszp

Cytat: PDH w 05 Grudzień 2014, 14:43
Rozumiem, że zadanka poszły na "wieczny odpoczynek". Czy to zasługa ostatniego wyścigu czy może coś innego nawaliło jeszcze %)
Dowiedziałem się ostatnio, że work generator potrafi popsuć czasami próbki przy generacji i wtedy assimilator lata jak żyd po pustym sklepie po bazie danych i całość staje. To właśnie się zdarzyło w czasie wyścigu i musiałem niestety WU anulować...

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

zablociak

Cytat: krzyszp w 05 Grudzień 2014, 15:45
Dowiedziałem się ostatnio, że work generator potrafi popsuć czasami próbki przy generacji i wtedy assimilator lata jak żyd po pustym sklepie po bazie danych i całość staje. To właśnie się zdarzyło w czasie wyścigu i musiałem niestety WU anulować...

Aha, rozumiem z tego, że w chwili obecnej U@H normalnie produkuje próbki i je rozsyła. Czy możemy uznać, że stan projektu sprzed wyścigu został przywrócony?
To Err Is Human, to Arr Is Pirate!

tito

No mi po 17tej pobrało parę próbek, a teraz znów posucha. Więc nici ze stanu sprzed wyścigu.

necavi

U mnie podobnie. Od kilku dni moja główna maszyna łapie po parę sztuk. "Pomocnicze" kompy za to mają full zadań  :dunno:

krzyszp

Cytat: tito w 05 Grudzień 2014, 19:01
No mi po 17tej pobrało parę próbek, a teraz znów posucha. Więc nici ze stanu sprzed wyścigu.
Niezupełnie :)

Teraz opóźnienie na serwerze jest, bo generuje się bardzo duża porcja WU, później na kilka chwil wyłączę serwer, żeby baza mogła sobie przemielić, po czym powinno wócić do normy.

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

tito

I tak się stanie bo inaczej  :whip:

tito

Dobra zamiast  :whip: jest  :parrrty:
Szacun.

pawg

znowu dziwny pad, albo coś jest nie tak z moim komputerem...



Troll81

http://universeathometest.info/universe/server_status.php

not running

pawg

2014-12-06 11:25:08 | Universe@Home | Reporting 7 completed tasks
Tylko że nic nie zaraportowało, WU nadal są w Managerze



krzyszp

Już działa i zostawiam działające.
Jeżeli z jakiś powodów zabraknie WU, to nie krzyczeć, od jutra nie mam netu przez jakiś czas ;)

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

tito

Krzyszp - trochę nieładnie, że tu piszesz, a na stronie projektu nic. Zrób jakieś info, aby nie wyglądało, że projekt olewa userów.

krzyszp


Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

kva.pl

Czy mi sie wydaje czy zmienil sie numerek na 0.04 ?

krzyszp

Cytat: kva.pl w 09 Grudzień 2014, 14:40
Czy mi sie wydaje czy zmienil sie numerek na 0.04 ?
Tak, ale to nieistotna zmiana.

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

kva.pl

A jest gdzies jakis changelog do zobaczenia? Uwielbiam je czytac, takie zboczenie  :shame:

tito

Pytanie: po jakim czasie próbki są ponownie wysyłane do przeliczenia?
http://universeathometest.info/universe/workunit.php?wuid=2002609
Mam takich 47.

krzyszp

Generalnie, powinny iść szybko.

Niestety, ciągnie się jeszcze za serwerem stare fatum i są opóźnienia, które skończą się definitywnie, gdy wykończymy próbki, które obecnie są na serwerze (ok. 150k WU). Muszę po prostu fizycznie wykasować je z serwera po przerobieniu, gdyż podsystem dyskowy nie daje rady obrabiać wszystkiego obecnie i co chwila muszę robić przerwę techniczną i ręcznie wymusić "trawienie" ich.

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

necavi

Od wczoraj kompy nie otrzymują zadań  :dunno:

krzyszp

Cytat: necavi w 25 Grudzień 2014, 09:27
Od wczoraj kompy nie otrzymują zadań  :dunno:
Bo ich nie ma, o czym jest info na stronie projektu ;)

Muszę oczyścić kolejkę, żeby pokasować zbędne już pliki WU z serwera, jednak by to zrobić bezpiecznie muszą być przeliczone wszystkie aktualne zadania, co powinno się dziś lub jutro (w przypadku resendów) stać. Jak tylko to zrobię to puszczę nową serię.

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

krzyszp

Wiadomo od dawna, że aplikacja na Linuksa liczy się w tym projekcie wolniej niż na Windowsie, niestety nie bardzo mam jak to sprawdzić...

Ma ktoś możliwość sprawdzić wydajność na w miarę nowoczesnej maszynie te dwie wersje? Chodzi mi o porównanie na tej samej maszynie, ale pod obydwoma systemami, żebym wiedział jak duża faktycznie jest to różnica - sam nie dysponuję maszyną na której mógłbym odpalić oba systemy...

Ps. Szczególnie zależało by mi na porównaniu Windows vs jakiś nowy debianowaty...

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

Cyfron

a pasuje żeby na np windows 7 x64 odpalić dwie wirtualne maszyny jedna z debianoczymś tam a druga z windowsem? (tylko ten debian musi być łatwy do ogarnięcia :) )

krzyszp

Dzięki Cyfron, ale tak to raczej nie - za dużo czynników może mieć wpływ na wydajność.

W każdym bądź razie Szopler już mi dostarczył odpowiednich wyników - dzięki :)

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

kva.pl


krzyszp

Cytat: kva.pl w 19 Styczeń 2015, 04:43
I jak duza jest roznica?
Była 100% ponad na niekorzyść Linuksa, ale teraz jest 100% na jego korzyść ;)

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

kva.pl

O w morde jeza :D

A co uczyniles ze dostalo takiego kopa?

krzyszp

Skompilowałem aplikację dla najmocniejszego parametru optymalizacji ;)

Minusem tego rozwiązania jest, że prawdopodobnie nie da się zastosować w następnej aplikacji (ale postaram się uzyskać równą szybkość z Windows).

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

kva.pl

A z jakich rozszerzen apka korzysta?

krzyszp

Cytat: kva.pl w 19 Styczeń 2015, 13:42
A z jakich rozszerzen apka korzysta?
Nie mam pojęcia :)

Apka jest zbyt duża, żebym mógł ją zanalizować pod tym kątem, w dodatku jest rozwijana od 2002 roku, moje zmiany ograniczają się głównie do przystosowania jej do pracy w środowisku BOINC.

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

Aegis Maelstrom

Skończył się wyścig i próbki w Uniwersalnym.  %)

Czekam na podsumowanie Administratora tej próby obciążeniowej, kiedy już Administrator dojdzie do siebie.  :arrr:

kva.pl

current GigaFLOPs   10,896  :attack:

krzyszp

Cytat: Aegis Maelstrom w 27 Styczeń 2015, 01:16
Skończył się wyścig i próbki w Uniwersalnym.  %)

Czekam na podsumowanie Administratora tej próby obciążeniowej, kiedy już Administrator dojdzie do siebie.  :arrr:
Administrator doszedł do siebie po ciężkim szoku, w jaki wpadł widząc ile serwer wytrzymał ;)

Ok, generalnie, jak kilka razy pisałem, serwer powinien paść już przy około 35k WU na dobę, a przynajmniej przestać się wyrabiać z czymkolwiek. Pracował dobrze do ok. 90k WU na dobę i szło by dalej dobrze gdyby nie... koniec WU :)
Niestety, generowanie WU w przypadku Universe jest pracochłonne i pożera bardzo dużo operacji dyskowych, co spowodowało narastanie opóźnień z walidacją, niemniej serwer dawał sobie w sumie radę (bo już zaczął nadrabiać opóźnienia) aż do końca.
Warto zauważyć, że pod koniec zawodów licznik wskazywał już 108k WU na dobę! :)

Oczywiście, zawody wykazały co jest wąskim gardłem w projekcie - jest nim HDD. Musicie wiedzieć, że generowanie WU, jego wysyłka, przyjęcie wyników, walidacja i generalnie wszystko inne łączy się z operacjami na bazie danych. Do tego dochodzi przygotowanie wyników do wysyłki (kompresja, kopiowanie w inne miejsce dla UW), co jest wykonywane co godzinę i zajmuje kilka minut. To wszystko powoduje, że dysk fizycznie ogranicza ilość pracy mogącej być dostarczonej klientom do obliczeń, więc jedynym sposobem na tym serwerze na zwiększenie ilości pracy jest wydłużenie WU, tego jednak nie zrobię do momentu, w którym zostaną wprowadzone checkpointy.

Podsumowując, serwer mile mnie zaskoczył, wnioski jakie wyciągnąłem z poprzednich zawodów były jak najbardziej słuszne i pomogły bardzo. Mam też następne i posłużą mi już na dniach podczas stawiania serwera produkcyjnego :)

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka