Dostałem "zielone światło", więc informuję.
Na prośbę p. Grzegorza Wiktorowicza z UW zajmuję się nowym projektem Universe@Home, który będzie prowadzony w ramach ich projektu.
Otrzymałem kod źródłowy aplikacji będącej symulatorem rozwoju słońc, przerobiłem go do formy strawnej dla BOINC oraz dorobiłem wersję pod Windows. Obecnie obsługiwane systemy to Linuks 32/64 (osobne aplikacje) oraz Windows 32, chodząca również na systemach 64 bitowych.
Obecnie testuję całość na serwerze testowym, który ma działać cały czas (będzie poligonem dla aplikacji testowych wraz z ich rozwojem). Obecnie nic nie wskazuje na niestabilność.
Adres serwera:
http://universeathometest.info/universe/
Aplikacja nie ma checkpointów, ale to się niedługo zmieni.
You have my Ice Axe :D
Próbek dla mnie zabrakło? :dunno:
Cytat: necavi w 08 Lipiec 2014, 18:38
Próbek dla mnie zabrakło? :dunno:
W tej chwili jest jeszcze 300 (ale dorobię, jak będzie trzeba), może musisz chwilkę odczekać lub komp ma za dużo w kolejce?
Już dowieźli 10 sztuk :p_arr:
5440 5761 28 8 Jul 2014, 16:27:04 UTC 8 Jul 2014, 17:24:40 UTC Zakończone i zwalidowane 1,605.06 1,528.47 16.87 Universe_simulator v0.03
5441 5762 28 8 Jul 2014, 16:27:04 UTC 8 Jul 2014, 17:24:40 UTC Zakończone i zwalidowane 1,629.26 1,525.05 17.13 Universe_simulator v0.03
5535 5856 28 8 Jul 2014, 16:27:04 UTC 8 Jul 2014, 17:24:40 UTC Zakończone i zwalidowane 1,642.75 1,527.23 17.27 Universe_simulator v0.03
5439 5760 28 8 Jul 2014, 16:27:03 UTC 8 Jul 2014, 17:24:40 UTC Zakończone i zwalidowane 1,611.83 1,522.43 16.94 Universe_simulator v0.03
Mam już 512 punktów i nadal nie mogę założyć profilu....
Cytat: Troll81 w 08 Lipiec 2014, 23:07
Mam już 512 punktów i nadal nie mogę założyć profilu....
Tak, ustawiłem 1k, żeby boty wywalić...
A tak się podłączyłem ;D
krzyszp, wiesz coś więcej na temat projektu? rozumiem że projekt będzie w ramach pracy doktoranckiej ?
Cytat: gregre w 09 Lipiec 2014, 09:16
krzyszp, wiesz coś więcej na temat projektu? rozumiem że projekt będzie w ramach pracy doktoranckiej ?
Projekt powstaje w ramach Obserwatorium Astronomicznego UW i jest finansowany grantem Sonata BIS, więc odpowiedź jest twierdząca. Jednakże projekt ma przynieść konkretne wyniki społeczności naukowej w postaci otwartej bazy danych wyników uzyskanych podczas modelowania dużych obiektów gwiazdowych metodą syntezy populacji. Z tego, co się orientuję, wszystko zostanie opublikowane i udostępnione społeczności.
Myślę, że w najbliższym czasie wszystkie informacje na ten temat zostaną opublikowane, niestety ja zajmuję się wyłącznie stroną techniczną (serwer i aplikacja projektu) i mam za małą wiedzę, żeby się rozpisywać.
Z ciekawostek powiem tylko, że zgodnie z tym, co udało mi się zrozumieć z dokumentacji, projekt jest bardzo interesujący dla astronomów :)
Takie moje spostrzeżenie :boing:
i5-4670k 3,8GHz
9 Jul 2014, 5:20:40 UTC 9 Jul 2014, 6:42:09 UTC Zakończone i zwalidowane 1,202.43 1,197.06 16.16
i7-950 4,1GHz
9 Jul 2014, 6:49:58 UTC 9 Jul 2014, 7:49:36 UTC Zakończone i zwalidowane 1,226.22 1,217.78 14.23
Wydajność uzależniona od ilości MHz jest szansa o możliwość wykorzystania instrukcji AVX ?
Cytat: Krzysiak_PL_GDA w 09 Lipiec 2014, 09:54
Wydajność uzależniona od ilości MHz jest szansa o możliwość wykorzystania instrukcji AVX ?
Jeszcze nie kombinowałem z optymalizacjami, na to przyjdzie czas później.
Obecnie ważniejsze jest zaimplementowanie określania pewnych zmiennych w pliku wejściowym, które wprowadzę jak tylko zakończy się obecna seria WU (która już udowodniła, że aplikacja działa poprawnie ;))
Natomiast właśnie się dowiedziałem, że obecny czas wykonywania aplikacji (ilość symulacji w jednym przebiegu) jest ok, co pozwoli mi na zignorowanie kwestii checkpointów (na tę chwilę), co z kolei przyśpieszy pracę nad powyższym.
mnie dziwi, czemu wszystkie WU łapią u mnie wysoki priorytet - przecież są krótkie ( < 40 min) a deadline całkiem spory - 15 lub 16 lipca
Cytat: sknd w 09 Lipiec 2014, 16:26
mnie dziwi, czemu wszystkie WU łapią u mnie wysoki priorytet - przecież są krótkie ( < 40 min) a deadline całkiem spory - 15 lub 16 lipca
Nie mam pojęcia, u mnie na kompach testowych jeżeli mam inne projekty, to grzecznie czeka.
Bardziej mnie zastanawia, dlaczego niektórzy łapią po 100 WU, gdy inni już nie mogą się załapać... Najwidoczniej muszę skrócić deadline właśnie.
Czy projekt pojawi się na BOINCu?
Cytat: Dario666 w 09 Lipiec 2014, 22:30
Czy projekt pojawi się na BOINCu?
Na BS? Tak, ale dajmy na to jeszcze kilka dni, zanim nie przełączę go całkiem na domenę i nie wypuszczę nowej apki (jest skompilowana, czeka na powrót aktualnych WU od klientów).
Cytat: Troll81 w 08 Lipiec 2014, 18:12
You have my Ice Axe :D
and my athlon :attack: ... ale chyba próbek zbrakło.
no właśnie chyba tak ;) wczoraj mi jedną zassało i tyle :)
Tak, muszę wrócić wszystkie aktualnie przerabiane WU, żebym mógł dodać nową wersję app obsługującą pobieranie danych wejściowych z pliku (co już jest zrobione i przetestowane).
Z nową wersją aplikacji będzie można praktycznie zacząć rzeczywiste obliczenia dla całego projektu (bo obecnie, to testy szły).
Jako ciekawostkę podam, że nowa apka będzie pobierać aż jedenaście wartości z pliku, w tym co najmniej jedna ma milion możliwości - więc łatwo sobie wyobrazić, jak dużo próbek będzie do przerobienia policzywszy możliwe kombinacje %)
to może jakieś odznaki? ;)
brązowa złota i srebrna galaktyka?
Można pójść na całość i zaproponować system odznak podobny do POGS.
http://signature.statseb.fr/index.py?badge=169
Odznaki będą - powstaną równolegle z grafiką dla strony głównej :)
Ps. Było teraz trochę uwalonych WU, ale na szczęście się wysypywały po sekundzie. Teraz leci już nowa apka (Win32 i Lin64), która już pobiera dane z pliku wejściowego i dane z niej pójdą najprawdopodobniej do realnych badań (o ile się nie wysypie cała partia w trakcie).
faktycznie :) wyskoczył mi przy kilku błąd przetwarzania :) ale reszta już idzie normalnie :)
dopięty (do drużynki też :parrrty:). Zobaczymy jak będzie liczyć. na razie ok :boing:
Wskaźnik postępu jest raczej do poprawy. Po pół godzinie liczenia pokazuje 0,1; 0,6 albo 1,05% a pozostały czas równo się odlicza i zostało też ok. 0,5 godziny. Poza tym jest OK :)
Cytat: zablociak w 10 Lipiec 2014, 19:36
Wskaźnik postępu jest raczej do poprawy. Po pół godzinie liczenia pokazuje 0,1; 0,6 albo 1,05% a pozostały czas równo się odlicza i zostało też ok. 0,5 godziny. Poza tym jest OK :)
Wszystkie próbki, które mają w nazwie ciąg z zakresu universe_idum-test1-1465 oraz wszystkie z nazwą universe_p_1_idum-test6_ (czyli test 6) można spokojnie ubić, miałem błąd w skrypcie generującym próbki.
mimo ubicia już kilku próbek mi nadal testowe pobiera ?
Cytat: Krzysiak_PL_GDA w 10 Lipiec 2014, 20:17
mimo ubicia już kilku próbek mi nadal testowe pobiera ?
A dokładniej?
Jeżeli w nazwie WU jest '1465-2000' to wszystko ok.
Dobra teraz dobre pobrało :)
Cos niedobrze. Mi wywaliło 'cancelled by server'. póżniej sprobuje jeszcze raz.
Cytat: matszpk w 10 Lipiec 2014, 20:42
Cos niedobrze. Mi wywaliło 'cancelled by server'. póżniej sprobuje jeszcze raz.
To te uszkodzone.
Oprócz napisania na forum skasowałem je też na serwerze, więc nic się nie stało. Teraz leci nowa, już poprawna wersja "1465-2000", a zapewne pójdzie też dalej jeszcze dzisiaj.
Ok. pobrało nowe. zobaczymy czy się przeliczą ::)
A mnie nic nie skapnęło mimo, że w buforze serwera 992 WU to send... :dunno:
Pewnie zaraz wpłynie :)
Edit:
Wow, 2k WU poszło w pół godziny z serwera (tylko status ma spore opóźnienie w wyświetlaniu).
Dorobiłem jeszcze 2k, ale to już na dzisiaj wystarczy...
Próbki są teraz trochę dłuższe wg. "pozostało" - ponad godzinę. Czy są checkpointy?
Cytat: sknd w 10 Lipiec 2014, 21:40
Próbki są teraz trochę dłuższe wg. "pozostało" - ponad godzinę. Czy są checkpointy?
Na i7 około 38 minut.
Checkpointów brak...
u mnie na Xeonie E3-1230 V2 66 minut... zrobisz kiedyś checki? ;)
Cytat: sknd w 10 Lipiec 2014, 21:51
u mnie na Xeonie E3-1230 V2 66 minut... zrobisz kiedyś checki? ;)
Pod jakim systemem???
Bo u mnie na takim procku 32 minuty...
linux64, konkretnie Arch. aha - ale to są przewidywania wg "pozostało". liczę teraz pierwszy WU z tych nowych, niestety pasek postępu stoi na 0,050%. Wcześniejsze unity się liczyły jakoś 30-40 minut
Cytat: sknd w 10 Lipiec 2014, 21:59
linux64, konkretnie Arch. aha - ale to są przewidywania wg "pozostało". liczę teraz pierwszy WU z tych nowych, niestety pasek postępu stoi na 0,050%. Wcześniejsze unity się liczyły jakoś 30-40 minut
Przed chwilą poprawiłem i wysłałem app dla linuksa - wersja 0.11 ma już poprawiony pasek postępu.
Moja "reglamentacja" wyniosła sztuk trzy :p_arr:. Na starym P4 3GHz HT 166 minut. A co, nie policzy... :attack: ?
działa. mam już pierwsze punkty :p_arr:. trochę jeszcze policzę :attack:
jednak ten mój WU się liczył tyle czasu procka: 30 minut 52 sekund, więc tylko przewidywany czas był błędny :)
Jedna WU obrobiona i odesłana. Nie zauważyłem żadnych niestabilności. Oprócz braku checkpoint, żadnych zastrzeżeń. Pasek postępu bez zarzutu. Czas obróbki 124 minuty z początkowych założonych 166 :parrrty:.
Coś się posypało chyba ?
- brak próbek
- pobrane wysypały się
- została jedna 76,6% liczy się już 9 godzin
Cytat: krzyszp w 10 Lipiec 2014, 21:54
Cytat: sknd w 10 Lipiec 2014, 21:51
u mnie na Xeonie E3-1230 V2 66 minut... zrobisz kiedyś checki? ;)
Pod jakim systemem???
Bo u mnie na takim procku 32 minuty...
Może sknd mieli z HT a Ty bez ;)
Cytat: stiven w 11 Lipiec 2014, 09:41
Cytat: krzyszp w 10 Lipiec 2014, 21:54
Cytat: sknd w 10 Lipiec 2014, 21:51
u mnie na Xeonie E3-1230 V2 66 minut... zrobisz kiedyś checki? ;)
Pod jakim systemem???
Bo u mnie na takim procku 32 minuty...
Może sknd mieli z HT a Ty bez ;)
Też mieliłem z HT.
Cytat: Krzysiak_PL_GDA w 11 Lipiec 2014, 08:25
Coś się posypało chyba ?
- brak próbek
- pobrane wysypały się
- została jedna 76,6% liczy się już 9 godzin
Miałeś jakimś cudem zakiszone WU jeszcze z samego początku, nawet nie sądziłem, że takowe gdzieś się zachowały. One nie były przystosowane do nowej wersji app.
Próbki faktycznie się skończyły (jakieś resztki jeszcze wychodzą, ale pewnie zejdą w chwili, gdy to piszę).
Dzisiaj w konfigu serwera uzupełnię wpisy domenowe, więc spodziewajcie się prośby w managerze o ponowne dołączenie komputera pod nowym adresem. Poczekam tylko na powrót 300 WU które obecnie się przeliczają.
Edit:
Zmiana zrobiona.
Na razie koniec eksperymentów, teraz pozwolę serwerowi na spokojne przeliczenie kilku-kilkunastu tysięcy WU i prześlę wyniki do analizy.
To pod jaki adres się podpiąć ?
Cytat: Krzysiak_PL_GDA w 11 Lipiec 2014, 12:17
To pod jaki adres się podpiąć ?
Manager podaje w wiadomościach ;)
http://universeathometest.info/universe/
U mnie słabo z buforem WU, pobiera się tylko jedna nowa sztuka co 3minuty. Czas liczenia ~25min/WU. Na ośmiu rdzeniach WU jest "na styk".
Liczę na E3-1240 v2, W7.
Wyłącz HT
i nie osiem rdzeni tylko 8 wątków na 4 rdzeniach :whistle:
Cytat: gregre w 11 Lipiec 2014, 13:48
U mnie słabo z buforem WU, pobiera się tylko jedna nowa sztuka co 3minuty. Czas liczenia ~25min/WU. Na ośmiu rdzeniach WU jest "na styk".
Liczę na E3-1240 v2, W7.
Rozpędzi się.
[smg id=10332 type=preview align=center caption="111"]
Taki przypadek właśnie mi się trafił
Zostaw na dłużej.
Bardzo możliwe, że symulator trafił na coś, co powinien dokładniej sprawdzić...
Dobra musiałem zatrzymać cały menadżer
Po anulowaniu wstrzymania próbka jak by się zrestartowała do 0% i przeliczyła się w normalnym czasie
Przydały by się jakieś w przyszłości optymalizację
i5-4670k 3,8GHz na sztywno
12 Jul 2014, 8:17:41 UTC 12 Jul 2014, 8:58:43 UTC Zakończone i zwalidowane 1,205.57 1,201.75 13.68 Universe_simulator v0.10
12 Jul 2014, 7:57:58 UTC 12 Jul 2014, 8:36:49 UTC Zakończone i zwalidowane 1,234.65 1,226.72 13.96 Universe_simulator v0.10
12 Jul 2014, 4:02:34 UTC 12 Jul 2014, 4:43:45 UTC Zakończone i zwalidowane 1,208.59 1,200.64 13.66 Universe_simulator v0.10
i7-950 oc 4,1GHz
11 Jul 2014, 14:14:22 UTC 11 Jul 2014, 14:52:02 UTC Zakończone i zwalidowane 1,224.72 1,222.21 14.74 Universe_simulator v0.10
11 Jul 2014, 13:27:41 UTC 11 Jul 2014, 14:32:32 UTC Zakończone i zwalidowane 1,260.46 1,237.51 15.24 Universe_simulator v0.10
11 Jul 2014, 13:27:41 UTC 11 Jul 2014, 14:14:22 UTC Zakończone i zwalidowane 1,233.42 1,226.40 14.82 Universe_simulator v0.10
X3360 2.83GHz
12 Jul 2014, 7:32:11 UTC 12 Jul 2014, 8:43:52 UTC Zakończone i zwalidowane 2,208.45 2,202.77 13.23 Universe_simulator v0.10
12 Jul 2014, 7:32:11 UTC 12 Jul 2014, 8:43:52 UTC Zakończone i zwalidowane 2,155.94 2,135.34 12.91 Universe_simulator v0.10
12 Jul 2014, 7:32:11 UTC 12 Jul 2014, 8:43:52 UTC Zakończone i zwalidowane 2,315.16 2,286.48 13.87 Universe_simulator v0.10
Tak dla ciekawości porównanie CPU z wykorzystaniem AVX i bez w Prime
i5-4670k 3,8GHz na sztywno z AVX
5 Jul 2014 | 7:23:36 UTC 5 Jul 2014 | 12:07:38 UTC Completed and validated 594.15 591.41 39.91 Sophie Germain (LLR) v6.24
4 Jul 2014 | 1:42:35 UTC 4 Jul 2014 | 4:03:38 UTC Completed and validated 620.09 616.52 39.91 Sophie Germain (LLR) v6.24
i7-950 oc 4,1GHz bez AVX
9 Jul 2014 | 15:29:06 UTC 11 Jul 2014 | 10:52:36 UTC Completed and validated 1,505.31 1,485.68 39.91 Sophie Germain (LLR) v6.24
9 Jul 2014 | 15:29:06 UTC 11 Jul 2014 | 10:52:36 UTC Completed and validated 1,454.61 1,428.74 39.91 Sophie Germain (LLR) v6.24
Tak dla porównania jakie przyspieszenie dają instrukcję AVX
Generalnie optymalizacje można wprowadzić tylko flagami kompilatora, samego kodu nie ruszam, bo się nie znam na nim (analiza by trochę trwała - to ponad 8k linii samych obliczeń).
Na dniach pokombinuję, na razie cały czas obserwuję stabilność na większej grupie kompów. W tej chwili nie wygląda to źle.
Natomiast przeprawa mnie czeka z punktacją, bo obecna nie zachwyca, więc chyba będę musiał przekompilować validator z małymi poprawkami. Myślę, że obecna punktacja, ale x1.5 była by bardziej trafna...
Punkty to sprawa wtórna, niby im więcej tym lepiej ale... jak porównać punktację z tego projektu z tą np. POEM gpu? Z drugiej strony ci co obecnie zaczną liczyć to za te same zadania dostaną więcej punktów niż pionierzy? ;) Ja bym ich nie ruszał, albo jeśli mnożyć x1,5 to wszystkie zadania - również dotychczasowe.
Natomiast najważniejsze w tej chwili to checkpointy a raczej ich brak.
Klienta gpu nie planujesz?
Ogólnie projekt OK :p_arr:
Z checkpointami sprawa jest bardzo skomplikowana i nie do końca leży w mojej gestii, ale przy czasie wykonywania w okolicach pół godziny raczej nie są sprawą życia i śmierci ;)
Co do GPU, to również mało realne z dwóch powodów:
1. Nigdy w życiu nie pisałem nic na GPU, więc musiałbym się tego nauczyć...
2. Kod programu jest pisany na przestrzeni kilkunastu lat i w związku z tym jest bardzo skomplikowany, więc przerzucenie tego na GPU jest bardzo trudne.
Cytat2. Kod programu jest pisany na przestrzeni kilkunastu lat
Taki stary :deadman: ten klient który boinc zaciągnął?
Cytat: necavi w 12 Lipiec 2014, 16:23
...ten klient który boinc zaciągnął?
?
Kod programu jest pisany od 2002 lub 2003 roku i ciągle zmieniany/rozbudowywany.
Próbki się skończyły ?
Na kilka godzin.
Popracowałem trochę nad walidatorem i zmieniłem punktację, niestety muszę poczekać aż wszystkie WU wrócą, żeby daemony odpalić w nowej konfiguracji. Powinno szybko pójść, bo tylko ok. 200 WU zostało.
Najpierw puszczę małą serię króciutkich WU testowo, a jak wszystko będzie grało, to dam serię na kilka dni.
Czy są jakieś różnice w szybkości przeliczania pomiędzy 32 a 64 bitami? Dopisuję się do listy oczekujących na nowe próbki. Krzychu, po prostu czapka z łba za twoją robotę. Mam nadzieję, że powstanie wreszcie polski projekt z uczelnianym zapleczem.
Cytat: Ufol w 12 Lipiec 2014, 19:52
Czy są jakieś różnice w szybkości przeliczania pomiędzy 32 a 64 bitami? Dopisuję się do listy oczekujących na nowe próbki. Krzychu, po prostu czapka z łba za twoją robotę. Mam nadzieję, że powstanie wreszcie polski projekt z uczelnianym zapleczem.
Ja takiej różnicy nie zauważyłem, aczkolwiek nie za bardzo mam jak precyzyjnie to sprawdzić (nie dysponuje takimi samymi kompami dla obu systemów).
Co do "uczelnianego" projektu - to właśnie powstał, więc nie musisz mieć nadziei :)
Start właściwego projektu Universe@Home, którego serwer testowy właśnie uruchomiłem, nastąpi za miesiąc lub dwa - to już zależy wyłącznie od opóźnień administracyjnych, bo projekt ma przyznaną kasę na działanie i sprzęt. Po prostu procedury muszą swoje trwać z powodu konieczności uzyskania masy autografów przy każdej wydanej złotówce (dlatego m.in. serwer testowy odpaliłem na swoim dedyku nie czekając na zakup takowego).
Próbek brak? :dunno:
Właśnie idzie malutka seria testowa, jak wróci i będzie ok, do dam dzisiaj większą serię.
Edit:
Niespodziewany prezent dla linuksowców (a raczej pech dla kompów na windzie).
Z nową serią zrobiłem m.in. punktacje za WU, a nie za czas - w celu swobodnej regulacji długości WU i promocji szybszych kompów.
Dodałem także trochę informacji do plików wynikowych (potrzebne do analizy).
Niestety, drobny błąd w aplikacji na windows spowodował nieuwzględnienie ilości symulacji, a więc czasu trwania próbki, przez co testowa seria się wykonywała tak samo długo jak poprzednio (zamiast ok. 1,5 minuty) i dostawała malutko punktów.
Obecnie już to poprawiłem i poza ok. 150WU całość idzie ok.
Co z próbkami ?
Jutro puszczę następną serię, muszę trochę popracować nad aplikacją, zamierzam dołożyć następne parametry symulacji. Niestety, aby to zrobić muszę najpierw skonsultować się kompetentną (w kwestiach naukowych) osobą, co zaplanowane jest właśnie na jutro.
Poza tym, musiałem wyłączyć aplikację 32bit dla Linuksa, z niezrozumiałych powodów zaczęła ostro sypać błędami.
1. Próbek zaczyna brakować
2. Czy projekt będzie widoczny w Boinc Stats ?
W statystykach już jest
http://stats.free-dc.org/stats.php?page=team&proj=unit&team=138
(http://stats.free-dc.org/projusertag.php?proj=unit&id=1980&theme=1)
Cytat: Krzysiak_PL_GDA w 23 Lipiec 2014, 09:55
1. Próbek zaczyna brakować
2. Czy projekt będzie widoczny w Boinc Stats ?
Próbki są ;)
Wysłałem maila do Willego 10 dni temu, na forum BS zgłosiłem projekt 11 dni temu...
Ok tylko mam dziwny objaw na swoich maszynach
Mam ustawiony zapas na 1 dzień a pobiera mi tylko np 6 próbek
następnie przelicza i komputer się nudzi 5-10 minut i znowu pobiera tylko 6 próbek
Dlatego denerwują mnie te przestoje :)
Winny temu jest krótki deadline, jaki ustawiłem dla WU...
A da się coś zrobić w tym temacie :)
Cytat: Krzysiak_PL_GDA w 23 Lipiec 2014, 21:02
A da się coś zrobić w tym temacie :)
No niestety, z mojej strony nie. To serwer testowy, więc w razie jakichś problemów z WU muszę szybko zwolnić kolejkę...
Pomóc może nadanie większego priorytetu dla projektu.
Ps. Po dwóch dniach mam ok. 50GB wyników w osobnej bazie danych, które już mogą służyć dalszej analizie przez ekipę naukową. A zaledwie ok. 300 komputerów to wygenerowało...
Bo moc jest tylko czasami zastosowania brak :shame:
Projekt jest już uwzględniany w statystykach BoincStats :)
Cytat: krzyszp w 24 Lipiec 2014, 13:14
Projekt jest już uwzględniany w statystykach BoincStats :)
:p_arr:
Niestety, ale na gadżecie z http://boinc.mundayweb.com (http://boinc.mundayweb.com) go brak :dunno: Potrafi ich ktoś poinformować? Inne projekty dodali.
:boing:
Sucho trochę ;)
Cytat: Krzysiak_PL_GDA w 29 Lipiec 2014, 07:51
Sucho trochę ;)
Ja widzę 12k próbek czekających na wysłanie...
Ciągle mam problem z buforem próbek jak pisałem kilka postów wyżej i przestojami do 5 minut
Cytat: Krzysiak_PL_GDA w 29 Lipiec 2014, 13:39
Ciągle mam problem z buforem próbek jak pisałem kilka postów wyżej i przestojami do 5 minut
Zmieniłem max_wus_in_progress z 2 na 4 (na rdzeń), może to pomoże.
Dalej to samo jak by nie było próbek :(
Projekt zrestartowałem
a mi pomogło
Cytat: Krzysiak_PL_GDA w 29 Lipiec 2014, 18:14
Dalej to samo jak by nie było próbek :(
Projekt zrestartowałem
Restartować nie ma potrzeby, ale możesz powiedzieć, na jaki czas masz ustawiony zapas WU oraz jak wysoko pod względem innych projektów na tym kompie masz ustawione priorytety? Może po prostu nie dobiera WU, bo "nisko wisi"?
Chyba, że to jedyny projekt - w takim przypadku manipulacja zapasem powinna pomóc (projekt ma deadline na 48 godzin ustawiony i tak niestety musi pozostać).
Project mam ustawiony jako jedyny
Zapas na 24 godziny
2014-07-29 19:07:15 | Universe@Home | update requested by user
2014-07-29 19:07:18 | Universe@Home | Sending scheduler request: Requested by user.
2014-07-29 19:07:18 | Universe@Home | Requesting new tasks for CPU
2014-07-29 19:07:21 | Universe@Home | Scheduler request completed: got 0 new tasks
2014-07-29 19:07:21 | Universe@Home | Not sending work - last request too recent: 43 sec
Cytat: Krzysiak_PL_GDA w 29 Lipiec 2014, 19:09
Project mam ustawiony jako jedyny
Zapas na 24 godziny
2014-07-29 19:07:15 | Universe@Home | update requested by user
2014-07-29 19:07:18 | Universe@Home | Sending scheduler request: Requested by user.
2014-07-29 19:07:18 | Universe@Home | Requesting new tasks for CPU
2014-07-29 19:07:21 | Universe@Home | Scheduler request completed: got 0 new tasks
2014-07-29 19:07:21 | Universe@Home | Not sending work - last request too recent: 43 sec
Akurat w tym przypadku, za szybko dałeś "update" - projekt ma ustawione kilka minut oczekiwania pomiędzy kolejnymi próbami kontaktu...
Niemniej, ustaw na 48h i zobaczymy, jak to nie pomoże, to 7 dni, a jak i to nie pomoże, to poszukamy głębiej...
kiedy przewidywane przejście z serwera testowego na ten już "prawdziwy"? Pytam, bo wtedy pewnie wydłuży się deadline i (mam nadzieję) WU przestaną u mnie łapać od razu wysoki priorytet, co jest bardzo wkurzające - bez częstych ręcznych ingerencji nie da się liczyć kilku projektów na raz :bad:
Cytat: sknd w 29 Lipiec 2014, 20:00
kiedy przewidywane przejście z serwera testowego na ten już "prawdziwy"? Pytam, bo wtedy pewnie wydłuży się deadline i (mam nadzieję) WU przestaną u mnie łapać od razu wysoki priorytet, co jest bardzo wkurzające - bez częstych ręcznych ingerencji nie da się liczyć kilku projektów na raz :bad:
To nie będzie przejście, obydwa będą funkcjonować równolegle, tylko na testowym będzie mniej WU i będzie on służył do testowania apek, ustawień, skryptów. Projekt ma w zamierzeniach dość mocno ewoluować.
Co do deadline, to jest to (w tej chwili) konieczne, bo w razie wykrycia błędu nie mogę czekać tygodnia/dwóch na przyjście zaległych/skasowanych WU...
Nie pomaga obniżenie priorytetu? Manager powinien wtedy mniej ich pobierać lub robić przerwy pomiędzy WU na inne projekty.
Zresztą, zobacze jeszcze jak obecna seria zejdzie, jeżeli poziom błędów będzie tak niski, jak dotąd (na poziomie 0.0X Windows, 0.00X Linuks), to może faktycznie trochę wydłużę deadline do 3-4 dni.
Generalnie, czeka mnie jeszcze jedna, dość duża zmiana w aplikacji, a następnie podejście do checkpointów (czego nie obiecuję ze względu na skomplikowanie app) i dopiero wtedy będziemy robić przymiarki do serwera produkcyjnego.
Sprawa produkcji, to też kwestia czasu, kiedy będzie rozstrzygnięty przetarg na serwer, a ma to nastąpić w sierpniu, o ile oczywiście nikt go nie oprotestuje lub coś podobnego nie nastąpi...
dzięki, zapomniałem w ogóle o istnieniu opcji przydziału zasobów, zmniejszyłem z 100 na 25%, zobaczymy co będzie, na razie zagarnął wszystkie wątki ;)
Teraz mam jeszcze ciekawiej ;D
Mimo udostępnienia 4 jajek w użyciu są tylko 2-3 ?
Wróciło do normy - próbek brak
Ustawiłem tak
Minimalny zapas zadań 2 dni
Maksymalny zapas zadań 7 dni
Czas przeliczenia 1 próbki na 4790K 4,4Ghz to około 10 minut
U mnie podobnie -bufory na dwa dni, zasoby na 100% i jak pobierze to max 3 zadania...
30/07/2014 02:38:24 | | Starting BOINC client version 7.4.9 for windows_x86_64
30/07/2014 02:43:33 | Universe@Home | update requested by user
30/07/2014 02:43:33 | | [work_fetch] Request work fetch: project updated by user
30/07/2014 02:43:38 | Universe@Home | sched RPC pending: Requested by user
30/07/2014 02:43:38 | Universe@Home | [work_fetch] set_request() for CPU: ninst 31 nused_total 1.00 nidle_now 0.00 fetch share 1.00 req_inst 30.00 req_secs 10246154.17
30/07/2014 02:43:38 | Universe@Home | [sched_op] Starting scheduler request
30/07/2014 02:43:38 | Universe@Home | [work_fetch] request: CPU (10246154.17 sec, 30.00 inst) NVIDIA GPU (0.00 sec, 0.00 inst)
30/07/2014 02:43:38 | Universe@Home | Sending scheduler request: Requested by user.
30/07/2014 02:43:38 | Universe@Home | Requesting new tasks for CPU
30/07/2014 02:43:38 | Universe@Home | [sched_op] CPU work request: 10246154.17 seconds; 30.00 devices
30/07/2014 02:43:38 | Universe@Home | [sched_op] NVIDIA GPU work request: 0.00 seconds; 0.00 devices
30/07/2014 02:43:40 | Universe@Home | Scheduler request completed: got 0 new tasks
30/07/2014 02:43:40 | Universe@Home | [sched_op] Server version 705
30/07/2014 02:43:40 | Universe@Home | No tasks sent
30/07/2014 02:43:40 | Universe@Home | Project requested delay of 182 seconds
30/07/2014 02:43:40 | Universe@Home | [sched_op] Deferring communication for 00:03:01
30/07/2014 02:43:40 | Universe@Home | [sched_op] Reason: requested by project
30/07/2014 02:43:40 | | [work_fetch] Request work fetch: RPC complete
30/07/2014 03:01:17 | Universe@Home | [work_fetch] set_request() for CPU: ninst 31 nused_total 1.00 nidle_now 0.00 fetch share 1.00 req_inst 30.00 req_secs 23676870.41
30/07/2014 03:01:17 | Universe@Home | [sched_op] Starting scheduler request
30/07/2014 03:01:17 | Universe@Home | [work_fetch] request: CPU (23676870.41 sec, 30.00 inst) NVIDIA GPU (0.00 sec, 0.00 inst)
30/07/2014 03:01:17 | Universe@Home | Sending scheduler request: To fetch work.
30/07/2014 03:01:17 | Universe@Home | Requesting new tasks for CPU
30/07/2014 03:01:17 | Universe@Home | [sched_op] CPU work request: 23676870.41 seconds; 30.00 devices
30/07/2014 03:01:17 | Universe@Home | [sched_op] NVIDIA GPU work request: 0.00 seconds; 0.00 devices
30/07/2014 03:01:19 | Universe@Home | Scheduler request completed: got 0 new tasks
30/07/2014 03:01:19 | Universe@Home | [sched_op] Server version 705
30/07/2014 03:01:19 | Universe@Home | No tasks sent
30/07/2014 03:01:19 | Universe@Home | Project requested delay of 182 seconds
30/07/2014 03:01:19 | Universe@Home | [work_fetch] backing off CPU 1556 sec
30/07/2014 03:01:19 | Universe@Home | [sched_op] Deferring communication for 00:03:01
30/07/2014 03:01:19 | Universe@Home | [sched_op] Reason: requested by project
Nawet jak nie liczę innych projektów CPU, to serwer rzuca jakieś ochłapy a "zadań do wysłania" jest ponad 50k :wacko:
To znaczy że nie jestem sam ze swoim problemem :)
Czy wiadomo ile czasu będzie trwało przeliczenie całego projektu? Czy jest przewidziany jakiś koniec?
Ad.1 W *uj długo...
Ad.2 Jak się skończy dofinansowanie + pół roku od tego momentu ;)
Cytat: Szopler w 30 Lipiec 2014, 23:10
Ad.1 W *uj długo...
Ad.2 Jak się skończy dofinansowanie + pół roku od tego momentu ;)
Szopler, ciekawa odpowiedź :)
Roboty to jest spokojnie na 10 lat całego BOINC, więc WU raczej prędko się nie skończą.
Natomiast obecnie grant jest przydzielony na 3 lata (liczone od momentu startu serwera produkcyjnego), ale zawsze istnieje szansa, że zostanie przedłużony. Natomiast IMHO dla potomności zostanie baza danych wykonanych analiz - a będzie potężna, na tę chwilę mam już 175GB wyników symulacji po kilku dniach...
Nie to żebym był upierdliwy
2014-07-31 09:47:16 | Universe@Home | Requesting new tasks for CPU
2014-07-31 09:47:19 | Universe@Home | Scheduler request completed: got 0 new tasks
2014-07-31 09:47:19 | Universe@Home | No tasks sent
2014-07-31 09:58:10 | Universe@Home | update requested by user
2014-07-31 09:58:14 | Universe@Home | Sending scheduler request: Requested by user.
2014-07-31 09:58:14 | Universe@Home | Requesting new tasks for CPU
2014-07-31 09:58:17 | Universe@Home | Scheduler request completed: got 0 new tasks
2014-07-31 09:58:17 | Universe@Home | No tasks sent
i tak na 3 maszynach :wth:
Przy CPU 4 jajkowych mam wrażenie że serwer nie nadąży z wysyłaniem próbek
Może trzeba zwiększyć czas żywotności próbki ?
U mnie też tak było, więc ustawiłem:
1. Blokada jeszcze nie rozpoczętych Wu z innych projektów.
2. Ustawienie Minimalny zapas danych na 1 dzień i dodatkowy na 0,25 dnia.
Ja już wywaliłem z menadżera pozostałe projekty i po ustawiałem zapas danych jak kilka postó wyżej i jak pobierze 4 próbki (najczęściej 3 ) to mogę czuć przez chwilę zadowolenie !!!
Powoli zwiększam czas próbek.
Obecnie jest ok 50k WU, z czego 10k jest dłuższe o 50%, następna seria znowu będzie wydłużona o 50%. To powinno zakończyć te problemy.
I chyba wydłużenie czasu zmieniło buforowanie na lepsze :whistle:
bo dla 4 jajek - 8 próbek wisi w zapasie i zaraz uzupełniają się następne :)
Każde WU ma 1100 kB, a liczone jest z 10-15 minut, to mając kilkanaście/kilkadziesiąt rdzeni można nieźle zapchać sieć.
Na ilość danych nic na razie nie poradzę (ale może za jakiś czas dorobię pakowanie ich przed wysyłką), natomiast wydłużenie czasu pracy spowoduje też analogicznie wzrost wielkości plików wynikowych - po prostu czas przetwarzania i wielkość plików wynikowych jest wprost proporcjonalny do ilości symulacji podawanej do WU. Wcześniej to było 2000 na próbkę, teraz ustawiłem 3000.
Zmieniłem też z 3 do 2 minut czas, jaki musi upłynąć pomiędzy dostawą nowych WU dla klienta - to też powinno pomóc.
Edit:
Jednak zajmę się pakowaniem plików wynikowych, bo faktycznie można łącza pozapychać. Musi tylko zejść obecna partia WU
:respect: jestem pełen szacunku dla twej pracy....
Z tego co jest na stronie to wynika, że aplikacja do Linuxa jest 64-bit , a Win 32-bit?
Jaka jest różnica w wydajności?
Cytat: Dario666 w 01 Sierpień 2014, 08:59
Z tego co jest na stronie to wynika, że aplikacja do Linuxa jest 64-bit , a Win 32-bit?
Jaka jest różnica w wydajności?
O dziwo, aplikacja na Windows zdaje się odrobinę szybsza...
A łyżka mówi "niemożliwe" XD
No w końcu próbki płyną pełnym strumieniem :p_arr:
mam nadzieję, że w związku z wydłużeniem WU jednak te checkpointy się pojawią - teraz liczę WU trwające około godziny, a chyba mają być jeszcze dłuższe...
Cytat: sknd w 03 Sierpień 2014, 11:23
mam nadzieję, że w związku z wydłużeniem WU jednak te checkpointy się pojawią - teraz liczę WU trwające około godziny, a chyba mają być jeszcze dłuższe...
To już docelowa prędkość.
Dłuższe będą tylko w przypadku pojawienia się checkpointów :)
Ilość przetworzonych danych mocno wzrosła ?
Cytat: Krzysiak_PL_GDA w 03 Sierpień 2014, 13:16
Ilość przetworzonych danych mocno wzrosła ?
Zdecydowanie.
Obecnie baza danych wyników to prawie 230GB (ponad 367kk rekordów z danymi).
W dodatku, wydłużenie próbek było konieczne ze względu na ruch na serwerze, podobnie wielkość plików wynikowych wymusiła zastosowanie kompresji przesyłanych danych.
Nie jestem pewien czy dalsze wydłużanie WU ma sens, ludzie wolą małe próbki. Dlatego PG dodatkowo premiuje dłuższe próbki... Lepszym sposobem przyciągania są: stała dostępność zadań, stabilność liczenia oraz stabilność serwera ;)
Cytat: pawg w 05 Sierpień 2014, 22:14
...Lepszym sposobem przyciągania są: stała dostępność zadań, stabilność liczenia oraz stabilność serwera ;)
No i tu niestety mamy problem...
Będę musiał trochę zmniejszyć ilość WU - ten serwer (dedyk na i7) nie daje rady zaimportować do bazy danych wszystkich próbek już przy ok 1k aktywnych hostów - danych jest po prostu za dużo (nawet 2.5MB czystych danych na WU!). W efekcie, dwa razy w ciągu ostatnich 24h padł serwer baz danych...
Do czasu, aż nie wymyślę, jak zoptymalizować ten proces, będę musiał niestety zmniejszyć ilość dostępnych próbek...
Może by się zastanowić czy te wszystkie dane są potrzebne. Baza będzie miała 20 TB i jaki sprzet to wszystko przetworzy?
Cytat: Dario666 w 05 Sierpień 2014, 23:10
Może by się zastanowić czy te wszystkie dane są potrzebne. Baza będzie miała 20 TB i jaki sprzet to wszystko przetworzy?
Właśnie kłopot w tym, że nie mogę decydować, co jest istotne. Mało tego - dziś mało ważne dane mogą się stać istotne, jak ich się więcej zgromadzi...
Słowem, nie kasuję niczego, czekam, aż mądrzejsi się wypowiedzą.
Chciałem zapytać o PM, ale widać że system nie wytrzyma takiej ilości danych
W tej chwili to pewnie byśmy serwer w godzinę zabili ;)
Cały czas kombinuję, jak zoptymalizować import danych do bazy, ale pewnych rzeczy po prostu nie przeskoczę - po prostu tych danych jest dużo.
może archiwizacja na płytach DVD?
ogranieczenie wysyłanych danych do hosta 3WU na dobe i ni hu hu więcej. pozwoli to większej ilości osób uczestniczyć w projekcie.
Na tę chwilę zaprzestałem eksportu do DB wyników, ale cały czas lecą skompresowane do archiwum. Obciążenie serwera (load) z 20-26 spadło do 1...
Załadowanie danych wynikowych do DB odsuwam do czasu uzyskania maszyny do tego dedykowanej, co niedługo powinno nastąpić. Oczywiście dotychczasowe prawie 500GB w bazie cały czas zachowuję.
ograniczenie wysyłanych danych do hosta 3WU na dobe i ni hu hu więcej. pozwoli to większej ilości osób uczestniczyć w projekcie.
ale to spowolni postęp projektu i przepadnie grant
a masz inny pomysł? Moje rozwiązanie pozwoli wykorzystać 100% mocy projektu przy zachowaniu możliwości udziału jak największej ilości ludzi.....
pogonić ludzi z UW by utworzyli gigantyczny serwer - bazę danych do której będą na bieżąco przesyłane gotowe dane
Cytat: pawg w 06 Sierpień 2014, 17:53
pogonić ludzi z UW by utworzyli gigantyczny serwer - bazę danych do której będą na bieżąco przesyłane gotowe dane
Tu nie ma kogo gonić, po prostu młyny urzędnicze swoje muszą przemielić...
Przetarg ma się rozstrzygnąć w tym miesiącu, więc maszyna odpowiednia powinna się wkrótce znaleźć.
daj znać kiedy będzie można ruszyć pełną parą ;)
W tej chwili ponad 1k komputerów nie "zabija" już serwera...
Nie sądzę, aby szybko pękła granica 2k maszyn...
To jak dlugo projekt dziala i jaki rozmiar bazy juz wygenerowal?
Miesiąc i o ile dobrze rozumie 500GB naszych wypocin.
No to liczmy ze jak sie projekt rozbuja bedzie tego 4-5 razy wiecej na miesiac. Nie bardzo wyobrazam sobie jak ma potem wygladac praca na takiej bazie danych.
Cytat: kva.pl w 07 Sierpień 2014, 23:38
No to liczmy ze jak sie projekt rozbuja bedzie tego 4-5 razy wiecej na miesiac. Nie bardzo wyobrazam sobie jak ma potem wygladac praca na takiej bazie danych.
Ja licze, że będzie tego 10 razy więcej...
Po pierwsze, serwer będzie dość mocny, dlatego jest kupowany w przetargu, a nie "w sklepie". Po drugie, te 500GB to są surowe dane - one będą filtrowane, aby usunąć wszystkie powtarzające się wyniki, których będzie całkiem sporo (zdecydowana większość). Efektem działania projektu będzie (spory) zbiór danych, ale jeszcze w wielkości "strawnej" do sprawnej obróbki.
Ma ktoś może ochotę popracować nad badge (obrazkami) dla Universe@Home testowego?
Na docelowym ma podobno grafik pracować, ale można by coś w testowym w międzyczasie zrobić...
Może jakieś ikonki planet/mgławic/gwiazd?
Mam pomysł :D Obiekty z katalogu Messiera
http://scienceblogs.com/startswithabang/files/2012/11/Messier_Objects_1680.jpeg
tylko ktoś musiałby to obrobić :d
Cytat: Troll81 w 11 Sierpień 2014, 20:05
Mam pomysł :D Obiekty z katalogu Messiera
http://scienceblogs.com/startswithabang/files/2012/11/Messier_Objects_1680.jpeg
tylko ktoś musiałby to obrobić :d
Oj, chciałbym, zwłaszcza po lekturze "Messier 13" - ktoś czytał?
krzyszp "Dłuższe będą tylko w przypadku pojawienia się checkpointów"
Próbki, które ostatnio otrzymuję wydłużyły się z 30 min do 60, a checkpointów jak nie było, tak nie ma :-[
Cytat: necavi w 11 Sierpień 2014, 21:27
krzyszp "Dłuższe będą tylko w przypadku pojawienia się checkpointów"
Próbki, które ostatnio otrzymuję wydłużyły się z 30 min do 60, a checkpointów jak nie było, tak nie ma :-[
Bo to efekt buga w aplikacji win, która kończyła obliczenia po wykonaniu 50% zadania :)
Tłumaczyłem to na forum projektu ;)
lista obiektów nadających się na badge
http://en.wikipedia.org/wiki/Messier_1
http://en.wikipedia.org/wiki/Messier_8
http://en.wikipedia.org/wiki/Messier_16
http://en.wikipedia.org/wiki/Messier_17
http://en.wikipedia.org/wiki/Messier_20
http://en.wikipedia.org/wiki/Messier_27
http://en.wikipedia.org/wiki/Messier_31
http://en.wikipedia.org/wiki/Messier_33
http://en.wikipedia.org/wiki/Messier_42
http://en.wikipedia.org/wiki/Messier_45
http://en.wikipedia.org/wiki/Messier_51
http://en.wikipedia.org/wiki/Messier_57
http://en.wikipedia.org/wiki/Messier_58
http://en.wikipedia.org/wiki/Messier_61
http://en.wikipedia.org/wiki/Messier_63
http://en.wikipedia.org/wiki/Messier_64
http://en.wikipedia.org/wiki/Messier_65
http://en.wikipedia.org/wiki/Messier_66
http://en.wikipedia.org/wiki/Messier_74
http://en.wikipedia.org/wiki/Messier_77
http://en.wikipedia.org/wiki/Messier_78
http://en.wikipedia.org/wiki/Messier_81
http://en.wikipedia.org/wiki/Messier_82
http://en.wikipedia.org/wiki/Messier_83
http://en.wikipedia.org/wiki/Messier_84
http://en.wikipedia.org/wiki/Messier_88
http://en.wikipedia.org/wiki/Messier_94
http://en.wikipedia.org/wiki/Messier_95
http://en.wikipedia.org/wiki/Messier_96
http://en.wikipedia.org/wiki/Messier_97
http://en.wikipedia.org/wiki/Messier_98
http://en.wikipedia.org/wiki/Messier_99
http://en.wikipedia.org/wiki/Messier_100
http://en.wikipedia.org/wiki/Messier_101
http://en.wikipedia.org/wiki/Messier_104
http://en.wikipedia.org/wiki/Messier_106
proponuje urządzić głosowanie na stronie projektu. Te które dostaną najwięcej głosów staną się badgami. Bonusem wiki jest licencja tych zdjeć :D
Może by tak jeszcze FavIcon wrzucić na stronę projektu.
PS: A tak poza tym, to co się dzieje z OProject?
Cytat: Dario666 w 13 Sierpień 2014, 08:31
PS: A tak poza tym, to co się dzieje z OProject?
Się przenosi na inny serwer.
Cytat: Troll81 w 12 Sierpień 2014, 17:20
proponuje urządzić głosowanie na stronie projektu. Te które dostaną najwięcej głosów staną się badgami. Bonusem wiki jest licencja tych zdjeć :D
Gdyby jeszcze mechanizm forum serwera miał jakieś opcje ankiety...
Panowie, jak macie jakieś milestony do zrobienia, to proponuję zacząć, bo będzie jeszcze ok 300k WU, a potem chwila przerwy (zmiany w kodzie app).
Jak zapewne zauważyliście projekt już zadań nie rozsyła. Pewnie te 300k WU się skończyło. Mam nadzieję, że te "zmiany w kodzie app" dotyczą (między innymi) checkpointów. Przesiadka na nowy serwer też trwa? Kiedy startujemy ponownie?
Cytat: necavi w 10 Wrzesień 2014, 19:17
Jak zapewne zauważyliście projekt już zadań nie rozsyła. Pewnie te 300k WU się skończyło. Mam nadzieję, że te "zmiany w kodzie app" dotyczą (między innymi) checkpointów. Przesiadka na nowy serwer też trwa? Kiedy startujemy ponownie?
Tak, seria 300k WU już zeszła. Muszę poczekać, aż wszystkie wrócą, żeby wypuścić następną kolejkę, najpierw drobne ilości testowych WU (żeby sprawdzić, czy wszystko jest ok), a potem pójdzie 999'999 nowych WU, ze zmienionymi parametrami startowymi symulacji (oczywiście w mniejszych seriach, pewnie po 100-200k).
Checkpointów na razie nie będzie, do tego potrzebuje wsparcia merytorycznego, którego niestety jeszcze nie mam (nie wiem po prostu, które dane muszą być w checkpointach, żeby nie zepsuć symulacji).
Co do właściwego serwera, to wciąż czekam na efekty przetargu na sprzęt, nie mam na razie żadnych informacji, pewnie dowiem się po prostu jak już będzie.
Polska... "nie dziwi nic" :whistle:
W statystykach jeszcze nie widac, ale projekt juz sie liczy i ladnie punktuje :)
No i jak tam serwery U@h się trzymają?
Cytat: Dario666 w 20 Październik 2014, 20:00
No i jak tam serwery U@h się trzymają?
Testowy, który chodzi na moim dedyku nie raportują żadnych problemów, PM go nie zabił :)
Co do produkcyjnych - nadal na nie czekam... Niestety, państwowe pieniądze mają bardzo długą wędrówkę od pomysłu, poprzez przyznanie, aż do... wydania.
W każdej chwili oczekuję na namiary na nie i jak tylko coś będzie, to się pochwalę.
Dobra wiadomość jest taka, że skoro już jakiś czas temu testy wykazały, że zarówno app jak i serwer są stabilne, to wszystkie dane i wyniki są już wykorzystywane przez ludzi z UW do ich badań.
Można byłoby spróbować jeszcze dodać "Workunit-Batch Monitor" podobny do tego z SIMAPu by widzieć postęp pracy...
Cytat: pawg w 21 Październik 2014, 18:03
Można byłoby spróbować jeszcze dodać "Workunit-Batch Monitor" podobny do tego z SIMAPu by widzieć postęp pracy...
W zasadzie dobry pomysł, ale to będzie dopiero na produkcyjnym, nie chcę dwa razy tej samej roboty robić.
Czy po miesiącu jest jakiś postęp w temacie "checkpoint'ów"? Dla mnie ich brak to pewne utrudnienie...
Cytat: LQG w 21 Październik 2014, 18:47
Czy po miesiącu jest jakiś postęp w temacie "checkpoint'ów"? Dla mnie ich brak to pewne utrudnienie...
Nie i niestety na razie nic nie mogę z tym zrobić (poza utrzymaniem próbek krótkimi).
W ogóle sprawa jest tyle bardziej skomplikowana, że już na serwerze produkcyjnym aplikacja będzie się często zmieniać, co oznacza, że checkpointy za każdym razem by musiały być tworzone na nowo, testowane, itd... Więc właściwie nie ma co na to liczyć.
Używaj hibernacji, a nie wyłączenia kompa, to próbki nie będa liczyć od nowa.
Cytat: Dario666 w 21 Październik 2014, 19:57
Używaj hibernacji, a nie wyłączenia kompa, to próbki nie będa liczyć od nowa.
Raczej trudno używać zahibernowanego lub uśpionego kompa :) Piszę o działaniu z ustawieniem "Przetwarzanie dozwolone gdy komputer jest w użyciu" na NIE co powoduje przeliczanie próbek od nowa. Zgodnie podstawową ideą BOINC'a ;)
Można ustawić pozostawianie WU w pamięci na czas przerw, też powinno pomóc (Universe nie zabiera za dużo RAM).
Jeszcze dzisiaj najprawdopodobniej będą testy nowej aplikacji (pewnie kilkaset WU). Aplikacja ta będzie podstawą publikacji naukowej, która ma się ukazać wkrótce.
Od poniedziałku ruszy pełna parą nowa seria miliona zadań oraz kończyć będziemy bieżącą.
Ps. Czy czasami wątek nie powinien trafić do odpowiedniego działu?
Cytat: krzyszp w 21 Październik 2014, 20:37
Można ustawić pozostawianie WU w pamięci na czas przerw, też powinno pomóc (Universe nie zabiera za dużo RAM).
Potwierdzam rozwiązanie, zostawienie zadań w pamięci na czas przerwy nie powoduje przeliczania od początku.
Cytat: LQG w 24 Październik 2014, 15:20
Cytat: krzyszp w 21 Październik 2014, 20:37
Można ustawić pozostawianie WU w pamięci na czas przerw, też powinno pomóc (Universe nie zabiera za dużo RAM).
Potwierdzam rozwiązanie, zostawienie zadań w pamięci na czas przerwy nie powoduje przeliczania od początku.
Zresztą całość rozwiązań chyba przestanie być potrzebna ponieważ... będą jednak checkpointy wkrótce :)
To dobra wieść :boing:
przesunięty. Mam nadzieje że dobrze :D
Cytat: Troll81 w 24 Październik 2014, 19:48
przesunięty. Mam nadzieje że dobrze :D
Myślę, że tak ;)
Zaczynamy testy drugiej apki, co prawda generator zadań mi się trochę stawia, ale coś zaczyna działać ;)
Jest jakiś problem z "feeder'em" ponieważ nie odbiera kilkaset przeliczonych zadań. Chociaż status jego to "running"???
Universe@Home 2014-10-25 09:39:10 [error] Can't parse file info in scheduler reply: unexpected XML tag or syntax
Universe@Home 2014-10-25 09:39:10 [error] No close tag in scheduler reply
Restartowałem projekt wczoraj na jednej maszynie bo nie pobierała nowych zadań ale nic nie pomogło...
Niestety pomaga jedynie odłączenie i ponowne przyłączenie do projektu... ale co w takim razie z kilkuset przeliczonymi WU????
Pobrał 1 WU i dalej takie same błędy j.w. :(
No niestety, dodanie drugiej apki spowodowało problemy :/
Walczę, powinienem w czasie dnia naprawić.
Cytat: krzyszp w 25 Październik 2014, 10:59
No niestety, dodanie drugiej apki spowodowało problemy :/
Walczę, powinienem w czasie dnia naprawić.
Widać że kamrat powalczył bo działa ;) Dzięki!
OOOO, jakieś nowe zadania z Universe2 się pojawiły
EDIT: Te nowe zadania mordują mi upstream, wysyłają pakiety po około 10 MB każdy.
EDIT2: Nie widać nowych zadań w WUProp@Home
Tak, obecnie zaczyna się powoli nowy etap symulacji za pomocą nowej aplikacji "universe2".
Właśnie się okazało, że ~100MB plik (jeden z kilku) w zasadzie nie jest potrzebny, więc wyłączyłem jego upload, istotny jest inny plik, który ma rozsądne rozmiary.
W przeciągu 1-2 dni zakończą się testy i poleci spora seria tych zadań.
Czy te zadania będą/są zaliczane do Universal@home w WUProp, bo nowej pozycji nie widać?
Cytat: Dario666 w 29 Październik 2014, 12:45
Czy te zadania będą/są zaliczane do Universal@home w WUProp, bo nowej pozycji nie widać?
Będą, wuprop ma czasami trochę opóźnienia, ale on automatycznie wyłapuje nowe apki.
Druga aplikacja, universe2, działa już w pełni poprawnie.
Na stronie projektu pojawiła się również informacja o tym, co jest aktualnie liczone. Ilość WU na tę chwilę oscyluje około miliona, drugi milion przygotowany w razie potrzeby. Po ukończeniu tych zadań będzie następna aplikacja uwzględniająca dane aktualnie przerabiane.
Tak obecnie wygląda proces badawczy, kolejne symulacje służą do udoskonalania kolejnych wersji aplikacji aby jeszcze dokładniej odzwierciedlała procesy zachodzące w kosmosie :)
Dodatkowo, dostałem informację, że efekty obliczeń universe2 będą służyły w publikacji naukowej, w której znajdzie się również informacja o naszej społeczności i przetwarzaniu rozproszonym jako znacznej pomocy naukowej :)
:boing:
krzyszp - czy jest szansa, że obliczenia projektu skończą się zanim zostanie dostarczony serwer z przetargu ? %)
bo widzę, że ciśniecie aż miło :parrrty:
Ciśniemy jak się da, ale obliczenia są na parę lat przewidziane, więc raczej sprzęt powinien dotrzeć, choćby pod koniec ;)
No, to ktoś nam zafundował niespodziankę:
http://boincstats.com/en/stats/challenge/team/chat/605CytatName
Test the new project
Status
Upcoming
Project
Universe@Home
Issued by
Astronomy.Ru Forum
Start time
2014-11-29 06:00 UTC
End time
2014-12-04 06:00 UTC
Late entrants allowed?
Yes
Może ktoś zgłosić nasz team?
hehe :D
CytatThe founder of a team can enter a team into a challenge.
The team founder (here on BOINCstats) is the person who is founder of the team in most projects. To check who is the team founder, find your team on the profile pages and go to the profile. The founder is listed on the team profile page.
The team founder has a extra section in his BAM! menu (Team founder) and in that section he will find the Challenges. Once there everything is self explanatory.
The team founder is assigned by an automated process, he can't be set manually! If your team has a separate admin account then create a BAM! account for this admin as you would for a normal user (so same email and password). Include all projects but do not attach hosts to it or use any of the managing functions other than the team functions. It will not link to any stats, only to the team it is a member of and it will show as founder, so your team can participate in challenges.
Gathering/updating user information including founder status is done once a week during the night from Saturday to Sunday! Once a week because it's stressing the project servers.
Al?
Haha... wyścikk!
Kurcze, PM to jedno, ale połączone siły tych teamów jak wpadną:
SETI.Germany
L'Alliance Francophone
UK BOINC Team
BOINC@Poland
The Scottish Boinc Team
To jeszcze mi pozamiatają serwer... A jeszcze pewnie Seti.USA się podłączy...
Niemniej, jedno jest pewne, jak serwer się utrzyma, to mi mówcie "miszczu" (ew. "debeściak") XD
Cytat: Troll81 w 19 Listopad 2014, 23:06
hehe :D
CytatThe founder of a team can enter a team into a challenge.
The team founder (here on BOINCstats) is the person who is founder of the team in most projects. To check who is the team founder, find your team on the profile pages and go to the profile. The founder is listed on the team profile page.
The team founder has a extra section in his BAM! menu (Team founder) and in that section he will find the Challenges. Once there everything is self explanatory.
The team founder is assigned by an automated process, he can't be set manually! If your team has a separate admin account then create a BAM! account for this admin as you would for a normal user (so same email and password). Include all projects but do not attach hosts to it or use any of the managing functions other than the team functions. It will not link to any stats, only to the team it is a member of and it will show as founder, so your team can participate in challenges.
Gathering/updating user information including founder status is done once a week during the night from Saturday to Sunday! Once a week because it's stressing the project servers.
Al?
A to nie jest tak, że w bs jesteśmy z automatu dopisywani? Bo z tego co w opcjach widzę - to mogę jedynie zrezygnować z udziału.
Cytat: krzyszp w 19 Listopad 2014, 23:24
Kurcze, PM to jedno, ale połączone siły tych teamów jak wpadną:
SETI.Germany
L'Alliance Francophone
UK BOINC Team
BOINC@Poland
The Scottish Boinc Team
To jeszcze mi pozamiatają serwer... A jeszcze pewnie Seti.USA się podłączy...
Niemniej, jedno jest pewne, jak serwer się utrzyma, to mi mówcie "miszczu" (ew. "debeściak") XD
Dorzuć jeszcze Astronomy.ru jako wyzywających, jest tam kilku miśków z mocą (pewnie podpięci bezpośrednio do reaktorów :) ). Niech koledzy naukowcy podstawiają SANy na wyniki ;)
To taki test możliwości polskich serwisów w kontekście ostatnich poczynań w PKW :D
Cytat: Cyfron w 20 Listopad 2014, 14:20
To taki test możliwości polskich serwisów w kontekście ostatnich poczynań w PKW :D
No ja sobie wypraszam, po przeanalizowaniu powszechnie dostępnych w necie informacji wnioskuję, że serwer Universe bije PKW na głowę wytrzymałością, a taka Enigma przebija sufit wymagań... Nawet Radioaktywny chyba wciąga nosem serwery PKW...
Bierzemy z automatu udział we wszystkich wyścigach na Boinc Statsie, więc pozostaje nam się maksymalnie zmobilizować. Głupio by było, gdyby nadmuchali nam w kaszę, na naszym podwórku. Czy ktoś mógłby przerzucić tego pdfa, w wersję czytelną? Mówiąc po ludzku wkleić to trzeba na wiki, bo Universe nie figuruje na liście projektów. Należy czym prędzej nadrobić tą zaległość.
Dorobienie punktów kontrolnych a w dalszej kolejności odznaki to byłby dobry kierunek dla popularności projektu U@H.
Cytat: krzyszp w 19 Listopad 2014, 23:24
Kurcze, PM to jedno, ale połączone siły tych teamów jak wpadną:
SETI.Germany
L'Alliance Francophone
UK BOINC Team
BOINC@Poland
The Scottish Boinc Team
To jeszcze mi pozamiatają serwer... A jeszcze pewnie Seti.USA się podłączy...
Niemniej, jedno jest pewne, jak serwer się utrzyma, to mi mówcie "miszczu" (ew. "debeściak") XD
Pachnie zemstą za 'zabijanie' serwerów innych projektów podczas PM XD
Cytat: krzyszp w 02 Listopad 2014, 18:17
obliczenia są na parę lat przewidziane
Parę lat, powiadasz? Ktoś to chyba potraktował jako
challenge accepted. Już
community udowodni, na co je stać :)
Cytat: LQG w 19 Listopad 2014, 23:41
Niech koledzy naukowcy podstawiają SANy na wyniki ;)
Prorok jaki, czy co? |-?
A serio, to jest to trochę dziwna sytuacja, że 'ktoś' (czyt. dowolny zespół) może ot tak sobie ogłosić test wydajności cudzego sprzętu. Wydawało mi się, że administratorzy projektów są pytani o możliwość zorganizowania wyścigu. Przynajmniej z czystej grzeczności i żeby dać czas na przygotowanie się.
Cytat: cp w 20 Listopad 2014, 19:22
A serio, to jest to trochę dziwna sytuacja, że 'ktoś' (czyt. dowolny zespół) może ot tak sobie ogłosić test wydajności cudzego sprzętu. Wydawało mi się, że administratorzy projektów są pytani o możliwość zorganizowania wyścigu. Przynajmniej z czystej grzeczności i żeby dać czas na przygotowanie się.
No no. Nie "ktoś" tylko .RU, panimajesz druzja? ;D
Cytat: LQG w 20 Listopad 2014, 19:54
No no. Nie "ktoś" tylko .RU, panimajesz druzja? ;D
Jak mogłem nie skojarzyć :facepalm2: Teraz wszystko jasne ;D
Nie przypominam sobie, kiedy Rosjanom projekt zarżnęliśmy, ale nasi bracia ze wschodu mają bardzo długą pamięć, więc wielce prawdopodobne, że coś mi umknęło. Patrzcie np. taki TheSkyNet POGS padł i dziś wstał. Czy nasz pm się do tego jakoś przyczynił? Wątpię, mają w końcu spore zaplecze. Co innego Universe, praktycznie stoi gościnnie u Krzyszpa. Trzymamy kciuki Kamracie, jak mawiają żeglarze; Gdy człowiek wytrzyma, to sprzęt też. Będą jajca jak berety, jeśli przemielone zostaną wszystkie zadania, przed fizycznym odpaleniem przetargowego serwera. Ponawiam, tak kulturalnie, jak to tylko możliwe, apel o wrzucenie informacji ze strony Universe, na drużynową wiki. Gadacz nie widzi ogonków, tj. polskich znaków. Czy w rzeczywistości one tam istnieją?
Ufol, przepraszam, że tego jeszcze nie zrobiłem, ale nie wyrabiam.
Fakt, że Universe stoi gościnnie u mnie i jest to moja firmowa maszyna, raczej nie jest specjalnie przygotowana na wyścigi BS, ot, troche optymalizacji, ale już rozbicia ruchu na dwie i więcej maszyn nie ma, żadnego zarządzania ruchem też (bo i jak na pojedynczej maszynie)...
Po prostu zobaczymy co będzie, a w międzyczasie poprawię trochę konfig bazy...
Ustaw Quota na 1 task dziennie :D
Albo takie ograniczenie jakie mial eOn czyli 2WU na watek
Czy można postawić taką blokadę, aby na dowolnym komputerze liczyła się tylko jedna próbka? Tzn. mieli jeden rdzeń. Jeśli kilku posiadaczy wieloprocesorowych bydląt się podepnie, z miejsca mogą załatwić łącza. Czy mój tok rozumowania jest poprawny?
Ja oczywiście mogę poblokować klientom ilość WU itd, ale tego nie chcę...
Dziś albo jutro zajmę się przygotowaniem replikacji serwera na wszelki wypadek, a dalej... zobaczymy, strestesty są ważną częścią tych operacji.
A mozesz zrobic tak, zeby jeden serwer tylko wysyla probki a drugi tylko odbiera wyniki?
Cytat: kva.pl w 21 Listopad 2014, 12:09
A mozesz zrobic tak, zeby jeden serwer tylko wysyla probki a drugi tylko odbiera wyniki?
Drugi nie istnieje jak na razie ;)
No ale skoro przygotowujesz replikacje to chyba jednak na drugi? (Albo czegos nie rozumiem, ale na tym sie znam slabo wiec sie pytam upierdliwie madrzejszych w temacie ;) )
Na drugi, ale nie wiem, czy będę miał cały do dyspozycji, czy tylko MySQL'a do replikacji.
Dostałem oficjalne pozwolenie na wynajęcie dedyka na backup, tak więc Universe będzie się teraz cieszył maszyną wspomagającą jego wysiłki:
CPU E3-1245v2 (3.4GHz)
HDD: HardRaid (sprzętowy) 2x2TB
RAM: 32GB
W tygodniu możliwe, że przeniosę projekt na ten serwer (ale pewne to nie jest).
:parrrty:
:parrrty: :respect:
Replikacja wprowadzona.
Następny krok to przygotowanie backupu jakiegoś sensownego dla skryptów i danych. Planowane wykonanie dzisiaj.
:parrrty: :respect:
Kolejny argument za ogłoszeniem U@H oficjalnym projektem rezerwowym w każdym PM CPU! :)
krzyszp, mam kilka starszych WU w "pendingu", ale serwer się nie spieszy z przedzieleniem zadanka dla kolejnego hosta. Na forum projektu widziałem zgłoszony podobny problem.
Zobacz na te zadania:
http://universeathometest.info/universe/workunit.php?wuid=1405596
http://universeathometest.info/universe/workunit.php?wuid=1409639
http://universeathometest.info/universe/workunit.php?wuid=1411634
http://universeathometest.info/universe/workunit.php?wuid=1414065
http://universeathometest.info/universe/workunit.php?wuid=1440219
...
Projekt ma małe WU z krótkim deadline'm, ale z walidacją się nie spieszy. Popatrz na to.
To pokłosie 5k próbek, które spierdzieliłem w ramach testów :shame:
One w końcu zejdą, ale muszą trafić na kompa z Linuksem i aktualną aplikacją...
Edit:
Mógłbym je "zmusić" do wejścia na konkretne hosty, ale nie chcę nic mieszać przed zawodami...
No to spoko, w czasie wyścigu przybędzie maszyn liczących i zadanka powinny zejść.
Cytat: PDH w 28 Listopad 2014, 15:22
No to spoko, w czasie wyścigu przybędzie maszyn liczących i zadanka powinny zejść.
PDH, ja staram się tego pilnować, ale czasami mi wiedzy po prostu brak, a teren jest dziewiczy i trzeba dużo spraw na piechotę odkrywać...
Ale "mea culpa" ;)
Hej. Na moim koncie pojawiło się 26 próbek ze statusem Completed, can't validate - errors : WU cancelled
3335725 1666041 2204 30 Nov 2014, 20:54:06 UTC 1 Dec 2014, 0:06:34 UTC Completed, can't validate 2,606.89 2,606.89 0.00 universe2 v0.03
3334518 1665437 2204 30 Nov 2014, 20:09:08 UTC 30 Nov 2014, 23:21:10 UTC Completed, can't validate 2,638.59 2,634.69 0.00 universe2 v0.03
3334462 1665409 2204 30 Nov 2014, 20:09:07 UTC 30 Nov 2014, 23:27:24 UTC Completed, can't validate 2,784.67 2,780.38 0.00 universe2 v0.03
3334533 1665445 2787 30 Nov 2014, 20:09:00 UTC 30 Nov 2014, 23:35:37 UTC Completed, can't validate 3,131.11 3,111.19 0.00 universe2 v0.03
3324887 1660622 2204 30 Nov 2014, 14:13:33 UTC 30 Nov 2014, 17:28:24 UTC Completed, can't validate 2,907.19 2,907.19 0.00 universe2 v0.03
3323858 1660107 2204 30 Nov 2014, 13:39:53 UTC 30 Nov 2014, 17:09:28 UTC Completed, can't validate 2,821.77 2,821.77 0.00 universe2 v0.03
3322287 1659327 2204 30 Nov 2014, 12:46:35 UTC 30 Nov 2014, 15:58:35 UTC Completed, can't validate 2,948.95 2,946.94 0.00 universe2 v0.03
3322105 1659236 2204 30 Nov 2014, 12:37:14 UTC 30 Nov 2014, 15:49:08 UTC Completed, can't validate 2,761.75 2,755.16 0.00 universe2 v0.03
3313482 1654925 2204 30 Nov 2014, 7:22:54 UTC 30 Nov 2014, 10:42:49 UTC Completed, can't validate 2,915.92 2,908.86 0.00 universe2 v0.03
3300072 1648220 2204 29 Nov 2014, 22:57:08 UTC 30 Nov 2014, 2:33:22 UTC Completed, can't validate 2,814.95 2,814.95 0.00 universe2 v0.03
3297458 1646914 2204 29 Nov 2014, 21:24:30 UTC 30 Nov 2014, 1:02:46 UTC Completed, can't validate 2,814.86 2,810.36 0.00 universe2 v0.03
3295649 1646013 2204 29 Nov 2014, 20:22:12 UTC 29 Nov 2014, 23:40:58 UTC Completed, can't validate 2,918.78 2,913.63 0.00 universe2 v0.03
3294839 1645608 2204 29 Nov 2014, 19:52:22 UTC 29 Nov 2014, 23:31:32 UTC Completed, can't validate 2,724.53 2,719.38 0.00 universe2 v0.03
3284465 1640423 2204 29 Nov 2014, 13:32:26 UTC 29 Nov 2014, 16:44:44 UTC Completed, can't validate 2,710.61 2,710.61 0.00 universe2 v0.03
3281992 1639186 2204 29 Nov 2014, 12:04:46 UTC 29 Nov 2014, 15:16:25 UTC Completed, can't validate 2,691.45 2,685.34 0.00 universe2 v0.03
3281442 1638911 2204 29 Nov 2014, 11:49:04 UTC 29 Nov 2014, 15:06:45 UTC Completed, can't validate 2,682.63 2,674.05 0.00 universe2 v0.03
3265713 1631047 2204 29 Nov 2014, 1:15:40 UTC 29 Nov 2014, 4:25:57 UTC Completed, can't validate 2,902.66 2,899.77 0.00 universe2 v0.03
3265716 1631048 2204 29 Nov 2014, 1:12:25 UTC 29 Nov 2014, 4:19:40 UTC Completed, can't validate 2,685.28 2,682.14 0.00 universe2 v0.03
3265095 1630738 2204 29 Nov 2014, 0:44:10 UTC 29 Nov 2014, 2:59:29 UTC Completed, can't validate 2,982.03 2,982.03 0.00 universe2 v0.03
3255792 1626086 2204 28 Nov 2014, 17:43:17 UTC 28 Nov 2014, 22:46:13 UTC Completed, can't validate 2,932.33 2,746.30 0.00 universe2 v0.03
Rozumiem, że zadanka poszły na "wieczny odpoczynek". Czy to zasługa ostatniego wyścigu czy może coś innego nawaliło jeszcze %)
Cytat: PDH w 05 Grudzień 2014, 14:43
Rozumiem, że zadanka poszły na "wieczny odpoczynek". Czy to zasługa ostatniego wyścigu czy może coś innego nawaliło jeszcze %)
Dowiedziałem się ostatnio, że work generator potrafi popsuć czasami próbki przy generacji i wtedy assimilator lata jak żyd po pustym sklepie po bazie danych i całość staje. To właśnie się zdarzyło w czasie wyścigu i musiałem niestety WU anulować...
Cytat: krzyszp w 05 Grudzień 2014, 15:45
Dowiedziałem się ostatnio, że work generator potrafi popsuć czasami próbki przy generacji i wtedy assimilator lata jak żyd po pustym sklepie po bazie danych i całość staje. To właśnie się zdarzyło w czasie wyścigu i musiałem niestety WU anulować...
Aha, rozumiem z tego, że w chwili obecnej U@H normalnie produkuje próbki i je rozsyła. Czy możemy uznać, że stan projektu sprzed wyścigu został przywrócony?
No mi po 17tej pobrało parę próbek, a teraz znów posucha. Więc nici ze stanu sprzed wyścigu.
U mnie podobnie. Od kilku dni moja główna maszyna łapie po parę sztuk. "Pomocnicze" kompy za to mają full zadań :dunno:
Cytat: tito w 05 Grudzień 2014, 19:01
No mi po 17tej pobrało parę próbek, a teraz znów posucha. Więc nici ze stanu sprzed wyścigu.
Niezupełnie :)
Teraz opóźnienie na serwerze jest, bo generuje się bardzo duża porcja WU, później na kilka chwil wyłączę serwer, żeby baza mogła sobie przemielić, po czym powinno wócić do normy.
I tak się stanie bo inaczej :whip:
Dobra zamiast :whip: jest :parrrty:
Szacun.
znowu dziwny pad, albo coś jest nie tak z moim komputerem...
http://universeathometest.info/universe/server_status.php
not running
2014-12-06 11:25:08 | Universe@Home | Reporting 7 completed tasks
Tylko że nic nie zaraportowało, WU nadal są w Managerze
Już działa i zostawiam działające.
Jeżeli z jakiś powodów zabraknie WU, to nie krzyczeć, od jutra nie mam netu przez jakiś czas ;)
Krzyszp - trochę nieładnie, że tu piszesz, a na stronie projektu nic. Zrób jakieś info, aby nie wyglądało, że projekt olewa userów.
Racja, napisałem...
Czy mi sie wydaje czy zmienil sie numerek na 0.04 ?
Cytat: kva.pl w 09 Grudzień 2014, 14:40
Czy mi sie wydaje czy zmienil sie numerek na 0.04 ?
Tak, ale to nieistotna zmiana.
A jest gdzies jakis changelog do zobaczenia? Uwielbiam je czytac, takie zboczenie :shame:
Pytanie: po jakim czasie próbki są ponownie wysyłane do przeliczenia?
http://universeathometest.info/universe/workunit.php?wuid=2002609
Mam takich 47.
Generalnie, powinny iść szybko.
Niestety, ciągnie się jeszcze za serwerem stare fatum i są opóźnienia, które skończą się definitywnie, gdy wykończymy próbki, które obecnie są na serwerze (ok. 150k WU). Muszę po prostu fizycznie wykasować je z serwera po przerobieniu, gdyż podsystem dyskowy nie daje rady obrabiać wszystkiego obecnie i co chwila muszę robić przerwę techniczną i ręcznie wymusić "trawienie" ich.
Od wczoraj kompy nie otrzymują zadań :dunno:
Cytat: necavi w 25 Grudzień 2014, 09:27
Od wczoraj kompy nie otrzymują zadań :dunno:
Bo ich nie ma, o czym jest info na stronie projektu ;)
Muszę oczyścić kolejkę, żeby pokasować zbędne już pliki WU z serwera, jednak by to zrobić bezpiecznie muszą być przeliczone wszystkie aktualne zadania, co powinno się dziś lub jutro (w przypadku resendów) stać. Jak tylko to zrobię to puszczę nową serię.
Wiadomo od dawna, że aplikacja na Linuksa liczy się w tym projekcie wolniej niż na Windowsie, niestety nie bardzo mam jak to sprawdzić...
Ma ktoś możliwość sprawdzić wydajność na w miarę nowoczesnej maszynie te dwie wersje? Chodzi mi o porównanie na tej samej maszynie, ale pod obydwoma systemami, żebym wiedział jak duża faktycznie jest to różnica - sam nie dysponuję maszyną na której mógłbym odpalić oba systemy...
Ps. Szczególnie zależało by mi na porównaniu Windows vs jakiś nowy debianowaty...
a pasuje żeby na np windows 7 x64 odpalić dwie wirtualne maszyny jedna z debianoczymś tam a druga z windowsem? (tylko ten debian musi być łatwy do ogarnięcia :) )
Dzięki Cyfron, ale tak to raczej nie - za dużo czynników może mieć wpływ na wydajność.
W każdym bądź razie Szopler już mi dostarczył odpowiednich wyników - dzięki :)
I jak duza jest roznica?
Cytat: kva.pl w 19 Styczeń 2015, 04:43
I jak duza jest roznica?
Była 100% ponad na niekorzyść Linuksa, ale teraz jest 100% na jego korzyść ;)
O w morde jeza :D
A co uczyniles ze dostalo takiego kopa?
Skompilowałem aplikację dla najmocniejszego parametru optymalizacji ;)
Minusem tego rozwiązania jest, że prawdopodobnie nie da się zastosować w następnej aplikacji (ale postaram się uzyskać równą szybkość z Windows).
A z jakich rozszerzen apka korzysta?
Cytat: kva.pl w 19 Styczeń 2015, 13:42
A z jakich rozszerzen apka korzysta?
Nie mam pojęcia :)
Apka jest zbyt duża, żebym mógł ją zanalizować pod tym kątem, w dodatku jest rozwijana od 2002 roku, moje zmiany ograniczają się głównie do przystosowania jej do pracy w środowisku BOINC.
Skończył się wyścig i próbki w Uniwersalnym. %)
Czekam na podsumowanie Administratora tej próby obciążeniowej, kiedy już Administrator dojdzie do siebie. :arrr:
current GigaFLOPs 10,896 :attack:
Cytat: Aegis Maelstrom w 27 Styczeń 2015, 01:16
Skończył się wyścig i próbki w Uniwersalnym. %)
Czekam na podsumowanie Administratora tej próby obciążeniowej, kiedy już Administrator dojdzie do siebie. :arrr:
Administrator doszedł do siebie po ciężkim szoku, w jaki wpadł widząc ile serwer wytrzymał ;)
Ok, generalnie, jak kilka razy pisałem, serwer powinien paść już przy około 35k WU na dobę, a przynajmniej przestać się wyrabiać z czymkolwiek. Pracował dobrze do ok. 90k WU na dobę i szło by dalej dobrze gdyby nie... koniec WU :)
Niestety, generowanie WU w przypadku Universe jest pracochłonne i pożera bardzo dużo operacji dyskowych, co spowodowało narastanie opóźnień z walidacją, niemniej serwer dawał sobie w sumie radę (bo już zaczął nadrabiać opóźnienia) aż do końca.
Warto zauważyć, że pod koniec zawodów licznik wskazywał już 108k WU na dobę! :)
Oczywiście, zawody wykazały co jest wąskim gardłem w projekcie - jest nim HDD. Musicie wiedzieć, że generowanie WU, jego wysyłka, przyjęcie wyników, walidacja i generalnie wszystko inne łączy się z operacjami na bazie danych. Do tego dochodzi przygotowanie wyników do wysyłki (kompresja, kopiowanie w inne miejsce dla UW), co jest wykonywane co godzinę i zajmuje kilka minut. To wszystko powoduje, że dysk fizycznie ogranicza ilość pracy mogącej być dostarczonej klientom do obliczeń, więc jedynym sposobem na tym serwerze na zwiększenie ilości pracy jest wydłużenie WU, tego jednak nie zrobię do momentu, w którym zostaną wprowadzone checkpointy.
Podsumowując, serwer mile mnie zaskoczył, wnioski jakie wyciągnąłem z poprzednich zawodów były jak najbardziej słuszne i pomogły bardzo. Mam też następne i posłużą mi już na dniach podczas stawiania serwera produkcyjnego :)
Cieszę się że serwer dał radę :) Tyle że teraz nie ma czego liczyć ;)
P.S. krzyszp jak byś może potrzebował jakiejś pomocy przy optymalizacji serwera to daj znać.
Cytat: Sebastian M. Bobrecki w 27 Styczeń 2015, 11:59
Cieszę się że serwer dał radę :) Tyle że teraz nie ma czego liczyć ;)
P.S. krzyszp jak byś może potrzebował jakiejś pomocy przy optymalizacji serwera to daj znać.
Muszę poczekać na powrót próbek z ostatnich serii zanim zmienię aplikację na ciut nowszą.
Sebastian, chyba będę miał kilka pytań, ale na razie sprawdzam, czy sam sobie nie poradzę :)
Ok. Jakby co to wal śmiało.
wto, 27 sty 2015, 14:56:19 | Universe@Home | Wiadomość z serwera: universe2 needs 55435.54MB more disk space. You currently have 10100.46 MB available and it needs 65536.00 MB. :(
Cytat: Sebastian M. Bobrecki w 27 Styczeń 2015, 15:00
wto, 27 sty 2015, 14:56:19 | Universe@Home | Wiadomość z serwera: universe2 needs 55435.54MB more disk space. You currently have 10100.46 MB available and it needs 65536.00 MB. :(
Już zrobione, przez pomyłkę w templatce o 2 zera za dużo dałem ;)
%)
Subtelna pomylka :D
Cytat: kva.pl w 27 Styczeń 2015, 19:43
Subtelna pomylka :D
Tak jest, jak w dokumentacji opis jest informacja, jak wpisać oczekiwania, ale nie ma podane w jakich jednostkach: bajtach, kilobajtach czy może w kwintalach ;)
No to fakt, najlepiej poleciec w ekstremum i od razu znalezc problem :) Znam ta metode, stosuje radosnie :attack:
Nie podoba mi się pomysł zwiększenia długości WU :bad:
Dlaczego?
Cytat: pawg w 27 Styczeń 2015, 21:36
Nie podoba mi się pomysł zwiększenia długości WU :bad:
Dlaczego? Jeżeli będą checkpointy?
Generalnie w planach "na teraz" (mogą się zmienić) będą minimum 2 rodzaje WU na serwerze produkcyjnym: "zwykłe" w przypadku których przewidywany czas działania to będzie pomiędzy jedną a trzema godzinami na średnio mocnym sprzęcie (jako punkt odniesienia będę przyjmował mój E3-1230v3), oraz grupa długich WU (20h+). Te drugie będą generowane na podstawie wyników tych pierwszych i będą służyły dokładnemu sprawdzeniu co ciekawszych wyników z podstawowych jednostek. Oczywiście, mówimy tu o serwerze produkcyjnym, testowy już wkrótce wróci do swojej podstawowej roli jaką jest testowanie aplikacji i WU.
@krzyszp "długie WU" będą przyznawane wg. mocy przerobowej danej maszyny czy innych względów?
Cytat: necavi w 28 Styczeń 2015, 19:12
@krzyszp "długie WU" będą przyznawane wg. mocy przerobowej danej maszyny czy innych względów?
Nie przewiduję jakiegoś specjalnego selekcjonowania klientów poza mechanizmami wbudowanymi w serwer (czyli czy klient się wyrobi oraz jego ogólnej "reputacji" - od jakiegoś czasu w serwer jest wbudowana taka funkcja).
Małe WU są bardzo mile widziane przez osoby posiadające słabsze komputery oraz osoby korzystające z nich nieregularnie. Z tego powodu PrimeGrid podzielił WU w pod projekcie PPS(LLR) na 3 klasy długości zadań.
Ale to zawsze jest kwestia jakiegoś kompromisu. Takie krótkie ok. 1h są bardzo fajne. Można je szybko odesłać, traci się mniej w przypadku błędu itp. ale to też większa ilość rekordów w bazie danych i więcej pobrań/odesłań z serwera itp. Wydaje mi się że najlepiej będzie jeśli te krótkie i te długie będą po prostu jako osobne aplikacje do wyboru. Nawet jeśli w rzeczywistości to będzie ta sama binarka. Tak jest np. w Einstein-ie z BRP4G i BRP5:
0493758b144f76223f204c5f62eb4f0d einsteinbinary_BRP4G_1.39_x86_64-pc-linux-gnu__BRP4G-cuda32-nv270
0493758b144f76223f204c5f62eb4f0d einsteinbinary_BRP5_1.39_x86_64-pc-linux-gnu__BRP5-cuda32-nv270
Tez mysle ze to najlepsza opcja pozostawic wybor uzytkownikom czy chca dlugie WU czy krotkie, sporo projektow ma taka opcje przeciez.
I bardzo możliwe, że tak właśnie będzie - nie wykluczam takiej opcji.
Natomiast za wydłużeniem także podstawowych WU przemawia zwiększona dokładność dłuższych WU. Po prostu czas wykonywania zależy od liczby wykonywanych symulacji, która obecnie wynosi 4000, zaś najbardziej optymalną ilością dla tych zadań jest 20'000 (być może to się zmieni, trwają prace nad nową aplikacją, która trochę inaczej będzie liczyła - mniej symulacji, za to dokładniejszych).
Cytat: krzyszp w 29 Styczeń 2015, 14:37
I bardzo możliwe, że tak właśnie będzie - nie wykluczam takiej opcji.
Natomiast za wydłużeniem także podstawowych WU przemawia zwiększona dokładność dłuższych WU. Po prostu czas wykonywania zależy od liczby wykonywanych symulacji, która obecnie wynosi 4000, zaś najbardziej optymalną ilością dla tych zadań jest 20'000 (być może to się zmieni, trwają prace nad nową aplikacją, która trochę inaczej będzie liczyła - mniej symulacji, za to dokładniejszych).
5 razy dłuższe czyli jakieś ~4h:10m na twoim referencyjnym kompie. Jak dla mnie może być bo to i tak raczej jest po tej krótszej stronie mocy. Choć już przy takim czasie liczenia checkpointy by się przydały.
Cytat: Sebastian M. Bobrecki w 29 Styczeń 2015, 15:05
Choć już przy takim czasie liczenia checkpointy by się przydały.
Nie biorę pod uwagę liczenia takich WU bez checkpointów...
I jak tam prace? Widzę że obecnie niby zadań dużo ale coś się nie chcą wysyłać. Ciągle dostaję "got 0 new tasks" :(
SOA#1 ;)
A poważniej - nadal nie dostajesz?
No poważnie:pią, 30 sty 2015, 06:45:06 | Universe@Home | Sending scheduler request: To report completed tasks.
pią, 30 sty 2015, 06:45:06 | Universe@Home | Reporting 2 completed tasks
pią, 30 sty 2015, 06:45:06 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 06:45:09 | Universe@Home | Scheduler request completed: got 0 new tasks
pią, 30 sty 2015, 06:45:09 | Universe@Home | No tasks sent
pią, 30 sty 2015, 06:48:15 | Universe@Home | Sending scheduler request: To fetch work.
pią, 30 sty 2015, 06:48:15 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 06:48:18 | Universe@Home | Scheduler request completed: got 0 new tasks
pią, 30 sty 2015, 06:48:18 | Universe@Home | No tasks sent
pią, 30 sty 2015, 06:55:25 | Universe@Home | Sending scheduler request: To fetch work.
pią, 30 sty 2015, 06:55:25 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 06:55:28 | Universe@Home | Scheduler request completed: got 0 new tasks
pią, 30 sty 2015, 06:55:28 | Universe@Home | No tasks sent
A jak już po jakimś czasie coś wpadnie to raczej niewiele:pią, 30 sty 2015, 09:06:16 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 09:06:19 | Universe@Home | Scheduler request completed: got 0 new tasks
pią, 30 sty 2015, 09:06:19 | Universe@Home | No tasks sent
pią, 30 sty 2015, 09:18:29 | Universe@Home | Sending scheduler request: To fetch work.
pią, 30 sty 2015, 09:18:29 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 09:18:32 | Universe@Home | Scheduler request completed: got 1 new tasks
Z tego co dziś zaobserwowałem to średnio dostaję zadań tak że obciążone jest jakieś 30-40% wątków. Choć teraz widzę że znowu coś tam poszło może się ustabilizuje. Zobaczę jak sprawa będzie wyglądać za jakąś godzinę i dam znać.
Jednak nic się nie zmieniło:pią, 30 sty 2015, 11:04:10 | Universe@Home | Sending scheduler request: To fetch work.
pią, 30 sty 2015, 11:04:10 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 11:04:13 | Universe@Home | Scheduler request completed: got 0 new tasks
pią, 30 sty 2015, 11:04:13 | Universe@Home | No tasks sent
pią, 30 sty 2015, 11:18:24 | Universe@Home | Sending scheduler request: To fetch work.
pią, 30 sty 2015, 11:18:24 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 11:18:27 | Universe@Home | Scheduler request completed: got 1 new tasks
...
pią, 30 sty 2015, 11:21:33 | Universe@Home | Sending scheduler request: To fetch work.
pią, 30 sty 2015, 11:21:33 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 11:21:36 | Universe@Home | Scheduler request completed: got 0 new tasks
pią, 30 sty 2015, 11:21:36 | Universe@Home | No tasks sent
...
pią, 30 sty 2015, 11:29:13 | Universe@Home | Sending scheduler request: To report completed tasks.
pią, 30 sty 2015, 11:29:13 | Universe@Home | Reporting 1 completed tasks
pią, 30 sty 2015, 11:29:13 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 11:29:17 | Universe@Home | Scheduler request completed: got 0 new tasks
pią, 30 sty 2015, 11:29:17 | Universe@Home | No tasks sent
...
pią, 30 sty 2015, 11:32:23 | Universe@Home | Sending scheduler request: To report completed tasks.
pią, 30 sty 2015, 11:32:23 | Universe@Home | Reporting 2 completed tasks
pią, 30 sty 2015, 11:32:23 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 11:32:26 | Universe@Home | Scheduler request completed: got 1 new tasks
...
pią, 30 sty 2015, 11:35:31 | Universe@Home | Sending scheduler request: To fetch work.
pią, 30 sty 2015, 11:35:31 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 11:35:33 | Universe@Home | Scheduler request completed: got 0 new tasks
pią, 30 sty 2015, 11:35:33 | Universe@Home | No tasks sent
...
pią, 30 sty 2015, 11:47:50 | Universe@Home | Sending scheduler request: To report completed tasks.
pią, 30 sty 2015, 11:47:50 | Universe@Home | Reporting 1 completed tasks
pią, 30 sty 2015, 11:47:50 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 11:47:52 | Universe@Home | Scheduler request completed: got 0 new tasks
pią, 30 sty 2015, 11:47:52 | Universe@Home | No tasks sent
pią, 30 sty 2015, 11:50:58 | Universe@Home | Sending scheduler request: To fetch work.
pią, 30 sty 2015, 11:50:58 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 11:51:00 | Universe@Home | Scheduler request completed: got 0 new tasks
pią, 30 sty 2015, 11:51:00 | Universe@Home | No tasks sent
...
pią, 30 sty 2015, 12:00:38 | Universe@Home | Sending scheduler request: To report completed tasks.
pią, 30 sty 2015, 12:00:38 | Universe@Home | Reporting 1 completed tasks
pią, 30 sty 2015, 12:00:38 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 12:00:41 | Universe@Home | Scheduler request completed: got 0 new tasks
pią, 30 sty 2015, 12:00:41 | Universe@Home | No tasks sent
Powinno z czasem się naprostować, zadań jest od groma, ale też klientów sporo naraz próbuje zasysać WU...
Podłączyłem swojego hosta i po kilku minutach dostał 15 WU (na 8 wątków).
No u mnie to wygląda j.w. dla systemów z 16 i 32 wątkami. W tym momencie zablokowałem pobieranie nowych danych. Poczekam aż się resztki policzą i zresetuję projekt. Może to tylko kwestia tego że klient zgłupiał po zmianie wersji aplikacji albo tak po prostu sam z siebie.
Tak też może być.
Na wszystkich kompach masz 0.06?
Cytat: krzyszp w 30 Styczeń 2015, 13:34
Tak też może być.
Na wszystkich kompach masz 0.06?
Tak.
No niestety reset projektu i restart klienta nie pomógł. Włączę debug i może dowiem się czegoś sensownego.
-
Wygląda na to że klient się zachowuje w porządku:
pią, 30 sty 2015, 13:45:21 | Universe@Home | Sending scheduler request: To fetch work.
pią, 30 sty 2015, 13:45:21 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 13:45:21 | Universe@Home | [sched_op] CPU work request: 3837646.04 seconds; 9.00 devices
pią, 30 sty 2015, 13:45:23 | Universe@Home | Scheduler request completed: got 3 new tasks
pią, 30 sty 2015, 13:45:23 | Universe@Home | [sched_op] Server version 705
pią, 30 sty 2015, 13:45:23 | Universe@Home | Project requested delay of 182 seconds
pią, 30 sty 2015, 13:45:23 | Universe@Home | [sched_op] estimated total CPU task duration: 13636 seconds
pią, 30 sty 2015, 13:45:23 | Universe@Home | [sched_op] Deferring communication for 00:03:01
pią, 30 sty 2015, 13:45:23 | Universe@Home | [sched_op] Reason: requested by project
pią, 30 sty 2015, 13:45:23 | | [work_fetch] Request work fetch: RPC complete
Ja widzę w panelu, że coraz więcej klientów dostaje zadania i to dość spory skok jest.
Znowu podobnie. 6 wolnych rdzeni a dostaje 1 zadanie:pią, 30 sty 2015, 13:48:27 | Universe@Home | Sending scheduler request: To fetch work.
pią, 30 sty 2015, 13:48:27 | Universe@Home | Requesting new tasks for CPU
pią, 30 sty 2015, 13:48:27 | Universe@Home | [sched_op] CPU work request: 3830169.72 seconds; 6.00 devices
pią, 30 sty 2015, 13:48:29 | Universe@Home | Scheduler request completed: got 1 new tasks
pią, 30 sty 2015, 13:48:29 | Universe@Home | [sched_op] Server version 705
pią, 30 sty 2015, 13:48:29 | Universe@Home | Project requested delay of 182 seconds
pią, 30 sty 2015, 13:48:29 | Universe@Home | [sched_op] estimated total CPU task duration: 4546 seconds
pią, 30 sty 2015, 13:48:29 | Universe@Home | [sched_op] Deferring communication for 00:03:01
pią, 30 sty 2015, 13:48:29 | Universe@Home | [sched_op] Reason: requested by project
pią, 30 sty 2015, 13:48:29 | | [work_fetch] Request work fetch: RPC complete
-
A jak duży bufor jest ustawiony w feederze?
Cytat: Sebastian M. Bobrecki w 30 Styczeń 2015, 13:52
A jak duży bufor jest ustawiony w feederze?
4 zadania na wątek, 24 max do wysłania jednorazowo.
Mi chodziło o <shmem_work_items>N</shmem_work_items> i <feeder_query_size>N</feeder_query_size>. Bo może tu jest zbyt mało. <shmem_work_items> domyślnie to raptem 100. Z tego co kojarzę z mersenne to ta wartość okazała się śmiesznie mała.
Cytat: Sebastian M. Bobrecki w 30 Styczeń 2015, 15:15
Mi chodziło o <shmem_work_items>N</shmem_work_items> i <feeder_query_size>N</feeder_query_size>. Bo może tu jest zbyt mało. <shmem_work_items> domyślnie to raptem 100. Z tego co kojarzę z mersenne to ta wartość okazała się śmiesznie mała.
Faktycznie, shmem jest na 100, ale po powiększeniu się cuda działy na serwerze, feeder query jest na 200.
Cytat: krzyszp w 30 Styczeń 2015, 15:26
Faktycznie, shmem jest na 100, ale po powiększeniu się cuda działy na serwerze, feeder query jest na 200.
No bo do tego też trzeba zwiększyć ilość shm w systemie kernel.shmall i kernel.shmmax.
Cytat: Sebastian M. Bobrecki w 30 Styczeń 2015, 15:32
Cytat: krzyszp w 30 Styczeń 2015, 15:26
Faktycznie, shmem jest na 100, ale po powiększeniu się cuda działy na serwerze, feeder query jest na 200.
No bo do tego też trzeba zwiększyć ilość shm w systemie kernel.shmall i kernel.shmmax.
Wiem, ale to też nie pomogło...
Mam już nową, działającą z checkpointami aplikację Linuksową. Ta nowa aplikacja to kolejna wersja tej samej aplikacji, ale z udoskonalonymi algorytmami (w sensie naukowym, nie wydajnościowym). Jak tylko dostanę informację zwrotną na temat optymalnej liczby symulacji dla pojedynczego przebiegu to ją wrzucę na serwer i wygeneruję testową serię próbek.
Jednocześnie będę dziś pracował nad nową funkcją importu danych wejściowych do aplikacji, wykonanie tego jest konieczne do zaimplementowania aplikacji na serwerze produkcyjnym, co nastąpi na pewno w tym tygodniu.
jak często checkpointy?
Myślę nad ustawieniem co 200 - 400 symulacji (obecnie WU są ustawione na 4k symulacji).
a na tym Twoim E3-1230v3
Cytat: sknd w 10 Luty 2015, 20:08
a na tym Twoim E3-1230v3
5-10 minut.
Co 400 - oszczędność dysków userów ;)
Cytat: pawg w 10 Luty 2015, 23:36
Co 400 - oszczędność dysków userów ;)
I to spora... każdy checkpoint to 14 operacji na plikach, niektóre z nich dość spore...
Kiedy ją wypuścisz?
Cytat: Sebastian M. Bobrecki w 11 Luty 2015, 10:55
Kiedy ją wypuścisz?
Jeszcze mam drobne problemy z checkpointami (w niektórych, rzadkich przypadkach pliki checkpointu są lekko zmienione, szukam przyczyny).
Ale to nie jest jakiś problem z CR-LF?
Nie. po prostu czasami przerwanie programu może nastąpić podczas wykonywania operacji na plikach, wtedy występują błędy. dodatkowo chyba znalazłem buga, którym jest niezerowanie jednej ze zmiennych (bądź też nie ma być zerowana, a w takim przypadku muszę zapisać także jej stan). W efekcie muszę czekać na konsultację z autorem aplikacji, żeby to dograć...
Ps. Masz już Sebastian uprawnienia na głównej :)
Wypuściłem testowo 1k WU z nową aplikacją, która oprócz zmianami w algorytmach zawiera także checkpointy. Aplikacja wykonuje teraz 12k symulacji zamiast 4k, czyli powinna się wykonywać ok 3 razy dłużej.
Checkpointy ustawiłem na co 200 symulacji, więc łatwo możecie policzyć, jak często będą się wykonywać na Waszym sprzęcie.
Na sam koniec, jak już było 100%, dostałem błąd :(
Cytat: Sebastian M. Bobrecki w 13 Luty 2015, 15:54
Na sam koniec, jak już było 100%, dostałem błąd :(
Jaki?
Podejrzewam, że w templatce może być błąd (sławne znaki końca linii w xml'u)...
Znalazłem, był błąd, kasujcie WU...
http://universeathometest.info/universe/result.php?resultid=5958700
Czeski błąd w templatce... Moja wina, następna porcja w drodze...
2015-02-13 16:28:26 | Universe@Home Test | Scheduler request completed: got 28 new tasks
te juz ok ?
Powinny być ok...
i7-4790k wywalił same błędy :(
i7-4770K widzę podobnie :(
http://universeathometest.info/universe/workunit.php?wuid=2944267
Pierwsze WU - to, co pisałem powyżej, drugie (te z wyższym numerem), to przekroczona dopuszczalna wielkość plików wynikowych - poprawione w trzeciej serii, seria anulowana...
Przepraszam, nie wziąłem pod uwagę, że wielkość plików wzrosła tak bardzo, na moich testowych WU była mniejsza (bo puszczałem krótkie WU do testów).
Teraz mam nadzieję, że będzie dobrze, w trzeciej serii z kolei - "universe3_3_1...."
Czy jest z powodowane wydłużenie czasu liczenia próbek ?
Czy przekłada się to na wyższą punktację ?
Wydłużenie czasu próbek było zakładane od początku, tylko musiało poczekać na checkpointy.
Po prostu więcej symulacji w jednym przebiegu (WU) daje bardziej precyzyjne rezultaty dla danego parametru wejściowego.
Punktacja jest analogiczna, napisany przeze mnie generator WU nadaje punktację proporcjonalnie do ilości symulacji, więc na godzinę liczenia zawsze przypada ta sama ilość punktów (oczywiście, nie licząc strat spowodowanych przerwaniem WU i stratą kilku minut liczenia).
Zastanawiałem się nad zwiększeniem współczynnika punktowego dla tych WU, ale jednak projekt cały czas "płaci lepiej" niż standard, więc raczej to się nie zmieni...
Edit:
Zmieniłem też częstotliwość checkpointów, teraz jest zamiast co 500 symulacji zamiast co 200... Przy mniejszej liczbie i 8 wątkach dysk mieli właściwie bez przerwy... Być może ustawię co 1000, ale najpierw zobaczę te 500...
Teraz tylko pobiera wysyła pliki od 15 do 30 MB
Trochę krótko u Ciebie działał... 3600s to IMHO coś może być nie tak, poczekamy, aż się zwaliduje (lub nie)...
Co 500 to IMO za sporo za czesto, co 8% mniej wiecej. A to dalej krotkie WU wiec na dobra sprawe co pare minut na szybkich maszynach dla pojedynczego WU. Bez sensu :)
Cytat: kva.pl w 13 Luty 2015, 20:16
Co 500 to IMO za sporo za czesto, co 8% mniej wiecej. A to dalej krotkie WU wiec na dobra sprawe co pare minut na szybkich maszynach dla pojedynczego WU. Bez sensu :)
Muszę sprawę wypośrodkować... niestety, ale duża część maszyn wykona te WU w 3-4 godziny, a dla nich to już nie będzie tak często... Ale pewnie zmienię na 1000, skoro apka docelowo będzie robić 20k symulacji w przebiegu...
A nie ma opcji zeby byly long i short WU? Wiele projektow cos takiego ma wiec to chyba siedzi w opcjach serwera?
Cytat: kva.pl w 13 Luty 2015, 20:28
A nie ma opcji zeby byly long i short WU? Wiele projektow cos takiego ma wiec to chyba siedzi w opcjach serwera?
Nie do końca :)
Long i short WU są "tworzone" na dwa sposoby:
1. Przy generowaniu WU - ale wtedy user nie ma opcji wyboru, musi ręcznie kasować WU, których nie chce.
2. Za pomocą drugiej aplikacji.
To drugie rozwiązanie jak najbardziej się pojawi. Będzie wykorzystywane dla układów, którym trzeba się dokładniej przyjrzeć (WU nawet 20h będzie potrzebował + sporej ilości miejsca na dysku).
Oczywiście, można by próbować odpowiednio oskryptować preferencje, ale ja tego nie będę robił, z kilku powodów.
Teraz skończyła się próbka 3v 0,03 z podobnym czasem 3600s
5962699 2944106 13 Feb 2015, 18:31:39 UTC 13 Feb 2015, 20:01:15 UTC Zakończone, oczekuje na walidację 3,630.46 3,620.78 oczekuje universe3 v0.03
Tak, obserwuję, WU się zaczynają ładnie walidować (133,33pkt), więc zapuściłem serię 100k zadań (200k WU).
Oczywiście, podczas generowania zadań serwer się przytka, ale generalnie za kilka/naście godzin dojdzie do siebie.
Krzyszp a ty używasz do stwierdzenia kiedy robić checkpoint tylko liczbę iteracji czy też tych boinc-owych api:
int boinc_time_to_checkpoint();
void boinc_checkpoint_completed();
i ewentualnie;
boinc_set_min_checkpoint_period(int nsecs);?
Cytat: krzyszp w 13 Luty 2015, 19:59
Trochę krótko u Ciebie działał... 3600s to IMHO coś może być nie tak, poczekamy, aż się zwaliduje (lub nie)...
Wygląda na to że czasy jak najbardziej prawidłowe :)
5961783 2944558 13 Feb 2015, 17:27:25 UTC 13 Feb 2015, 19:01:31 UTC Zakończone i zwalidowane 3,661.83 3,653.91 133.33 universe3 v0.01
Ilość iteracji.
Użycie API spowodowałoby, że musiałbym bardzo dużo zmian w kodzie zrobić, co skutkowało by koniecznością przeprowadzenia dalszych testów (i to dużych)... Niestety, ilość czasu jaką mogę poświęcić na projekt jest ograniczona kilkoma czynnikami, więc obrałem najprostszą metodę...
Cytat: Krzysiak_PL_GDA w 13 Luty 2015, 22:24
Wygląda na to że czasy jak najbardziej prawidłowe :)
Tak, zaskoczyła mnie moc tego CPU ;)
Sztywno mam ustawione 4,4GHz
Ciekawe czy dało by coś zastosowanie dedykowanych instrukcji AVX itp
Bo po temperaturach przy liczeniu na 4 jajka i tak działa z 50% mocy :)
Tak dla porównania
X3360 @ 2.83GHz
5961682 2944507 200 13 Feb 2015, 17:15:31 UTC 13 Feb 2015, 20:49:20 UTC Zakończone i zwalidowane 8,061.64 7,964.73 133.33 universe3 v0.01
To Ty masz wyłączone HT?
Nie
Mam ustawione w systemach wieloprocesorowych używaj nie więcej niż 50% (4 zadania się liczą)
W tle gra muza z YouTube + przeglądam internet
lub (czas ten sam)
Mam ustawione w systemach wieloprocesorowych używaj nie więcej niż 25% (2 zadania się liczą)
W tle gra muza z YouTube + przeglądam internet + gram World of Tanks
I dlatego twierdze że CPU jest niedociążony przez projekt :)
Ech cholera miec I7 :-[
mieć xeona :D
Cytat: Troll81 w 13 Luty 2015, 23:45
mieć xeona :D
Najpierw dodatkowe 0 do wyplaty XD
Cytat: kva.pl w 13 Luty 2015, 23:54
Cytat: Troll81 w 13 Luty 2015, 23:45
mieć xeona :D
Najpierw dodatkowe 0 do wyplaty XD
Eeetam... X5650 czyli 6 rdzeni/12 wątków Westmere-EP 32nm, TDP 95W, kupowałem po 280zł z FVAT. Płytę X58 s.1366 można kupić za 300-500zł z FVAT.
dla chętnych - http://allegro.pl/2x-xeon-5650-supermicro-x8dth-i-lga1366-fv23-nowy-i5080335363.html
Tak kie porównanie z początkowej dyskusji o projekcie
Proszę zwrócić uwagę na ilość GHz dla CPU
Cytat: Krzysiak_PL_GDA w 12 Lipiec 2014, 11:37
i5-4670k 3,8GHz na sztywno
12 Jul 2014, 8:17:41 UTC 12 Jul 2014, 8:58:43 UTC Zakończone i zwalidowane 1,205.57 1,201.75 13.68 Universe_simulator v0.10
12 Jul 2014, 7:57:58 UTC 12 Jul 2014, 8:36:49 UTC Zakończone i zwalidowane 1,234.65 1,226.72 13.96 Universe_simulator v0.10
12 Jul 2014, 4:02:34 UTC 12 Jul 2014, 4:43:45 UTC Zakończone i zwalidowane 1,208.59 1,200.64 13.66 Universe_simulator v0.10
i7-950 oc 4,1GHz
11 Jul 2014, 14:14:22 UTC 11 Jul 2014, 14:52:02 UTC Zakończone i zwalidowane 1,224.72 1,222.21 14.74 Universe_simulator v0.10
11 Jul 2014, 13:27:41 UTC 11 Jul 2014, 14:32:32 UTC Zakończone i zwalidowane 1,260.46 1,237.51 15.24 Universe_simulator v0.10
11 Jul 2014, 13:27:41 UTC 11 Jul 2014, 14:14:22 UTC Zakończone i zwalidowane 1,233.42 1,226.40 14.82 Universe_simulator v0.10
[/quote]
Przy czym ten pierwszy pobiera pewnie polowe pradu?
i5 to 22 a i7 to 45 um proces.... wiec nie ma co porównywać :d
Ma prawie dwa razy wyższe wyniki w passmark
żre 70 zamiast 105W
no i jest między nimi 4 lata różnicy.....
http://cpuboss.com/cpus/Intel-Core-i7-950-vs-Intel-Core-i5-4670K