Universe@Home - serwer testowy projektu

[pawg]

Co 400 - oszczędność dysków userów  ;)

[krzyszp]

Co 400 - oszczędność dysków userów  ;)

I to spora... każdy checkpoint to 14 operacji na plikach, niektóre z nich dość spore...

[Sebastian M. Bobrecki]

Kiedy ją wypuścisz?

[krzyszp]

Kiedy ją wypuścisz?

Jeszcze mam drobne problemy z checkpointami (w niektórych, rzadkich przypadkach pliki checkpointu są lekko zmienione, szukam przyczyny).

[Sebastian M. Bobrecki]

 Ale to nie jest jakiś problem z CR-LF?

[krzyszp]

Nie. po prostu czasami przerwanie programu może nastąpić podczas wykonywania operacji na plikach, wtedy występują błędy. dodatkowo chyba znalazłem buga, którym jest niezerowanie jednej ze zmiennych (bądź też nie ma być zerowana, a w takim przypadku muszę zapisać także jej stan). W efekcie muszę czekać na konsultację z autorem aplikacji, żeby to dograć...

Ps. Masz już Sebastian uprawnienia na głównej :)

[krzyszp]

Wypuściłem testowo 1k WU z nową aplikacją, która oprócz zmianami w algorytmach zawiera także checkpointy. Aplikacja wykonuje teraz 12k symulacji zamiast 4k, czyli powinna się wykonywać ok 3 razy dłużej.
Checkpointy ustawiłem na co 200 symulacji, więc łatwo możecie policzyć, jak często będą się wykonywać na Waszym sprzęcie.

[Sebastian M. Bobrecki]

Na sam koniec, jak już było 100%, dostałem błąd :(

[krzyszp]

Na sam koniec, jak już było 100%, dostałem błąd :(

Jaki?
Podejrzewam, że w templatce może być błąd (sławne znaki końca linii w xml'u)...

Znalazłem, był błąd, kasujcie WU...

[Sebastian M. Bobrecki]

Kod [Zaznacz] Rozwiń

http://universeathometest.info/universe/result.php?resultid=5958700

[krzyszp]

Czeski błąd w templatce... Moja wina, następna porcja w drodze...

[mimeq]

Kod [Zaznacz] Rozwiń

2015-02-13 16:28:26 | Universe@Home Test | Scheduler request completed: got 28 new tasks


te juz ok ?

[krzyszp]

Powinny być ok...

[Krzysiak]

i7-4790k wywalił same błędy   :(
i7-4770K widzę podobnie  :(

Kod [Zaznacz] Rozwiń

http://universeathometest.info/universe/workunit.php?wuid=2944267

[krzyszp]

Pierwsze WU - to, co pisałem powyżej, drugie (te z wyższym numerem), to przekroczona dopuszczalna wielkość plików wynikowych - poprawione w trzeciej serii, seria anulowana...

Przepraszam, nie wziąłem pod uwagę, że wielkość plików wzrosła tak bardzo, na moich testowych WU była mniejsza (bo puszczałem krótkie WU do testów).

Teraz mam nadzieję, że będzie dobrze, w trzeciej serii z kolei - "universe3_3_1...."

[Krzysiak]

Czy jest z powodowane wydłużenie czasu liczenia próbek ?
Czy przekłada się to na wyższą punktację ?

[krzyszp]

Wydłużenie czasu próbek było zakładane od początku, tylko musiało poczekać na checkpointy.
Po prostu więcej symulacji w jednym przebiegu (WU) daje bardziej precyzyjne rezultaty dla danego parametru wejściowego.

Punktacja jest analogiczna, napisany przeze mnie generator WU nadaje punktację proporcjonalnie do ilości symulacji, więc na godzinę liczenia zawsze przypada ta sama ilość punktów (oczywiście, nie licząc strat spowodowanych przerwaniem WU i stratą kilku minut liczenia).

Zastanawiałem się nad zwiększeniem współczynnika punktowego dla tych WU, ale jednak projekt cały czas "płaci lepiej" niż standard, więc raczej to się nie zmieni...

Edit:
Zmieniłem też częstotliwość checkpointów, teraz jest zamiast co 500 symulacji zamiast co 200... Przy mniejszej liczbie i 8 wątkach dysk mieli właściwie bez przerwy... Być może ustawię co 1000, ale najpierw zobaczę te 500...

[Krzysiak]

Teraz tylko pobiera wysyła pliki od 15 do 30 MB

[krzyszp]

Trochę krótko u Ciebie działał... 3600s to IMHO coś może być nie tak, poczekamy, aż się zwaliduje (lub nie)...

[kva.pl]

Co 500 to IMO za sporo za czesto, co 8% mniej wiecej. A to dalej krotkie WU wiec na dobra sprawe co pare minut na szybkich maszynach dla pojedynczego WU. Bez sensu :)

[krzyszp]

Co 500 to IMO za sporo za czesto, co 8% mniej wiecej. A to dalej krotkie WU wiec na dobra sprawe co pare minut na szybkich maszynach dla pojedynczego WU. Bez sensu :)

Muszę sprawę wypośrodkować... niestety, ale duża część maszyn wykona te WU w 3-4 godziny, a dla nich to już nie będzie tak często... Ale pewnie zmienię na 1000, skoro apka docelowo będzie robić 20k symulacji w przebiegu...

[kva.pl]

A nie ma opcji zeby byly long i short WU? Wiele projektow cos takiego ma wiec to chyba siedzi w opcjach serwera?

[krzyszp]

A nie ma opcji zeby byly long i short WU? Wiele projektow cos takiego ma wiec to chyba siedzi w opcjach serwera?

Nie do końca :)

Long i short WU są "tworzone" na dwa sposoby:
1. Przy generowaniu WU - ale wtedy user nie ma opcji wyboru, musi ręcznie kasować WU, których nie chce.
2. Za pomocą drugiej aplikacji.

To drugie rozwiązanie jak najbardziej się pojawi. Będzie wykorzystywane dla układów, którym trzeba się dokładniej przyjrzeć (WU nawet 20h będzie potrzebował + sporej ilości miejsca na dysku).

Oczywiście, można by próbować odpowiednio oskryptować preferencje, ale ja tego nie będę robił, z kilku powodów.

[Krzysiak]

Teraz skończyła się próbka 3v 0,03 z podobnym czasem 3600s

Kod [Zaznacz] Rozwiń

5962699 2944106 13 Feb 2015, 18:31:39 UTC 13 Feb 2015, 20:01:15 UTC Zakończone, oczekuje na walidację 3,630.46 3,620.78 oczekuje universe3 v0.03

[krzyszp]

Tak, obserwuję, WU się zaczynają ładnie walidować (133,33pkt), więc zapuściłem serię 100k zadań (200k WU).

Oczywiście, podczas generowania zadań serwer się przytka, ale generalnie za kilka/naście godzin dojdzie do siebie.

[Sebastian M. Bobrecki]

Krzyszp a ty używasz do stwierdzenia kiedy robić checkpoint tylko liczbę iteracji czy też tych boinc-owych api:

Kod [Zaznacz] Rozwiń

int boinc_time_to_checkpoint();
void boinc_checkpoint_completed();
i ewentualnie;

Kod [Zaznacz] Rozwiń

boinc_set_min_checkpoint_period(int nsecs);?

[Krzysiak]

Trochę krótko u Ciebie działał... 3600s to IMHO coś może być nie tak, poczekamy, aż się zwaliduje (lub nie)...

Wygląda na to że czasy jak najbardziej prawidłowe  :)

Kod [Zaznacz] Rozwiń

5961783 2944558 13 Feb 2015, 17:27:25 UTC 13 Feb 2015, 19:01:31 UTC Zakończone i zwalidowane 3,661.83 3,653.91 133.33 universe3 v0.01

[krzyszp]

Ilość iteracji.

Użycie API spowodowałoby, że musiałbym bardzo dużo zmian w kodzie zrobić, co skutkowało by koniecznością przeprowadzenia dalszych testów (i to dużych)... Niestety, ilość czasu jaką mogę poświęcić na projekt jest ograniczona kilkoma czynnikami, więc obrałem najprostszą metodę...

[krzyszp]

Wygląda na to że czasy jak najbardziej prawidłowe  :)

Tak, zaskoczyła mnie moc tego CPU ;)

[Krzysiak]

Sztywno mam ustawione 4,4GHz
Ciekawe czy dało by coś zastosowanie dedykowanych instrukcji AVX itp

Bo po temperaturach przy liczeniu na 4 jajka i tak działa z 50% mocy :)

Tak dla porównania
X3360 @ 2.83GHz

Kod [Zaznacz] Rozwiń

5961682 2944507 200 13 Feb 2015, 17:15:31 UTC 13 Feb 2015, 20:49:20 UTC Zakończone i zwalidowane 8,061.64 7,964.73 133.33 universe3 v0.01

[krzyszp]

To Ty masz wyłączone HT?

[Krzysiak]

Nie
Mam ustawione w systemach wieloprocesorowych używaj nie więcej niż 50% (4 zadania się liczą)
W tle gra muza z YouTube + przeglądam internet

lub (czas ten sam)
Mam ustawione w systemach wieloprocesorowych używaj nie więcej niż 25% (2 zadania się liczą)
W tle gra muza z YouTube + przeglądam internet + gram World of Tanks

I dlatego twierdze że CPU jest niedociążony przez projekt  :)

[kva.pl]

Ech cholera miec I7  :-[

[Troll81]

mieć xeona :D

[kva.pl]

mieć xeona :D

Najpierw dodatkowe 0 do wyplaty  XD

[LQG]

mieć xeona :D

Najpierw dodatkowe 0 do wyplaty  XD

Eeetam... X5650 czyli 6 rdzeni/12 wątków Westmere-EP 32nm, TDP 95W, kupowałem po 280zł z FVAT. Płytę X58 s.1366 można kupić za 300-500zł z FVAT.

[Troll81]

dla chętnych - http://allegro.pl/2x-xeon-5650-supermicro-x8dth-i-lga1366-fv23-nowy-i5080335363.html

[Krzysiak]

Tak kie porównanie z początkowej dyskusji o projekcie
Proszę zwrócić uwagę na ilość GHz dla CPU

i5-4670k 3,8GHz na sztywno

Kod [Zaznacz] Rozwiń


12 Jul 2014, 8:17:41 UTC 12 Jul 2014, 8:58:43 UTC Zakończone i zwalidowane 1,205.57 1,201.75 13.68 Universe_simulator v0.10
12 Jul 2014, 7:57:58 UTC 12 Jul 2014, 8:36:49 UTC Zakończone i zwalidowane 1,234.65 1,226.72 13.96 Universe_simulator v0.10
12 Jul 2014, 4:02:34 UTC 12 Jul 2014, 4:43:45 UTC Zakończone i zwalidowane 1,208.59 1,200.64 13.66 Universe_simulator v0.10

i7-950 oc 4,1GHz

Kod [Zaznacz] Rozwiń


11 Jul 2014, 14:14:22 UTC 11 Jul 2014, 14:52:02 UTC Zakończone i zwalidowane 1,224.72 1,222.21 14.74 Universe_simulator v0.10
11 Jul 2014, 13:27:41 UTC 11 Jul 2014, 14:32:32 UTC Zakończone i zwalidowane 1,260.46 1,237.51 15.24 Universe_simulator v0.10
11 Jul 2014, 13:27:41 UTC 11 Jul 2014, 14:14:22 UTC Zakończone i zwalidowane 1,233.42 1,226.40 14.82 Universe_simulator v0.10
[/quote]

[kva.pl]

Przy czym ten pierwszy pobiera pewnie polowe pradu?

[Troll81]

i5 to 22 a i7 to 45 um proces.... wiec nie ma co porównywać :d
Ma prawie dwa razy wyższe wyniki w passmark
żre 70 zamiast 105W

no i jest między nimi 4 lata różnicy.....

Kod [Zaznacz] Rozwiń

http://cpuboss.com/cpus/Intel-Core-i7-950-vs-Intel-Core-i5-4670K