[ANKIETA] Czy Szopler ma zacząć optymalizować SKBP3 ?

Zaczęty przez Tobas, 16 Listopad 2012, 10:51

Krótko i na temat. Czy robimy próbę optymalizacji SKBP nr 3

Tak - niech ma pełen dostęp i zrobi to co uważa za najlepsze.
Nie - niech zostanie tak jak jest.

_Aleksander_

Cytat: Ania w 17 Listopad 2012, 11:04
Ale to właśnie robimy ! Staramy się tą wiedzę zebrać i wykorzystać (bo ta wiedza jest, a korzysta z niej tylko kilka osób (jak piszesz) - dyskutując, optymalizując SKB@P ją wykorzystujemy i trafia ona do szerszego grona osób, która ją wykorzystuje i nasza siła rośnie) !!!  Nie rozumiem co robimy źle  :dunno:

Jest takie powiedzenie "Jeśli nie masz celu to nigdy go nie osiągniesz." Po lekturze wątku nadal nie znam tego celu.

Zacytuję z naszej wiki http://www.boincatpoland.org/wiki/Superkomputer_BOINC@Poland:  "SKB@P liczy projekty, których próbki pojawiają się sporadycznie, a w których zależy nam na utrzymaniu wysokiej pozycji, tj. LHC@home i RALPH@home. Dodatkowo podłączany jest także projekt miesiąca."

Czy to jest dalej cel dla naszej floty SKBP ? Które obecnie projekty należą do tego grona? Może od tego rozpoczęlibyśmy dyskusję?

mimeq

Przy problemach z PM CPU Listopad (oproject) liczona byla enigma (SKB@P top1 user w teamie) i NumberFields chec zlikwidowania roznicy do 1 w PL PNT (moze malo realna tymi zasobami ale kazdy pkt to pkt blizej). Wiekszosc GPU liczyla "na pkt" Moo i DistrRTgen, tylko 2 przelaczalem na potrzeby PM lub wyscigu (GPUGrid i Einstein).
Obecnie przelaczam wszystko do stanu wyjsciowego czyli GPU na Moo i DistrRTgen a CPU na PM czyli Oproject.
Dla mnie osobiscie dyskusja w watku o optymalizacji SKB@P stanowi zarzut nieumiejetnego zarzadzania tymi zasobami wiec nie beda przezemnie przestawiane na inne projekty bez odgornego "polecenia" jedynie dogladane zeby liczyly bez przerw.

Glos w ankiecie na NIE.


Ania

Cytat: mimeq w 17 Listopad 2012, 17:45
Obecnie przelaczam wszystko do stanu wyjsciowego czyli GPU na Moo i DistrRTgen a CPU na PM czyli Oproject.
Dla mnie osobiscie dyskusja w watku o optymalizacji SKB@P stanowi zarzut nieumiejetnego zarzadzania tymi zasobami wiec nie beda przezemnie przestawiane na inne projekty bez odgornego "polecenia" jedynie dogladane zeby liczyly bez przerw.

Bardzo zła interpretacja wątku przez Ciebie. Nigdy tak nie twierdziłam i nie wiem kto tak twierdzi (ale dzięki temu będzie trudniej). W ten sposób można orzec że jakiekolwiek zmiany OSKARZAJĄ poprzedników o błędy. Mimo że ich nie ma ... po prostu jest ewolucja środowiska.
Przyszedł po prostu czas że warto jeszcze raz przeglądnąć projekty, miejsca w rankingach i w miarę możliwości tak poustawiać programy, sprzęt aby z niego wycisnąć jeszcze więcej, bo przez ostatni czas zdobyliśmy trochę wiedzy, otoczenie projektów się zmnieniło itp.
Bardzo mi PRZYKRO że uważasz że moim celem było wskazanie jakiejkolwiek nieudolności Adminów. :(

Ania

#43
Cytat: _Aleksander_ w 17 Listopad 2012, 17:09
Zacytuję z naszej wiki http://www.boincatpoland.org/wiki/Superkomputer_BOINC@Poland:  "SKB@P liczy projekty, których próbki pojawiają się sporadycznie, a w których zależy nam na utrzymaniu wysokiej pozycji, tj. LHC@home i RALPH@home. Dodatkowo podłączany jest także projekt miesiąca."

Czy to jest dalej cel dla naszej floty SKBP ? Które obecnie projekty należą do tego grona? Może od tego rozpoczęlibyśmy dyskusję?

Pewnie nie czytałeś dokładnie podstawowego wątku. Ankieta jest jego tylko jednym z wniosków.
Ten cytat był tam wstawiony jako przykład istniejącego już od dawna rozdźwięku pomiędzy tym zapisem a realiami. Tamta idea została trochę zarzucona i to chyba bez ankiety. Czy wiesz co liczy SKB@P ?

Zrobię to dla Ciebie i dla innych:
Ostatni miesiąc liczenia SKB@P:

DistrRTgen   65 536 114
Moo! Wrapper   30 335 765
POEM@HOME   4 677 444
GPUGRID   639 050
NumberFields@home   278 338
Einstein@Home   176 500
PrimeGrid   170 277
Enigma@Home   168 795
MilkyWay@home   152 797
SZTAKI Desktop Grid   151 010
Albert@Home   147 500
FreeHAL   15 807
Primaboinca   15 400
WUProp@Home   11 340
OProject@Home   5513
RADIOACTIVE@HOME   4333
Climate Prediction   3110
Quake Catcher Network   1330
Asteroids@home   840
YAFU   403
SETI@Home   250
LHC@Home Classic   181
Neurona@Home   107
Malaria Control   49
Rosetta@Home   33
DistributedDataMining   11

Wynika z tego (a mimeq to potwierdził) że SKB@P od dawna liczy w większości projekty punktowe. Tabelka to potwierdza  DT, Moo, POEM.  Niewiele tu punktów z PM czy projektów niszowych.
I proszę tego nie wykorzystywać że jest to zarzut przeciw komukolwiek!! :whip:
Po prostu w międzyczasie kilka osób porozmawiało i w DOBREJ WIERZE, z DOBRYMI ARGUMENTAMI na tamten czas zrobiło te zmiany. I dobrze!  i w sumie im zazdroszczę że nie musieli ankiet robić itp.

Zmieniło się otoczenie projektów i zaproponowałam w związku z tym aby uruchomić np. POEM bo powinien na jednym komputerze ze SKB@P dawać więcej niż obecnie DT. Ta zaproponowana optymalizacja miała nam podnieść punkty i co ciekawe pozwoliłaby liczyć (jak się zorientowałam) bardziej pożyteczny projekt niż DT.  Podobnych zmian zostało wskazanych wiele i pewnie pojawią się nowe.

Dodatkowo informacyjnie: poprzednia ankieta o liczeniu przez SKB@P PM-GPU trwała 2,5 tygodnia (pewnie dlatego żę tam się wpisałam :) ), przy czy 95% osób głosujących.oddało głos w ciągu 3 dni (EDIT: przeczytałam dziś tamtą ankietę kilkukrotnie i mały bład mi się wkradł. 95% mail było w ciągu 3 dni - na skróty założyłam że tak samo były oddawane głosy. Polecam przeczytać tamtą ankietę. Zostało tam oddanych 37 głosów. Obecnie tyle samo głosów jest w obecnej ankiecie). Nie było newslettera, nawet propozycji że trzeba to zrobić.
Dlaczego teraz  ?   
Poprzedniej ankiety nt. liczenia, moo, distrRTgen nie znalazłam :(



Ania

#44
Cytat: _Aleksander_ w 17 Listopad 2012, 17:09
Jest takie powiedzenie "Jeśli nie masz celu to nigdy go nie osiągniesz." Po lekturze wątku nadal nie znam tego celu.

Pierwszy cel to
SKB@P3:   3 projekty na GPU: POEM + WCG + Einstein + podpiąć coś CPU jakby POEM nie zajmował akurat kilku rdzeni - pomysł kolegi z zespołu , połaczył ideę optymalizacji z maszyną. Wskazał maszynę SKB@P3 i zobowiązał się to osobiście sprawdzić.

Kolejne będą podobne. Ale nie będą dotyczyły wszystkich maszyn w podobnym zakresie. Będziemy się starać stawiać na różnorodność. Ale też będziemy reagować na wydarzenia (zmiana punktowania projektów, nowe projekty, nowe zasoby sprzętowe, drivery , nowe idee optymalizacji).
W zasadzie to ten projekt OPTYMALIZACJI nigdy się nie skończy ... chyba że przeliczymy już wszystko i nie będzie czego liczyć :)

mimeq

Cytat: Ania w 17 Listopad 2012, 19:36
Cytat: _Aleksander_ w 17 Listopad 2012, 17:09
Jest takie powiedzenie "Jeśli nie masz celu to nigdy go nie osiągniesz." Po lekturze wątku nadal nie znam tego celu.

Pierwszy cel to
SKB@P3:   3 projekty na GPU: POEM + WCG + Einstein + podpiąć coś CPU jakby POEM nie zajmował akurat kilku rdzeni - pomysł kolegi z zespołu , połaczył ideę optymalizacji z maszyną. Wskazał maszynę SKB@P3 i zobowiązał się to osobiście sprawdzić.

Kolejne będą podobne. Ale nie będą dotyczyły wszystkich maszyn w podobnym zakresie. Będziemy się starać stawiać na różnorodność. Ale też będziemy reagować na wydarzenia (zmiana punktowania projektów, nowe projekty, nowe zasoby sprzętowe, drivery , nowe idee optymalizacji).
W zasadzie to ten projekt OPTYMALIZACJI nigdy się nie skończy ... chyba że przeliczymy już wszystko i nie będzie czego liczyć :)

Jak sobie wyobrazasz liczenie POEM WCG i Einsteina na SKB@P3 ? Rownoczesnie ? Niema takiej mozliwosci aby liczylo sie cos na GPU wiecej niz 1 projekt !
POEM i cos na CPU ? Dobrze wiesz ze to niemozliwe sama piszesz w innych miejscach ze zeby wyciagnac max z tego projektu na GPU potrzebny jest bardzo dobry CPU. Przelaczanie miedzy tymi projektami ? Kto to bedzie robil ? Napewno nie ja .... I to tylko 1 komp XD

Przestaje czytac ten i podobne mu watki :fright:


Ania

Czytałeś o planach awaryjnych ? Wiesz że chyba obecnie POEM nie karmi ? Wtedy musi coś innego liczyć. Dlatego takie zestawienie.

mimeq

Zobaczymy za tydzien dwa wyniki powiedzmy ze narazie trzymam kciuki  ;)


EDU Enthusiast

nie wiem dlaczego chcielibyscie poem trzepac ;/ nie jest to sepecjalnie fajny projekt jak wedlug mnie ale da sie go ustawic by uzywal gpu tylko - nie jest to fajne, ale jest.

co do PNT deklaracji ochrony srodowiska ide spalic las lub dwa  :p_arr: (im wiecej jest zanieczyszczen atmosferycznych i mniejszy jest ozon to nasza planeta jest bardziej chlodna... poniewaz poniewaz w dzien paruje wiecej wody i jest wiecej nitrogen w atmospheze co powoduje wiecej chmur - (terraforming) hah i dzieki temu mniej ciepla przechodzi do nas - thus - chlodniejszy klimat... caly ten trend green/eco to sciema... by uzalezniac gospodarki. Jak bym nazwal wypalanie lasow green to bylobu popierane  :deadman:
Dlatego ameryka pali green coal (zielony wegiel)  XD
---

SKBP3 czy 8siem powinnien liczyc to gdzie zwykle pc'ty nie sa wstanie... aktualnie to sa te projekty co licza na gpu... i lepiej stukac pkty na skbp niz personalnymi kompami gdzie nie wypada. SKBP wypada...

Szopler

#49
SKB@P_3 nie jest w stanie nakarmić karty 7970 z obecnym prockiem. GPU usage w granicach 57-59% to wszystko co się tam da osiągnąć w POEM.
Ten zestaw jest tak słaby, że nie jest w stanie wysycić karty graficznej nawet w Milce - usage ~77% chyba, że zwolnimy jeden rdzeń. Dopiero wtedy load w milce dobija do 98-99%.
Jeżeli mamy liczyć POEM to tylko z prockiem klasy i7 gdzie mamy HT i 8 wątków które mogą karmić grafikę.

U siebie z trudem mam GPU load ~90%, ale procek to i7 920 podkręcony na 4GHz... teraz tylko dobieram ilość WU liczonych jednocześnie żeby ilość WU / czas WU zapewniało maksymalny dobowy uzysk... kwestia 9,8 czy 7 WU na raz...

Ania

Z tego wynika, że należałoby zmienić układ sprzętowy (SKB@P3) i połaczyć najlepszą kartę z najlepszym procesorem (licząc na dużą ilość punktów z projektu POEM). Ewentualnie jeśli na razie nie chcemy zmieniać konfiguracji to spróbować realizacji innych pomysłów.

Dla przypomnienia pokazuję najlepsze 10 dni dla konta SKB@P
Date Credit
2012-04-23 5,218,977
2012-05-07 4,320,925
2012-11-11 4,285,827
2012-10-15 4,271,795
2012-04-24 4,243,640
2012-07-13 4,227,566
2012-05-27 4,214,079
2012-06-03 4,212,264
2012-05-29 4,203,301
2012-05-30 4,139,760

Obecnie liczymy na poziomie 2,2 mln - 2,8 mln dziennie. Różnica jest spora.

mimeq

no do czasu "optymalizacji" bylo w ogromnej czesci grubo ponad 3mln/dzien oby tak dalej  XD

http://boincstats.com/en/stats/-1/user/detail/678/lastDays


Ania

Trzeba było poustawiać nowe ustawienia na karcie. Wracamy po testach do podstawowej konfiguracji.
Wiemy że ta karta do POEM wymaga mocniejszego procesora co wymaga zmian sprzętowych.
Dobrze, że zwróciłeś uwagę na spadek. Będzie się do czego odnosić.
Wstawiam wykres RAC SKB@P

[smg id=9754 type=preview align=center caption="SKB@P 20111122"]

lukaszja

Cytat: Ania w 22 Listopad 2012, 15:21
Wiemy że ta karta do POEM wymaga mocniejszego procesora co wymaga zmian sprzętowych.
Aniu. To mówiono Ci już wcześniej ale się upierałaś ;)
http://www.boincatpoland.org/smf/superkomputer-boincpoland/(propozycja)-zmiana-zasad-wykorzystania-superkomputera/msg208698/#msg208698

krzysztofo

Cytat: Ania w 17 Listopad 2012, 19:36
Kolejne będą podobne. Ale nie będą dotyczyły wszystkich maszyn w podobnym zakresie. Będziemy się starać stawiać na różnorodność. Ale też będziemy reagować na wydarzenia (zmiana punktowania projektów, nowe projekty, nowe zasoby sprzętowe, drivery , nowe idee optymalizacji).
W zasadzie to ten projekt OPTYMALIZACJI nigdy się nie skończy ...

eeee Nie rozkręcaj się, najpierw zróbcie optymalizacje tego SKB@P3 !

Ania

Cytat: lukaszja w 22 Listopad 2012, 17:07
Cytat: Ania w 22 Listopad 2012, 15:21
Wiemy że ta karta do POEM wymaga mocniejszego procesora co wymaga zmian sprzętowych.
Aniu. To mówiono Ci już wcześniej ale się upierałaś ;)
http://www.boincatpoland.org/smf/superkomputer-boincpoland/(propozycja)-zmiana-zasad-wykorzystania-superkomputera/msg208698/#msg208698

Pierwszym założeniem było wykorzystanie karty do liczenia POEM wraz z przełożeniem jej do silniejszego sprzętu. Ponieważ zmiany sprzętowe to już duża praca to zrobiliśmy próbę na istniejącym sprzęcie aby nie zepsuć konfiguracji sprzętowej.
Jeśli dobrze kojarzę to ja zaproponowałam a kilka osób wsparło cel, zdecydowana mniejszość odrzuciła zmianę.
Dlaczego masz taką satysfakcję ? ;)

Szopler przy okazji sprawdził możliwości tej karty przy tym procesorze na innych projektach. Wniosek, który można wysnuć to m.in. ten że dołożenie karty do tego procesora nie jest optymalne i mogłaby rozwinąć swoje skrzydła w lepszym sprzęcie.


Szopler

SKB@P_3 obecnie liczy:
Na GPU: Moo! (bo nie potrzebuje rdzenia CPU do karmienia - GPU Load 85% niezależnie czy ma rdzeń czy nie ma).
Na CPU: Constellation (dolicza zapas próbek), a potem wraca do Projektu Miesiąca

EDU Enthusiast

Moo nie liczy dobrze na 7900;

SKB@P3 powinno sie zamnknac i dac 2x 5800 z moo zamiast 7900
Ta 7900 karte powinniscie sprzedac i kupic plyte 1155 (na 2011 nie stac a do tego cpu za podobna cene... 500$)
z chipstem z77 (ivy bridge) spokojnie nakarmicie nastepne generacje kart graficznych (chyba ze wolicie czekac na nowy socket intela z arch 16nm z mcb?)
Jak potanieja te karty 7970 czy 680 to mozna je zakupic spokojnie czy tez nawet nowsze. Bedziemy down z pktami jakis czas ale mozna spokojnie zdobyc jakas karte nvidi czy ati na jej miejsce wiec bedziemy tylko jakies 150k w dol /dzien

Doc

 :wth:

przyszedł czas zmienić team, bo tutaj priorytety się poprzestawiały

Troll81


Ania

Cytat: krzysztofo w 22 Listopad 2012, 19:46
Cytat: Ania w 17 Listopad 2012, 19:36
Kolejne będą podobne. Ale nie będą dotyczyły wszystkich maszyn w podobnym zakresie. Będziemy się starać stawiać na różnorodność. Ale też będziemy reagować na wydarzenia (zmiana punktowania projektów, nowe projekty, nowe zasoby sprzętowe, drivery , nowe idee optymalizacji).
W zasadzie to ten projekt OPTYMALIZACJI nigdy się nie skończy ...

eeee Nie rozkręcaj się, najpierw zróbcie optymalizacje tego SKB@P3 !

SKB@P3 doświadczalnie został sprawdzony że przy tym procesorze osiąga w POEM ok. 300k i ok 350k w Milka  (dziennie). W związku z tym wiemy że aby 7970 lepiej pracowała w POEM potrzebuje conajmniej 3,5 raza większego procesora aby sprawdzić czy jest w stanie osiągnąć więcej niż DT (ok. 1,05 mln).
Aby to sprawdzić nalezy przełożyć kartę. Wcześniej jednak myślę że warto wykonać inne bardziej proste testy na innym komputerze aby sprawdzić czy POEM jest w stanie na tej samej karcie osiągnąć więcej punktów niż DT.
Szopler czy możesz dopisać jakie było wtedy obciążenie GPU i ile rdzeni CPU było wykorzystanych pod aby osiągnąc te wyniki ?

Doc

ale większego w metrach, czy w calach?  :shame:
w razach?  :dunno:

czy ta wielkość razów przekłada się wprost proporcjonalnie na punkty, czy wg jakiegoś współczynnika?  :sick:

:facepalm2:

Szopler

W Moo! będzie jakieś 415k punktów na dobę, więc wracamy do DistrRTgen :).
Oczywiście, żeby być w zgodzie z ideą wspomagania nauki, nie anuluję jednostek które już się zaciągnęły - niech się przeliczą wszystkie :P

Tobas

Cytat: Szopler w 23 Listopad 2012, 13:07
Oczywiście, żeby być w zgodzie z ideą wspomagania nauki, nie anuluję jednostek które już się zaciągnęły - niech się przeliczą wszystkie :P
To się przecież z niczym nie gryzie. Czym szybciej je anulujesz tym szybciej zostaną "uwolnione" i wysłane do innych użytkowników.
Chyba że o czymś nie wiem?

Szopler

#64
Żarcik taki... ;)

Z drugiej strony nie wiem po co ta ankieta skoro już "po ptokach".
SKB@P_3 liczy DistrRTgen + PM Grudnia - LHC@Home Classic + ewentualnie LHC Test4Theory@Home.
Ten komputer ma TYLKO 2GB RAM więc nie pokozaczy... (dlatego też nie widzę sensu odpalać tam OProject)

Ania

Ankieta miała otworzyć drogę do innych testów, które wcześniej przedyskutujemy (być może ktoś już takie testy wykonał).
Obecnie w PM (grudzień) wygrał POEM, który dobrze punktuje i być może na którymś zestawie będzie lepiej punktował niż obecne ustawienia.Czy ktoś widzi potencjał POEM w którymś z komputerów ?

Szopler

#66
Jeżeli gdzieś mamy GPU 5870 z sensownym prockiem to te 500k/day da się wyciągnąć licząc 5 lub 6 WU na raz.
SKB@P_11 widzę - teraz liczy Moo! i wyciąga 320k/day

mimeq

#67
A gdzie jakies ustalenia ze testujemy nastepne kompy ?
Widze ze kolejny komp liczy sobie cos ...

Cytat: Szopler w 23 Listopad 2012, 16:12
Ten komputer ma TYLKO 2GB RAM więc nie pokozaczy... (dlatego też nie widzę sensu odpalać tam OProject)

w oprojekt SKB@P liczy podprojekt GSCE - nie potrzeba ogromnych ilosci pamieci RAM.

Dlaczego na SKB@P11 liczone sa na CPU:

Test4Theory
LHC@Home Classic

Testy mialy dotyczyc GPU.


Ania

Dokładnie.
Wszystkie zmiany w momencie ich zaistnienia (najpóżniej)  a najlepiej dzień wczesniej powinne być podane aby nikt, tym bardziej admini nie byli zaskakiwani.

Szopler

Proponuję zamknąć ten temat.
SKB@P zostanie wkrótce przejęty przez fundację, a funkcję obejmie kierownik wybrany w wyborach powszechnych i tajnych ;)

Ania

Do tego czasu mógłbyś pomóc zajmować się sprzętem :) informaując nas o tym.
Nie wiemy jak szybko uda się ustalić odpowiedzialnych.      Jak poznam dokładniej zasady "odpowiedzialności" za komputery to i Ciebie przedstawię do kandydatur :)

Szopler

Już obecnie jestem P.O. kierownika...

Dlatego ta ankieta, tym bardziej bez ustawionego terminu zakończenia (tylko ten co ją ustawił może podejrzeć głosy) nie ma jakiegokolwiek sensu.

Troll81

ankieta zamknięta. Można komentować wyniki

Bezprym

A jakie są wyniki?
Ja nie widzę... może dlatego, że nie głosowałem.

Tobas


Bezprym


Szopler