AlmereGrid

Zaczęty przez Troll81, 21 Październik 2008, 08:31

Troll81

http://boinc.almeregrid.nl/

MOżna już zakładac konta. I dopinać sią na boincstats

emik

założone i dołączone ;D


RAD-Poland

ale to już było  ;)
http://www.boincatpoland.org/smf/index.php/topic,1560.0.html

   
WCG:
PG:         YOYO:

     

emik



RAD-Poland

#4
sorki Troll to jednak inny projekt - tamten to testowy AlmereGrid

konto założone

   
WCG:
PG:         YOYO:

     

emik



Troll81

bo trza trollowi ufać :D uf uf

IThorne




Troll81

Almery jak nazwa wskazuje :D

TJM

Z ciekawości się podłączyłem, jest wielka lipa: zadania startują ale czas CPU stoi na 0, nic się nie dzieje tylko w kółko uruchamiane są jakieś procesy. Po chwili zaczyna zamulać managera, tak że ostatecznie ledwo się ich pozbyłem.

W razie jakiejś pilniejszej sprawy - jestem często dostępny na kanale IRC B@P, na forum czasami zapominam zajrzeć lub nie mam czasu.

RAD-Poland

liczy tak samo jak w projekcie testowym Almere w którym doliczyłem 2k pkt

obciążenie 15-18% CPU na próbkę + duże obciążenie systemu plików (w końcu zakłada setki/tysiąse plików)
projekt nadaje się do liczenia jedynie na VM z dużym buforem pamięci dysku ze względu na straty mocy obliczeniowej,
obecnie w AlmereGrid i AlmereGrid Test liczę po 5 wu na raz (ilość zależy od mocy CPU) i tak nieco mocy zostaje na rdzeniu, przy większej ilości wu rzuca błędami

co do czasu to faktycznie stoi początkowo na 0, następnie zwiększa się o 1sek na 1min przy 32/35sek kończy się przeliczanie wu (100%) a czas zostaje skorygowany na ok 8-9 minut

   
WCG:
PG:         YOYO:

     

Troll81

może by warto zrobić tabelkę z projektami które opłaca się liczyć na maszynach wirtualnych. Bo to by pomogło zwiększyć RAC drużyny

RAD-Poland

generalnie to chyba tylko AlmereGrid, AlmereGrid Test, UH Second Computing i DepSpid

licząc na VM zawsze tracimy pewną moc 1-3% ,niektórych projektów w ogóle nie opłaca się liczyć na VM czasy przeliczeń są kilka razy dłuższe niż na natywnej maszynie (np Hydrogen)

ja nie mam wyboru (główny system Linux64) i na VM liczę projekty które są tylko pod Windą lub projekty których wersje windowsowe są szybsze SHA i Spinhenge (używam do tego celu triali/RC MS 2003Server obecnie 2008 Server jest o kilka procent wydajniejszy i może sobie siedzieć 240 dni)

co do wielkości RAC zespołu to niewielki by to miało wpływ, ewenementem jest projekt GPUGrid w którym podejmowane były próby wykorzystania niewykorzystanej mocy rdzenia współpracującego z GPU (w innym temacie)

generalnie VM są przydatne do przechwytywania większej ilości wu w projektach okresowych (np: LHC), a w  DepSpid do odseparowania sieci (przynajmniej tak mi się wydaje)

   
WCG:
PG:         YOYO:

     

Pigu

dodam tylko, że DepSpid jest nieaktywny (łącznie z www) od nastu miesięcy i na zmianę się nie zanosi

TJM

A jednak mylisz się, depspid ma teraz drugi podprojekt (na razie zamknięte testy) gdzie przygotowywane są nowe aplikacje. Osatnia seria zadań dla głównego projektu była może 3-4 miesiące wstecz (nie pamiętam dokładnej daty).

W razie jakiejś pilniejszej sprawy - jestem często dostępny na kanale IRC B@P, na forum czasami zapominam zajrzeć lub nie mam czasu.

Pigu

ok - cofam - na zmianę się zanosi  :-[

projekt będzie działał podobnie do poprzedniego? wróci pod tą samą nazwą na boincstats? no i czy mają inne www? bo tamto od dawna nie działa :(

RAD-Poland

#16
na VM można również liczyć Pirates@Home - gdyż wymaga nowych często testowych wersji Managera Boinc niekoniecznie stabilnych/ odpowiednich dla głównego systemu

EDIT: Depspid - główna strona projektu/forum ok http://depspid.bjoernhenke.de/

   
WCG:
PG:         YOYO:

     

Pigu

hmm a ja od roku usiłuję wbić na http://depspid.dyndns.org/orig/home.php  |-? :-[

ten nowy adres jest za razem adresem przy dołączaniu do projektu, czy na starym również zadziała?

TJM

adres to www.depspid.net i innego nie powinno się używać ze względu na problemy z dynamicznym IP.
Podłączać się nie ma co na razie, bo serwer leży od jakiegoś czasu ze względu na pad hardware.

W razie jakiejś pilniejszej sprawy - jestem często dostępny na kanale IRC B@P, na forum czasami zapominam zajrzeć lub nie mam czasu.

Troll81

poza tym ktoś wspomniał o zamknietych testach??

OxyOne

Cytat: Troll81 w 22 Październik 2008, 10:03
może by warto zrobić tabelkę z projektami które opłaca się liczyć na maszynach wirtualnych. Bo to by pomogło zwiększyć RAC drużyny

Trollu czasami ci sie uda cos madrego wymyslec. uwazam ze to dobry pomysl.
Powyższy post wyraża jedynie opinię autora w dniu dzisiejszym. Nie może on służyć przeciwko niemu w dniu jutrzejszym, ani każdym innym następującym po tym terminie.

[/url]

Troll81

Całkiem sporo niezłych pomysłów miewam. Ale wiesz ... myślenie strasznie boli. Dlatego wolę nie myśleć.  XD

AiDec

Przygladnalem sie blizej temu projektowi, korzystajac z zachety TJM (i poznania flagi noncpu :)). Biorac pod uwage jak ten projekt zajezdza HDD nie polecam nikomu, kto nie ma BOINC`a na RAMdysku (badz czyms podobnym). W ramach testu odpalilem projekt na 3xHDD 7200 SATA II NCQ w/RAID 0. Przy 5-ciu WU jeszcze wszystko bylo ok, ale powyzej 5-ciu WU na raz Warcraft mi sie przycinal :P (w ramach porownania 50WU FreeHAL`a na raz nie przeszkadzalo mi w niczym ;D). Projekt punktuje bardzo, bardzo slabo i albo zajmuje CPU, albo przy uzyciu flagi noncpu zajezdza HDD i to nawet HDD z NCQ (szkoda twardzieli).



Jak tylko bede mial jakis wolny dzien, to przetestuje ten projekt na i-RAM`ach (dla niewtajemniczonych - odpowiednik RAMdysku). Sadze ze korzystajac z RAMdysku mozna troche zaszalec w tym projekcie :). Generalnie widze tylko jeden powod liczenia tutaj. Poniewaz projekt zajezdza HDD i zajmuje CPU, to malo kto w nim liczy - najlepszy ma zaledwie 8k pkt! Zatem mozna latwo zostac gwiazda ;D. Nie powinno byc trudno zdobyc krolewski tron, nawet w statystykach swiatowych XD. I to jest dobry powod do liczenia  :arrr:



Bo jest paru kumpli :),
Bo jest parę w życiu dobrych chwil...


Moja wizytowka i sygnaturka

TJM

Ja wymyśliłem coś takiego, że odpalę linuksa na 128MB Flashdrive na starym kompie z 1,5GB SDRAM, instalnę tam BOINCa żeby sobie coś przeliczał i jednocześnie ustawię RAMdisk który następnie udostępnię w sieci na potrzeby testów z almere.

W razie jakiejś pilniejszej sprawy - jestem często dostępny na kanale IRC B@P, na forum czasami zapominam zajrzeć lub nie mam czasu.

RAD-Poland

#24
testy wykonane

1) klasyczny HDD
- głośna praca dysku (zwłaszcza przy większej ilości próbek, trochę łagodzą duże bufory dyskowe)
= czas pracy CPU ok 490 sek/wu


dynamiczny RAM-Dysk
mount -t ramfs /dev/ram0 /home/xxx/.VirtualBox/RAM-Dysk

2) udostępniony Windzie uruchomionej na VM w trybie współdzielonego katalogu net use X: \\vboxsvr\RAM-Dysk
+ cisza
- wolna obsługa takiego katalogu (bardzo duże obciążenie systemu)
- jedna wu zabiera ok 70MB RAM-Dysku (10MB dane wejściowe + 57MB (40MB dane przeliczane + straty systemu plików, ponad 5400 plików))
- długi czas przetwarzania próbki (padła podczas weryfikacji)

3) udostępniony Windzie uruchomionej na VM z partycją NTFS 4k
+ cisza
+ duża szybkość systemu plików (obciążenie systemu podobne co w punkcie 1)
- jedna wu zabiera ok 70MB RAM-Dysku (10MB dane wejściowe + 57MB (40MB dane przeliczane + straty systemu plików, ponad 5400 plików))
= czas pracy CPU ok 480 sek/wu


EDIT: może inny klaster lub FAT32 zastosowany na partycji dałby lepsze wyniki,
ale system punktowy tego nie uwzględnia, oparty jest o benchmark i czas pracy nad próbką (ale w końcu cisza)  :ph34r:

   
WCG:
PG:         YOYO:

     

TJM

Hm dziwne. Powiadasz, że katalog udostępniony przez sieć działał bardzo wolno ? U mnie zasadniczo katalogi udostępnione w sieci (gigabit ethernet) z linuksowej macierzy RAID działają szybciej od lokalnego dysku, chociaż przy dużej ilości małych plików nie sprawdzałem. RAMdisk powinien być jeszcze szybszy.

W razie jakiejś pilniejszej sprawy - jestem często dostępny na kanale IRC B@P, na forum czasami zapominam zajrzeć lub nie mam czasu.

Troll81

Ja w almareGrid BoincGrid mam 14,07 punkta a w test Grid 59,36 i nie jestem najlepszy??

RAD-Poland

Cytat: TJM w 11 Listopad 2008, 22:48
Hm dziwne. Powiadasz, że katalog udostępniony przez sieć działał bardzo wolno ?
to udostępnienie katalogu od strony Windowsa wygląda jak przez sieć, ale w rzeczywistości jest to udostępnione przez wtyczkę/sterownik VirtualBox'a (i w nim jest problem z wydajnością) - Windowsa posiadam tylko na VM (Windows serwer 2008 RCx - trial 240 dni)

   
WCG:
PG:         YOYO:

     

buninek

Na ramdysk można rownież wykorzystać bardzo szybką pamięć kart graficznych.
Niestety nie na kartch nvidii. Jeśli dysponujesz kartą ati z 256MB lub 512MB warto spróbować.
http://hedera.linuxnews.pl/_news/2002/09/04/_lite/1449.html


TJM

Widzę, że niedobrze wpływa na zadania ich wstrzymywanie gdzieś w środku, liczą się później dalej ale na koniec wyskakuje compute error. Wstrzymywanie na początku (w celu zabawy z przełączaniem non_cpu_intensive/cpu_intensive) nie ma takiego wpływu.

W razie jakiejś pilniejszej sprawy - jestem często dostępny na kanale IRC B@P, na forum czasami zapominam zajrzeć lub nie mam czasu.

TJM

http://boinc.almeregrid.nl/top_teams.php?sort_by=total_credit

Najlepszy team ma tylko 7k punktów - moglibyśmy łatwo przejąć pierwsze miejsce.

W razie jakiejś pilniejszej sprawy - jestem często dostępny na kanale IRC B@P, na forum czasami zapominam zajrzeć lub nie mam czasu.

AiDec

I takoz zrobimy :). Juz niedlugo.



Bo jest paru kumpli :),
Bo jest parę w życiu dobrych chwil...


Moja wizytowka i sygnaturka

TJM

Atak na jakiekolwiek pierwsze miejsce będzie jednak trudniejszy niż myślałem. To dlatego, że zadań w projekcie cosik maławo i ciężko dorwać kilkadziesiąt na raz do późniejszego równoległego przetwarzania. Jak się pojawiają, zazwyczaj udaje mi się zassać tylko z 20-30 bo ściągają się bardzo wolno (mają po kilka MB).
Zostawienie jako non_cpu_intensive żeby sobie ściągało po jednym też nie działa wcale lepiej, bo przez 3/4 czasu nie ma żadnego.

W razie jakiejś pilniejszej sprawy - jestem często dostępny na kanale IRC B@P, na forum czasami zapominam zajrzeć lub nie mam czasu.

TJM

Testów ciąg dalszy: karta CF wpięta do kompa z linuksem na pokładzie, system plików ReiserFS udostępniony windowsowi klasycznie przez otoczenie sieciowe, zmapowany dysk sieciowy, sieć gigabit ethernet. Szału nie ma, transfer liniowy sięga ledwo kilka MB/s, ale zadania Almere przeliczają się dużo szybciej.

Niestety zauważyłem w tym projekcie coś bardzo negatywnego: niezależnie od nośnika na którym wszystko się znajduje, od czasu do czasu zdarzają się dłuższe lub krótsze momenty kiedy Almere tak obciąża system, że 98% czasu procesora/procesorów wciąga proces bezczynności. Zazwyczaj na poczatku i na końcu każdego WU, co przy odpalonych kilku WU na raz zdarza się dość często powodując spadek wydajności liczenia innych projektów.

W razie jakiejś pilniejszej sprawy - jestem często dostępny na kanale IRC B@P, na forum czasami zapominam zajrzeć lub nie mam czasu.

AiDec

Cytat: TJM w 20 Listopad 2008, 14:09
Testów ciąg dalszy: karta CF wpięta do kompa z linuksem na pokładzie, system plików ReiserFS udostępniony windowsowi klasycznie przez otoczenie sieciowe, zmapowany dysk sieciowy, sieć gigabit ethernet. Szału nie ma, transfer liniowy sięga ledwo kilka MB/s, ale zadania Almere przeliczają się dużo szybciej.

Niestety zauważyłem w tym projekcie coś bardzo negatywnego: niezależnie od nośnika na którym wszystko się znajduje, od czasu do czasu zdarzają się dłuższe lub krótsze momenty kiedy Almere tak obciąża system, że 98% czasu procesora/procesorów wciąga proces bezczynności. Zazwyczaj na poczatku i na końcu każdego WU, co przy odpalonych kilku WU na raz zdarza się dość często powodując spadek wydajności liczenia innych projektów.

A na jakim kompie probowales (proc/mem)? Moze sie okazac ze na odpowiednio szybkim (quad 3-4GHz, 4GB szybkiej mem) kompie cos takiego nie bedzie mialo miejsca.



Bo jest paru kumpli :),
Bo jest parę w życiu dobrych chwil...


Moja wizytowka i sygnaturka

TJM

E7200 3,5GHz, 2GB DDR2/1200. Hardware nie ma tu nic do rzeczy, sam system powoduje takie dziwne zjawisko, proc nagle zostaje bez obciążenia prawdopodobnie non stop czekając na wyniki operacji I/O.

W razie jakiejś pilniejszej sprawy - jestem często dostępny na kanale IRC B@P, na forum czasami zapominam zajrzeć lub nie mam czasu.

AiDec

#36
No to juz mnie bardzo dziwi. Dziwi mnie bo przeciez odpalales Almere na RAMdysku. A na RAMdysku ilosc operacji I/O jest o wiele, wiele wyzsza niz w przypadku normalnego HDD... Wiec na wynik I/O nie powinienes w tym przypadku czekac...



Bo jest paru kumpli :),
Bo jest parę w życiu dobrych chwil...


Moja wizytowka i sygnaturka

TJM

#37
Na RAMdisku też to występowało ale na znacznie mniejszą skalę.

EDIT: Trafiłem na zadanie które za każdym razem przy uruchomieniu wyłączało mi kompa. Nie wiem jak to możliwe, ale miałem ogromny zacier żeby się go pozbyć, dopiero przy którejś z rzędu próbie kliknięcia na snooze przy starcie managera udało mi się przejąć kontrolę.

W razie jakiejś pilniejszej sprawy - jestem często dostępny na kanale IRC B@P, na forum czasami zapominam zajrzeć lub nie mam czasu.

RAD-Poland

też miałem takie zadania (dwie sztuki) VM z Windows Serwer 2008 - wylatywał w kosmos
- pomogło jedynie ręczne zablokowanie zadań,
- co ciekawe to był też problem ze skasowaniem plików, które powstały podczas przetwarzania tych próbek.

   
WCG:
PG:         YOYO:

     

TJM

Hm zastanawiało mnie czemu ten projekt zamula kompa, zacząłem analizować więc zawartość workunitów. Cargocaptain to nic innego jak klasyczny wrapper, który odpala kilka (kilkanaście?) tysięcy zadań w czasie pracy. Każde trwa max tylko kilka sekund, a na szybkich kompach mniej niż sekundę. Pewnie to tworzenie i zamykanie procesów zamula tak system, i można się spodziewać, że im szybszy nośnik tym efekt będzie bardziej widoczny. A wystarczyłoby dodać odpowiednik sleep(5) między odpaleniami kolejnych zadań i workunity pewnie liczyłyby się 5 razy dłużej, ale za to spokojnie projekt mógłby być liczony przez większą liczbę osób jako non_cpu_intensive, bez nadmiernego mulenia.
Zastanawiam się, czy projekt łyknie anonymous platformę aka app_info - można byłoby zastąpić wszystkie jego exeki wrapperami które na początku odpalają sleepa np. na 5s a dopiero później właściwe polecenie (o zmienionej nazwie), wtedy byłoby wolniej ale bezpieczniej dla systemu. Co więcej, można by się pokusić o jeszcze lepsze rozwiązanie - przechowywanie plików na malutkim, parunastomegabajtowym RAMdisku zamiast w katalogu slot - to by jeszcze bardziej przyspieszyło działanie.


W razie jakiejś pilniejszej sprawy - jestem często dostępny na kanale IRC B@P, na forum czasami zapominam zajrzeć lub nie mam czasu.