AlmereGrid

[Troll81]

Kod [Zaznacz] Rozwiń

http://boinc.almeregrid.nl/

MOżna już zakładac konta. I dopinać sią na boincstats

[emik]

założone i dołączone ;D

[RAD-Poland]

ale to już było  ;)
http://www.boincatpoland.org/smf/index.php/topic,1560.0.html

[emik]

a to Troll ;D

[RAD-Poland]

sorki Troll to jednak inny projekt - tamten to testowy AlmereGrid

konto założone

[emik]

ale skucha  ::)

[Troll81]

bo trza trollowi ufać :D uf uf

[IThorne]

Co to griduje?  :P

[Troll81]

Almery jak nazwa wskazuje :D

[TJM]

Z ciekawości się podłączyłem, jest wielka lipa: zadania startują ale czas CPU stoi na 0, nic się nie dzieje tylko w kółko uruchamiane są jakieś procesy. Po chwili zaczyna zamulać managera, tak że ostatecznie ledwo się ich pozbyłem.

[RAD-Poland]

liczy tak samo jak w projekcie testowym Almere w którym doliczyłem 2k pkt

obciążenie 15-18% CPU na próbkę + duże obciążenie systemu plików (w końcu zakłada setki/tysiąse plików)
projekt nadaje się do liczenia jedynie na VM z dużym buforem pamięci dysku ze względu na straty mocy obliczeniowej,
obecnie w AlmereGrid i AlmereGrid Test liczę po 5 wu na raz (ilość zależy od mocy CPU) i tak nieco mocy zostaje na rdzeniu, przy większej ilości wu rzuca błędami

co do czasu to faktycznie stoi początkowo na 0, następnie zwiększa się o 1sek na 1min przy 32/35sek kończy się przeliczanie wu (100%) a czas zostaje skorygowany na ok 8-9 minut

[Troll81]

może by warto zrobić tabelkę z projektami które opłaca się liczyć na maszynach wirtualnych. Bo to by pomogło zwiększyć RAC drużyny

[RAD-Poland]

generalnie to chyba tylko AlmereGrid, AlmereGrid Test, UH Second Computing i DepSpid

licząc na VM zawsze tracimy pewną moc 1-3% ,niektórych projektów w ogóle nie opłaca się liczyć na VM czasy przeliczeń są kilka razy dłuższe niż na natywnej maszynie (np Hydrogen)

ja nie mam wyboru (główny system Linux64) i na VM liczę projekty które są tylko pod Windą lub projekty których wersje windowsowe są szybsze SHA i Spinhenge (używam do tego celu triali/RC MS 2003Server obecnie 2008 Server jest o kilka procent wydajniejszy i może sobie siedzieć 240 dni)

co do wielkości RAC zespołu to niewielki by to miało wpływ, ewenementem jest projekt GPUGrid w którym podejmowane były próby wykorzystania niewykorzystanej mocy rdzenia współpracującego z GPU (w innym temacie)

generalnie VM są przydatne do przechwytywania większej ilości wu w projektach okresowych (np: LHC), a w  DepSpid do odseparowania sieci (przynajmniej tak mi się wydaje)

[Pigu]

dodam tylko, że DepSpid jest nieaktywny (łącznie z www) od nastu miesięcy i na zmianę się nie zanosi

[TJM]

A jednak mylisz się, depspid ma teraz drugi podprojekt (na razie zamknięte testy) gdzie przygotowywane są nowe aplikacje. Osatnia seria zadań dla głównego projektu była może 3-4 miesiące wstecz (nie pamiętam dokładnej daty).

[Pigu]

ok - cofam - na zmianę się zanosi  :-[

projekt będzie działał podobnie do poprzedniego? wróci pod tą samą nazwą na boincstats? no i czy mają inne www? bo tamto od dawna nie działa :(

[RAD-Poland]

na VM można również liczyć Pirates@Home - gdyż wymaga nowych często testowych wersji Managera Boinc niekoniecznie stabilnych/ odpowiednich dla głównego systemu

EDIT: Depspid - główna strona projektu/forum ok http://depspid.bjoernhenke.de/

[Pigu]

hmm a ja od roku usiłuję wbić na http://depspid.dyndns.org/orig/home.php  |-? :-[

ten nowy adres jest za razem adresem przy dołączaniu do projektu, czy na starym również zadziała?

[TJM]

adres to www.depspid.net i innego nie powinno się używać ze względu na problemy z dynamicznym IP.
Podłączać się nie ma co na razie, bo serwer leży od jakiegoś czasu ze względu na pad hardware.

[Troll81]

poza tym ktoś wspomniał o zamknietych testach??

[OxyOne]

może by warto zrobić tabelkę z projektami które opłaca się liczyć na maszynach wirtualnych. Bo to by pomogło zwiększyć RAC drużyny

Trollu czasami ci sie uda cos madrego wymyslec. uwazam ze to dobry pomysl.

[Troll81]

Całkiem sporo niezłych pomysłów miewam. Ale wiesz ... myślenie strasznie boli. Dlatego wolę nie myśleć.  XD

[AiDec]

Przygladnalem sie blizej temu projektowi, korzystajac z zachety TJM (i poznania flagi noncpu :)). Biorac pod uwage jak ten projekt zajezdza HDD nie polecam nikomu, kto nie ma BOINC`a na RAMdysku (badz czyms podobnym). W ramach testu odpalilem projekt na 3xHDD 7200 SATA II NCQ w/RAID 0. Przy 5-ciu WU jeszcze wszystko bylo ok, ale powyzej 5-ciu WU na raz Warcraft mi sie przycinal :P (w ramach porownania 50WU FreeHAL`a na raz nie przeszkadzalo mi w niczym ;D). Projekt punktuje bardzo, bardzo slabo i albo zajmuje CPU, albo przy uzyciu flagi noncpu zajezdza HDD i to nawet HDD z NCQ (szkoda twardzieli).



Jak tylko bede mial jakis wolny dzien, to przetestuje ten projekt na i-RAM`ach (dla niewtajemniczonych - odpowiednik RAMdysku). Sadze ze korzystajac z RAMdysku mozna troche zaszalec w tym projekcie :). Generalnie widze tylko jeden powod liczenia tutaj. Poniewaz projekt zajezdza HDD i zajmuje CPU, to malo kto w nim liczy - najlepszy ma zaledwie 8k pkt! Zatem mozna latwo zostac gwiazda ;D. Nie powinno byc trudno zdobyc krolewski tron, nawet w statystykach swiatowych XD. I to jest dobry powod do liczenia  :arrr:

[TJM]

Ja wymyśliłem coś takiego, że odpalę linuksa na 128MB Flashdrive na starym kompie z 1,5GB SDRAM, instalnę tam BOINCa żeby sobie coś przeliczał i jednocześnie ustawię RAMdisk który następnie udostępnię w sieci na potrzeby testów z almere.

[RAD-Poland]

testy wykonane

1) klasyczny HDD
- głośna praca dysku (zwłaszcza przy większej ilości próbek, trochę łagodzą duże bufory dyskowe)
= czas pracy CPU ok 490 sek/wu


dynamiczny RAM-Dysk
mount -t ramfs /dev/ram0 /home/xxx/.VirtualBox/RAM-Dysk

2) udostępniony Windzie uruchomionej na VM w trybie współdzielonego katalogu net use X: \\vboxsvr\RAM-Dysk
+ cisza
- wolna obsługa takiego katalogu (bardzo duże obciążenie systemu)
- jedna wu zabiera ok 70MB RAM-Dysku (10MB dane wejściowe + 57MB (40MB dane przeliczane + straty systemu plików, ponad 5400 plików))
- długi czas przetwarzania próbki (padła podczas weryfikacji)

3) udostępniony Windzie uruchomionej na VM z partycją NTFS 4k
+ cisza
+ duża szybkość systemu plików (obciążenie systemu podobne co w punkcie 1)
- jedna wu zabiera ok 70MB RAM-Dysku (10MB dane wejściowe + 57MB (40MB dane przeliczane + straty systemu plików, ponad 5400 plików))
= czas pracy CPU ok 480 sek/wu


EDIT: może inny klaster lub FAT32 zastosowany na partycji dałby lepsze wyniki,
ale system punktowy tego nie uwzględnia, oparty jest o benchmark i czas pracy nad próbką (ale w końcu cisza)  :ph34r:

[TJM]

Hm dziwne. Powiadasz, że katalog udostępniony przez sieć działał bardzo wolno ? U mnie zasadniczo katalogi udostępnione w sieci (gigabit ethernet) z linuksowej macierzy RAID działają szybciej od lokalnego dysku, chociaż przy dużej ilości małych plików nie sprawdzałem. RAMdisk powinien być jeszcze szybszy.

[Troll81]

Ja w almareGrid BoincGrid mam 14,07 punkta a w test Grid 59,36 i nie jestem najlepszy??

[RAD-Poland]

Hm dziwne. Powiadasz, że katalog udostępniony przez sieć działał bardzo wolno ?

to udostępnienie katalogu od strony Windowsa wygląda jak przez sieć, ale w rzeczywistości jest to udostępnione przez wtyczkę/sterownik VirtualBox'a (i w nim jest problem z wydajnością) - Windowsa posiadam tylko na VM (Windows serwer 2008 RCx - trial 240 dni)

[buninek]

Na ramdysk można rownież wykorzystać bardzo szybką pamięć kart graficznych.
Niestety nie na kartch nvidii. Jeśli dysponujesz kartą ati z 256MB lub 512MB warto spróbować.
http://hedera.linuxnews.pl/_news/2002/09/04/_lite/1449.html

[TJM]

Widzę, że niedobrze wpływa na zadania ich wstrzymywanie gdzieś w środku, liczą się później dalej ale na koniec wyskakuje compute error. Wstrzymywanie na początku (w celu zabawy z przełączaniem non_cpu_intensive/cpu_intensive) nie ma takiego wpływu.

[TJM]

http://boinc.almeregrid.nl/top_teams.php?sort_by=total_credit

Najlepszy team ma tylko 7k punktów - moglibyśmy łatwo przejąć pierwsze miejsce.

[AiDec]

I takoz zrobimy :). Juz niedlugo.

[TJM]

Atak na jakiekolwiek pierwsze miejsce będzie jednak trudniejszy niż myślałem. To dlatego, że zadań w projekcie cosik maławo i ciężko dorwać kilkadziesiąt na raz do późniejszego równoległego przetwarzania. Jak się pojawiają, zazwyczaj udaje mi się zassać tylko z 20-30 bo ściągają się bardzo wolno (mają po kilka MB).
Zostawienie jako non_cpu_intensive żeby sobie ściągało po jednym też nie działa wcale lepiej, bo przez 3/4 czasu nie ma żadnego.

[TJM]

Testów ciąg dalszy: karta CF wpięta do kompa z linuksem na pokładzie, system plików ReiserFS udostępniony windowsowi klasycznie przez otoczenie sieciowe, zmapowany dysk sieciowy, sieć gigabit ethernet. Szału nie ma, transfer liniowy sięga ledwo kilka MB/s, ale zadania Almere przeliczają się dużo szybciej.

Niestety zauważyłem w tym projekcie coś bardzo negatywnego: niezależnie od nośnika na którym wszystko się znajduje, od czasu do czasu zdarzają się dłuższe lub krótsze momenty kiedy Almere tak obciąża system, że 98% czasu procesora/procesorów wciąga proces bezczynności. Zazwyczaj na poczatku i na końcu każdego WU, co przy odpalonych kilku WU na raz zdarza się dość często powodując spadek wydajności liczenia innych projektów.

[AiDec]

Testów ciąg dalszy: karta CF wpięta do kompa z linuksem na pokładzie, system plików ReiserFS udostępniony windowsowi klasycznie przez otoczenie sieciowe, zmapowany dysk sieciowy, sieć gigabit ethernet. Szału nie ma, transfer liniowy sięga ledwo kilka MB/s, ale zadania Almere przeliczają się dużo szybciej.

Niestety zauważyłem w tym projekcie coś bardzo negatywnego: niezależnie od nośnika na którym wszystko się znajduje, od czasu do czasu zdarzają się dłuższe lub krótsze momenty kiedy Almere tak obciąża system, że 98% czasu procesora/procesorów wciąga proces bezczynności. Zazwyczaj na poczatku i na końcu każdego WU, co przy odpalonych kilku WU na raz zdarza się dość często powodując spadek wydajności liczenia innych projektów.

A na jakim kompie probowales (proc/mem)? Moze sie okazac ze na odpowiednio szybkim (quad 3-4GHz, 4GB szybkiej mem) kompie cos takiego nie bedzie mialo miejsca.

[TJM]

E7200 3,5GHz, 2GB DDR2/1200. Hardware nie ma tu nic do rzeczy, sam system powoduje takie dziwne zjawisko, proc nagle zostaje bez obciążenia prawdopodobnie non stop czekając na wyniki operacji I/O.

[AiDec]

No to juz mnie bardzo dziwi. Dziwi mnie bo przeciez odpalales Almere na RAMdysku. A na RAMdysku ilosc operacji I/O jest o wiele, wiele wyzsza niz w przypadku normalnego HDD... Wiec na wynik I/O nie powinienes w tym przypadku czekac...

[TJM]

Na RAMdisku też to występowało ale na znacznie mniejszą skalę.

EDIT: Trafiłem na zadanie które za każdym razem przy uruchomieniu wyłączało mi kompa. Nie wiem jak to możliwe, ale miałem ogromny zacier żeby się go pozbyć, dopiero przy którejś z rzędu próbie kliknięcia na snooze przy starcie managera udało mi się przejąć kontrolę.

[RAD-Poland]

też miałem takie zadania (dwie sztuki) VM z Windows Serwer 2008 - wylatywał w kosmos
- pomogło jedynie ręczne zablokowanie zadań,
- co ciekawe to był też problem ze skasowaniem plików, które powstały podczas przetwarzania tych próbek.

[TJM]

Hm zastanawiało mnie czemu ten projekt zamula kompa, zacząłem analizować więc zawartość workunitów. Cargocaptain to nic innego jak klasyczny wrapper, który odpala kilka (kilkanaście?) tysięcy zadań w czasie pracy. Każde trwa max tylko kilka sekund, a na szybkich kompach mniej niż sekundę. Pewnie to tworzenie i zamykanie procesów zamula tak system, i można się spodziewać, że im szybszy nośnik tym efekt będzie bardziej widoczny. A wystarczyłoby dodać odpowiednik sleep(5) między odpaleniami kolejnych zadań i workunity pewnie liczyłyby się 5 razy dłużej, ale za to spokojnie projekt mógłby być liczony przez większą liczbę osób jako non_cpu_intensive, bez nadmiernego mulenia.
Zastanawiam się, czy projekt łyknie anonymous platformę aka app_info - można byłoby zastąpić wszystkie jego exeki wrapperami które na początku odpalają sleepa np. na 5s a dopiero później właściwe polecenie (o zmienionej nazwie), wtedy byłoby wolniej ale bezpieczniej dla systemu. Co więcej, można by się pokusić o jeszcze lepsze rozwiązanie - przechowywanie plików na malutkim, parunastomegabajtowym RAMdisku zamiast w katalogu slot - to by jeszcze bardziej przyspieszyło działanie.