AlmereGrid

[AiDec]

A moze biorac pod uwage Twoje swietne pomysly po prostu napisalbys do tworcow projeku? Ja tam mam o wiele mniejsza wiedze w tym zakresie od Ciebie, ale w GPUGrid udzielam sie jak tylko moge :).

[TJM]

Szczerze mówiąc, to nie chce mi się, z kilku powodów:
1) mój angielski jest za cińki, może bym się z nimi dogadał ale nie lubię nadużywać języka którym nie umiem się posługiwać
2) projekt nie ma żadnego forum gdzie można by coś zaproponować, a pisanie PMów do kolesi, co do których nawet nie wiadomo czy kumają coś po angielsku jakoś mi się nie uśmiecha
3) nie mam czasu ani zbytnich chęci, żeby zgłębiać się bardziej w zasadę działania ich aplikacji, to co wydaje mi się grubym błędem (błędami) może okazać się konieczne i nie do rozwiązania w inny sposób.

Btw, po rozpakowaniu ściągniętych archiwów, w katalogu z workunitem jest 1800 plików .dat które nie są do niczego potrzebne (przynajmniej w WU które widziałem, może są różne rodzaje) - skasowanie ich skraca nieco czas przeliczania WU, ponieważ czas potrzebny na przeglądnięcie katalogu się skraca, ale szału nie ma i różnica jest ledwo dostrzegalna.

[AiDec]

Wreszcie odpalilem jednego kompa z BOINC`em na i-RAM`ie. Chcialem potestowac Almere, ale niestety mam klopot. Niezaleznie czy uzywam noncpuintensive czy nie, zawsze wyglada to u mnie tak:

11/28/2008 10:10:17 AM|AlmereGrid Boinc Grid|Sending scheduler request: To fetch work.  Requesting 2300903 seconds of work, reporting 0 completed tasks
11/28/2008 10:10:22 AM|AlmereGrid Boinc Grid|Scheduler request failed: Error 403
11/28/2008 10:10:22 AM|AlmereGrid Boinc Grid|Sending scheduler request: To fetch work.  Requesting 2300903 seconds of work, reporting 0 completed tasks
11/28/2008 10:10:27 AM|AlmereGrid Boinc Grid|Scheduler request completed: got 0 new tasks


I za nic nie wiem co z tym zrobic. Wczesniej nigdy mi sie to nie zdarzalo - czy moze ktos cos doradzi?




EDIT: no dobra, najpierw nalezy czytac...:

Werkt nu compleet. U kunt u aanmelden om de wetenschap een handje te helpen.

To chyba znaczy ze sie praca skonczyla (moze ktos potwierdzic? czy ktos wciaz otrzymuje WU?). Ale drugiego zdania, to juz ni cholery ;)

[TJM]

Przerwy w dostawie WU to standard, czasami przez cały dzień brakowało. Ja jeszcze parę godzin temu jakieś miałem, teraz też nic.

[AiDec]

Przerwy w dostawie WU to standard, czasami przez cały dzień brakowało. Ja jeszcze parę godzin temu jakieś miałem, teraz też nic.

1. Dalej wali bledami.
2. pobralo jakies 60 WU (dalej walac bledami XD).
3. O ile dobrze pamietam, to error 403 to jest chyba service_unavailable. Mam racje?
4. Odpale 20 taskow na dobry poczatek - zobaczymy efekty (a co, od razu z hardcore`a  ;D).

[TJM]

403 = forbidden. W almere to standard, mają dwa scheduler URLe (prawdopodobnie projekt podzielony na wiele serwerów) z czego pierwszy nigdy nie działa i dopiero przy drugim requeście się udaje.
Mi przed chwilą projekt znów wyłączył kompa, nieźle to wkurzające  >:(

[Troll81]

Jak projekt mógł ci wyłączyć kompa????

[AiDec]

Bo to jest projekt o przejecie wladzy nad swiatem :P  XD



EDIT:

No, i-RAM`y rzadza  ;D. Jak tak dalej pojdzie, to moment i pierwsze miejsce moje  :attack: (pod warunkiem ze serwer nadarzy WU produkowac). WU przeliczyly sie blyskawicznie - ani nie zauwazylem kiedy.

Podczas liczenia jednoczesnie 20 WU Disk usage wynosil:

Min Disk usage: 2%
Max Disk usage: 37%
Average Disk usage: 5%

Niestety, proba odpalenia na raz 48 WU (eksperymentalnie oczywiscie :P) spowodowala brak miejsca na czterogigabajtowym i-RAM`ie po 1 minucie :P. Musze obczaic jaka maksymalna ilosc WU na raz moge puscic.

[TJM]

Normalnie, niektóre zadania mają coś zwalone i wyłączają kompa lub w lżejszym przypadku tylko wywalają samego managera. Jak trafisz na takie zadanie, to zacier jest się go pozbyć, jeżeli samo się nie wykrzaczy. Ja miałem BOINCa w autostarcie i nawet nie mogłem przez to normalnie uruchomić, bo zanim na dobre się pulpit pojawił już się wyłączał  XD

[RAD-Poland]

miałem podobne przypadki, ale AlmereGrid mam uruchomione na trzecim Boinc w dodatku pracującym na VM z jedną partycją RAM-dysk nawet jak coś się sypnie  i wyleci Boinc lub cały system na VM (nawet Win2008serwer się resetuje - na razie 2 razy), pozostałe managery liczą

No, i-RAM`y rzadza  ;D. Jak tak dalej pojdzie, to moment i pierwsze miejsce moje  :attack: (pod warunkiem ze serwer nadarzy WU produkowac). WU przeliczyly sie blyskawicznie - ani nie zauwazylem kiedy.

pierwsze miejsce czeka - brakuje Tobie niecałe 600 pkt
niestety nie mogę liczyć więcej niż 5wu jednocześnie na rdzeń czyli łącznie 10wu (po przekroczeniu tego limitu wu sypią errorami całymi seriami próbek  :(
natomiast uruchomienie większej ilości BM z większą ilością wu powoduje wydłużenie liczenia próbki i wpadam w pułapkę CPU-maksimum time (w końcu punktacja oparta jest o benchmark BM)
z przeliczeń teoretycznych wynika, że maksa jaki mogę wycisnąć z tego projektu to 70pkt/h

tak więc AiDec możesz wyliczyć kiedy obejmiesz 1 miejsce  :attack:

[Troll81]

chyba sobie sprawię te iRAmy :D

[AiDec]

tak więc AiDec możesz wyliczyć kiedy obejmiesz 1 miejsce  :attack:

24h :P  :attack:

[AiDec]

chyba sobie sprawię te iRAmy :D

Spraw sobie. Bardzo polecam. I kilku innym osobom tez. Sa lekko klopotliwe (jak to nietypowe twardziele), ale maskaruja wydajnosciowo wszystkie inne rozwiazania. Jedynie Fusion IO moze do tego podskoczyc, ale i tak nie we wszystkich zastosowaniach. Dobrze wykorzystany i-RAM to potega. Szkoda tylko ze najlepsze z nich, i-RAM BOX`y sa niedostepne :(.

[Pigu]

idzie to w pl kupić?

[Troll81]

w pl nie kupisz :(

[emik]

zostaje tylko ebay

[Pigu]

może urządzimy sobie jakieś teamowe zakupy? ktoś by sprowadził?

[AiDec]

Nic nie musisz sprowadzac - kupujesz na ebay`u, a przesylka przychodzi poczta lub kurierem.



40WU Almere na raz. Plus oczywiscie full load PrimeGrid. Plus oczywiscie GPUGrid. Plus FreeHAL. Komp chodzi plynnie - nawet nie czuje tego Almere :). A wszystko tylko dzieki wpieciu na szybko jednego i-RAM`a. To tylko i-RAM albo Fusion IO potrafia :).

[TJM]

W PL na luzie się kupi, podejrzewam że w każdej hurtowni oferującej sprzęt gigabyte. Ja już się dowiadywałem i jest możliwość sprowadzenia, niestety czas oczekiwania na zamówiony towar w tym przypadku co najmniej 3-4 tygodnie i cena wychodzi mało atrakcyjna w porównaniu z zagranicznymi sklepami/aukcjami.

[AiDec]

W PL na luzie się kupi, podejrzewam że w każdej hurtowni oferującej sprzęt gigabyte. Ja już się dowiadywałem i jest możliwość sprowadzenia, niestety czas oczekiwania na zamówiony towar w tym przypadku co najmniej 3-4 tygodnie i cena wychodzi mało atrakcyjna w porównaniu z zagranicznymi sklepami/aukcjami.

To moze dowiedzialbys sie o i-RAM BOX`y? Ja bym bardzo chetnie zamowil, gdybym tylko mial gdzie... A wtedy i-RAM`y bylyby mi drogi kolego zbedne jesli mnie rozumiesz ;).


EDIT:
RAD: 24h nie wystarcza zeby Cie wyliczyc, skoro WU nie ma :(.

[TJM]

BOXy są nieosiągalne, ponoć nawet zwykłe iRAMy nie są w ogóle w sprzedaży w Polsce, hurtownie nie mają ich w ofercie i stąd trzeba na głowie stawać, żeby je dostać. Chociaż spróbuję zapytać jeszcze znajomego pracującego w pewnym sklepie w Łodzi, już raz załatwił mi sprzęt, którego nigdzie indziej nie było.

Są jakieś przyspieszenia w samym czasie przeliczania WU na iRAMach ? Z moich zgrubnych pomiarów i obliczeń pi razy drzwi wynikało, że zastosowanie jakiegokolwiek nośnika o krótkim czasie dostępu skraca czas o około 20%, nieważne czy jest to RAMdisk czy bufor plikowy sieciowego systemu plików czy też CF-Flashdrive.
Na jakim OSie odpalasz Almery ? U mnie na XP 32bit system przymula od samego uruchamiania setek progsów jeden po drugim, pewnie dlatego, że wrapper odpala je w '16 bit mode'. Aż kusi mnie, żeby zrobić app info i spróbować zmienić to na 32bit.

[AiDec]

Jesli chodzi o i-RAM`y to ja ich widze w okolicy na potege. A jakby doliczyc ebaya i inne takie, to moglbym tysiac od reki kupic. Ale i-RAM BOXow to nawet na zamowienie nie moge dorwac, mimo ze oferuje 100% przebitke :/.


Przyspieszenia przeliczania na i-RAMach nie zauwazylem, ale tez fakt ze sie nie przygladalem. W kazdym razie nie rzucilo mi sie jakos w oczy. Ale pamietaj ze u mnie caly system stoi na `pamieciach` wiec wszystko chodzi tak cholernie szybko, ze mnie to juz nic nie dziwi :P. Anyway przyspieszenia nie stwierdzam, ale nie w tym celu ten sprzet kupowalem ;). Tobie tez i-RAMy polecalbym do innych niz `liczenie` zastosowan (serwer bazodanowy np.) :).


EDIT: Przepraszam TJM. Nie doczytalem Twojego pytania. Almery odpalam na XP32 SP3 i X64 SP2.

Dodatkowe info:

Moge odpalic max 20 WU Almere na raz i przeliczyc wszystkie w 100% bezblednie. Przy wiekszej ilosci (na raz) pojawiaja sie bledy. Ciekaw jestem czy ktoremus z Was udalo sie odpalic ponad 20 WU na raz (25, 30, 40?) i przeliczyc wszystkie w 100% bezblednie? Moze na klasycznym HDD byloby to mozliwe, aczkolwiek zalecam tylko jedna probe (no chyba ze ktos chce zajezdzic HDD :P) - bylbym wdzieczny gdyby ktos mogl taka probe wykonac (odpalic 40 Almerow na noc...?). Anyway i-RAM`y w tej konkurencji poprostu miazdza. Nawet odpalajac na probe 45 WU na raz (wiedzialem ze polowa sie wysypie, ale eksperyment trzeba bylo zrobic :) ) nie zauwazylem ZADNEGO spowolnienia dzialania kompa (wciaz gralem plynnie w Crysisa przy 45 Almerach). Wyglada na to, ze nawet 45 Almerow nie jest w stanie `wygenerowac` tyle polecen zapisu/tworzenia plikow, zeby jeden i-RAM (testowane na JEDNYM i-RAM`ie!) nie byl w stanie sobie z tym poradzic.

Na jakim OSie odpalasz Almery ? U mnie na XP 32bit system przymula od samego uruchamiania setek progsów jeden po drugim, pewnie dlatego, że wrapper odpala je w '16 bit mode'. Aż kusi mnie, żeby zrobić app info i spróbować zmienić to na 32bit.

Wszystko wskazuje mi zatem na to, ze przyczyna lezy tylko i wylacznie po stronie `klasycznego` HDD w Twoim przypadku. I chyba dojdziesz to tego samego wniosku po przeczytaniu moich powyzszych informacji.

[TJM]

Ale ja nie używam klasycznego hdd tylko karty CF na IDE, transfery z tego są na poziomie starszych HDD ale random access time bez porównania lepszy.
Przez samo uruchamianie dużej liczby procesów większość czasu procesora przejmuje u mnie proces bezczynności systemowej, do tego stopnia, że z odpalonymi 4-5 almere żadne inne zadanie nie dostaje już czasu procesora. Co ciekawe, im lepszy 'nośnik danych' tym bardziej daje się to we znaki, ze zwykłego HDD mogę odpalić najwięcej zadań.
Na razie darowałem sobie ten projekt, bo jadąc na jednym managerze bez ciągłej ręcznej ingerencji liczy mi się tylko jedno zadanie na raz, więc punktów za dużo nie naskrobę, a pojedyńcza karta CF to za mało, żeby odpalić z niej więcej managerów z Almerami, zwłaszcza że FreeHALe dużo miejsca ostatnio zajmują (pod koniec przeliczania niektóre podchodzą pod 1GB na dysku).

[AiDec]

Przez samo uruchamianie dużej liczby procesów większość czasu procesora przejmuje u mnie proces bezczynności systemowej, do tego stopnia, że z odpalonymi 4-5 almere żadne inne zadanie nie dostaje już czasu procesora. Co ciekawe, im lepszy 'nośnik danych' tym bardziej daje się to we znaki, ze zwykłego HDD mogę odpalić najwięcej zadań.

Ciekawe. Ja wciaz potwierdzam co napisalem wczesniej, ze nawet przy 45 Almerach `nie czuje` ze cos sie dzieje. Natomiast na HDD juz przy 5-ciu czulem obciazenie dysku. Tak wiec po pierwsze Almery prawie wcale nie ruszaja mi proca (nie wiecej niz FreeHAL - wiesz o co chodzi), a po drugie u mnie czym lepszy `nosnik danych` tym lepiej - zupelnie odwrotnie w stosunku do tego co Ty masz. A moze chodzi o transfer? Karty CF nie maja zbyt dobrego transferu, wiec jesli chodziloby o wewnetrzne (wewnatrz partycji) przerzucanie duzych ilosci danych, to CF moglaby wymieknac (za to i-RAM pokazalby pazury przy wewnetrznym przerzucaniu danych (w obrebie jednej kosci pamieci RAM :D)).

[TJM]

To raczej kwestia jakichś ustawień systemu. Szybkość transmisji nie ma tu praktycznie nic do rzeczy: uruchamiany jest w kółko ten sam exek więc po kilku uruchomieniach siedzi już na pewno w cache dysku, a pliki które ładuje są malutkie. Problem w tym, że mój system tak po prostu reaguje na uruchamianie aplikacji kilka razy na sekundę - ten sam efekt uzyskuję tworząc zapętlony plik .bat w którym uruchamiam w kółko progsa który w ogóle nic nie robi tylko od razu się kończy.

[AiDec]

@RAD:

Jak sie tak dalej bedziemy scigac w Almere, to drugie i trzecie miejsce na swiecie mamy gwarantowane :). Na pierwsze raczej nie mam szans, bo czasu mi brakuje i szczescia (zawsze jak chce sie pobawic Almerem to nie ma WU :P).

[RAD-Poland]

fajnie by było,

@AiDec wczoraj mocno odskoczyłeś i postanowiłem trochę poeksperymentować, odrobiłem straty, nieco później skończyło się to totalną zwiechą kompa

(posiadam tylko 2GB ramu podczas eksperymentu liczenia wu Almere potrzebowałem 1,1GB + 200MB system + 200MB 2xBM pod Linuksem i .... podczas tworzenia statystyk WCG dodatkowe 900MB => nie udało się i 7h przestoju - po powrocie z pracy zamiast wyników zobaczyłem dwie mrugające diody na klawiaturze)  :(

chwilowo muszę trochę przystopować (liczenie Almere pod kontrolą) - nie odpuszczam wyścig trwa  ;)

- generalnie problemy zaczęły się przy tworzeniu statystyk wcg - skrypt potrzebował ponad 2,5GB ramu ?
po przeróbkach (wczytanie tylko jednego pliku) 900 MB i tak nie rozumiem dlaczego funkcja simplexml_load_file  wczytanie/parsowanie (bo chyba tak to się nazywa) 50MB pliku potrzebuje 800MB ramu

[AiDec]

@RAD: narzuciles ostre tempo :). Tak ostre, ze szczerze Ci powiem dlugo takiego tempa nie utrzymam :). Jak udalo Ci sie osiagnac tak swietne wyniki?

[malpi]

Jak chłopaki takie tempo utrzymacie do północy to może "1" bedzie nasze.
A co do projektu w pierwsze 7 jest 4 polaków wg. RAC

[AiDec]

A co do projektu w pierwsze 7 jest 4 polaków wg. RAC

Tak dziala wewnetrzna rywalizacja  XD

[RAD-Poland]

@RAD: narzuciles ostre tempo :). Tak ostre, ze szczerze Ci powiem dlugo takiego tempa nie utrzymam :). Jak udalo Ci sie osiagnac tak swietne wyniki?

1. zredukowałem ilość potrzebnej pamięci RAM przy tworzeniu statystyk (przejście na obróbkę pliku txt jak mnie uczono ponad 10lat temu)
- 2,5GB -> 900MB -> 150MB RAM (obecnie)
- niestety wzrósł czas przygotowania statów 20sek -> 3min (raz na 6h da się wytrzymać - moja strata)  ;)

2. eksperymenty z Boinc Managerem (jak podam to już przegrałem ten wyścig, a co mi tam)  XD
- zauważyłem, że BM ściąga próbki AlmereGrid dopóki nie ściągnie jednej kompletnej i nie rozpocznie przeliczania
- uruchamiam czystego BM bez próbek (na VM lub BM drugi równolegle)
- "dławię" łącze "Maximum download rate" do 1KB/s
- w tym czasie BM inicjuje pobieranie 10 wu co 7sek (zbieram tyle wu ile potrzebuję)
- zwiększam download na maxa
- w BM client_state.xml brak/skasowana linia <non_cpu_intensive/>
- w BM cc_config.xml ustawoine tyle cpu ile mogę przeliczać Almerek -> ncpus = xxxMB_RAM/100MB

Jak chłopaki takie tempo utrzymacie do północy to może "1" bedzie nasze.

wow nie zauważyłem, no to warto trochę jeszcze pociągnąć
wczoraj już spasowałem przygotowuję się do wyścigu w PrimeGrid
w projekcie 3x+1@home  mam 22k i chcę dociągnąć do 30k_pkt (jeszcze 8k, a czasu coraz mniej)
1 miejsce w AlmereGrid będziemy mieli na bank (ale nie koniecznie dzisiaj)  :attack:

[TJM]

- zauważyłem, że BM ściąga próbki AlmereGrid dopóki nie ściągnie jednej kompletnej i nie rozpocznie przeliczania

Tak samo jest we FreeHALu, ale tylko kiedy nie ma żadnego wcześniejszego zadania czekającego na odesłanie. Stąd używanie tricku NNW, update, wyłączenie NNW, update przy przydławionej sieci powoduje zassanie większej ilości zadań.
Niestety FreeHAL ma limit 5/core :-(

[Pigu]

hal skrajnie drażni mój hdd - jak zrobić ramdisk?

[TJM]

Gdzieś wcześniej pisałem, jest programik w którym sprowadza się to do paru kliknięć i na dodatek jest on darmowy.
Nie wiem tylko czy da radę FreeHALa na RAMdisku, przez ten zakichany stderr.txt - dla niektórych zadań puchnie on do kilkuset MB, trafisz na raz dwa takie i po prostu się sypną. Na dodatek takie sypnięcie z miejsca wykrzacza też managera (poprzez brak miejsca na dysku client state). Trzebaby było wjechać na forum projektu i ponarzekać na ten stderr.txt, raczej nie jest on do niczego potrzebny poza ich testami (na serwer na pewno nie jest uploadowany), więc mogliby go usunąć w publicznej wersji aplikacji. Wtedy sam bym RAMdisk odpalił i drugie tyle zadań co mam teraz %-)

[Pigu]

Gdzieś wcześniej pisałem, jest programik w którym sprowadza się to do paru kliknięć i na dodatek jest on darmowy.

naprowadź jeszcze troszeczkę :-[

[AiDec]

eksperymenty z Boinc Managerem (jak podam to już przegrałem ten wyścig, a co mi tam)  XD
- zauważyłem, że BM ściąga próbki AlmereGrid dopóki nie ściągnie jednej kompletnej i nie rozpocznie przeliczania
- uruchamiam czystego BM bez próbek (na VM lub BM drugi równolegle)
- "dławię" łącze "Maximum download rate" do 1KB/s
- w tym czasie BM inicjuje pobieranie 10 wu co 7sek (zbieram tyle wu ile potrzebuję)
- zwiększam download na maxa
- w BM client_state.xml brak/skasowana linia <non_cpu_intensive/>
- w BM cc_config.xml ustawoine tyle cpu ile mogę przeliczać Almerek -> ncpus = xxxMB_RAM/100MB

Robie cos podobnego, ale tylko podobnego. Jeszcze tego nie rozpracowalem dokladnie :).

Sciagam jakies 10-15 kompletnych WU (mam wtedy jeszcze ze 100 WU w kolejce sciagania). Zapinam noncpuintensive i dlawie download na 50KB. Tyle nowych WU co mi sie sciagnie, to akurat tyle starych powinno sie przeliczyc, a ja caly czas powinienem miec 10-20 WU przeliczanych na raz. W teorii :P. Na razie w praktyce jeszcze nie wyglada to tak rozowo :P.

[AiDec]

Czy ktos wie moze jak sprawdzic czy serwery Almere maja probki? Od dwoch dni nie moge dorwac wiecej niz 1 WU na jakies 2h. A potrzebuje 50/h. Nie wiem czy dac sobie spokoj, czy probowac dalej (kosztem czasu przeliczania innych projektow). A niestety nigdzie nie moge znalezc info o statusie serwerow Almere. Czy ktos zna moze jakiegos linka?

[RAD-Poland]

Server status page

[AiDec]

Dzieki. I sadze ze dobrze rozumiem:

Results ready to send   0
Results in progress   1,174

Ze ludziska maja w qpie 1174 WU i wlasnie je przetwarzaja, ale nie ma nowych WU do wyslania tak?

[emik]

dobrze rozumiesz a aktualnie 15 wu do wysłania