FreeHAL@home

[AiDec]

Zero problemow, jedynie czasami serwer im wysiada - badzcie cierpliwi, to wszystko.

[emik]

u mnie to wisi od poniedziałku i nie może zaraportować :(

[Szopler]

Ja mam inny problem na kompie z linuksem (serwer). Skubany kolejny raz nie może pobrać pliku ~25MB. Przez to liczenie na nim stoi.

[emik]

a ogólnie to jak wchodzę na swoje konto to nie mam wykazanych żadnych zadań

[malpi]

a może macie na to jakąś pomocną rade??

2008-11-14 07:59:07|FreeHAL@home|Sending scheduler request: Requested by user.  Requesting 1 seconds of work, reporting 10 completed tasks
2008-11-14 07:59:32|FreeHAL@home|Scheduler request failed: Error 403

[malpi]

Sorki że jeden pod drugim ale nie moge modyfikować wcześniejszego posta wałki już nie przejda zabezpieczyli sie :D

2008-11-14 08:10:28|FreeHAL@home|Sending scheduler request: Requested by user.  Requesting 1 seconds of work, reporting 10 completed tasks
2008-11-14 08:10:53|FreeHAL@home|Scheduler request succeeded: got 1 new tasks
2008-11-14 08:10:53|FreeHAL@home|You used the wrong URL for this project
2008-11-14 08:10:53|FreeHAL@home|The correct URL is http://boinc.freehal.org/projects/freehal_at_home/
2008-11-14 08:10:53|FreeHAL@home|You seem to be attached to this project twice
2008-11-14 08:10:53|FreeHAL@home|We suggest that you detach projects named FreeHAL@home,
2008-11-14 08:10:53|FreeHAL@home|then reattach to http://boinc.freehal.org/projects/freehal_at_home/

[Szopler]

http://boinc.freehal.org/projects/freehal_at_home/results.php?userid=126

Za darmo to ja liczy nie bede!

[TJM]

Rzeczywiście 0 credits za 3/4 zadań, już wcisnąłem NNW, zwłaszcza że coś zrobili z zadaniami i teraz wciągają dużo proca.

[AiDec]

Noooo, tez mi sie to nie podoba... Trzeba znalezc cos innego ;)

Eh kurde, FreeHAL sie skonczyl, 3x+1 zamkneli :(. Wszystkie punktodajne zrodla mi pozamykaja :(.

[Pigu]

milka wciąż mniej lub bardziej intensywnie karmi

[AiDec]

Ale we FreeHAL`u dodatkowo team ladnie cisnie. Juz mamy czwarte miejsce, z bardzo duzymi szansami na trzecie :). Chyba chocby dlatego pozostane przy tym projekcie :).

[TJM]

Daj znać jak sytuacja z kredytami wróci do normy, to też się z powrotem podepnę.

[TJM]

Widzę trochę zmian:
1) projekt sam pobiera i liczy na raz kilka WU, nawet bez non_cpu_intensive, ale tylko jeśli ustawiony ma duży resource share i bufor w kliencie jest dość sporo naprzód;
2) wrapper projektu pokazuje teraz wall clock time zamiast CPU time, stąd zmiany w kredytach i wydaje się jakby zadanie ciągło proca, ale nie ciągnie
3) zadania są jakby krótsze - ostatnie 3 przeliczyły mi się w ciągu 10-15 minut.


W temacie 2x BOINC na windzie - obecnymi buildami klientów nie da rady. Zarówno 5.10.x jak i 6.x używają global mutexa i dlatego wykrywają, że jest uruchomiony drugi BOINC. Wczesne bety 6.x raczej tego nie miały, bo spokojnie dawały się odpalać jako drugi klient.
Raczej nie byłoby zbyt trudne usunięcie tego, myślę że max parę godzin jeżeli mutex jest używany do czegoś jeszcze i kilkadziesiąt minut jeśli nie jest + kompilacja w Visual Studio 2005 Express. Taki klient niestety miałby gorsze benchmarki od normalnego, ale do FreeHALa powinien wystarczyć.

[TJM]

FreeHAL czasami potrafi być wkurzający:



jedno zadanie przyblokowało się na 12h, po czym w końcu ruszyło i oczywiście 0 credits.

[Troll81]

ja tam jakiś RAC mam dodatni w projekcie choć rzeczywiście sporo zadań ma 0 credits.

[TJM]

Dostajecie jakieś długie zadania, które trwają kilka-kilkanaście godzin i przeliczają się poprawnie czy też ciągle trafiam jakieś walnięte ? Nie wiem czy abortować to czy ciągnąć dalej, mam kolejne które już 5h+ ma na liczniku i dalej się człapie.

Oraz czy jest ktoś zainteresowany klientem 5.x/6.x pod windows, który da się odpalić jako drugi ? Myślę, że dałbym radę taki wykrzesać, ale jak mam robić tylko dla siebie to mi się nie chce  :D

[OxyOne]

Dostajecie jakieś długie zadania, które trwają kilka-kilkanaście godzin i przeliczają się poprawnie czy też ciągle trafiam jakieś walnięte ? Nie wiem czy abortować to czy ciągnąć dalej, mam kolejne które już 5h+ ma na liczniku i dalej się człapie.

Oraz czy jest ktoś zainteresowany klientem 5.x/6.x pod windows, który da się odpalić jako drugi ? Myślę, że dałbym radę taki wykrzesać, ale jak mam robić tylko dla siebie to mi się nie chce  :D

masz to samo co ja mialem -ja zrezygnowałem
zauwaz ze nie liczy tylko czas idzie
np milke liczy mi 8core a free jest jako dziewiaty
nie uzywa proca hdd itp wisi, u mnie wisiał przez 54h!!
stwierdziłem ze mnie to troche przeszkadza wizualnie i wyrzuciłem

[TJM]

Nieno proca trochę tam używa, 45 sekund czasu procesora przez 5 godzin - to mniej więcej w normie dla tego projektu. Tylko że wcześniej były zadania kończące się max po około godzinie, a tu teraz mam nagle takie które wydają się zamotane, nie wiem czy są takie długie czy to bug, ale raczej podejrzewam to drugie - drugi user już to przeliczył z czasem o wiele krótszym i dostał 0 cr %-)

Btw, liczenie wielu zadań równolegle zwiększa częstotliwość występowania '0 credit buga' - podejrzewam, że 0 credit to po prostu nieprawidłowy rezultat, tylko mają skopanego walidatora i nie ustawia reszty flag. Zauważyłem, że zadania tworzą jakieś katalogi w temp i chyba pliki równolegle uruchomionych zadań czasami ze sobą kolidują.

[AiDec]

@TJM: ja bym to WU anulowal. IMHO tak dlugich WU nie ma.


Do wszystkich: Mamy trzecie miejsce na swiecie we FreeHAL`u - gratulacje  ;D

[TJM]

Zainstalowałem właśnie RAMdisk pod windows i skonfigurowałem katalog temp na RAMdisku, skopiowałem tam też całego BOINCa - skończyło się podmieliwanie dyskiem podczas przeliczania FreeHALa no i zaraz testnę almere jak się przelicza na ramdisku.

[Troll81]

koniecznie opiesz rezultaty :D

[TJM]

No więc tak. Pierwsza sprawa to trochę lipa - żeby RAMdisk miał sens pod BOINCa trzeba ustawić min z 1GB, a to oznacza że rozstajemy się z 1GB RAMu. Użyłem freewarowego AR_RAMdiska, który instaluje w systemie sterownik ramdrive (jeden plik .sys) http://www.arsoft-online.com/
Po instalacji ustawiamy parametry (lepiej zaznaczyć emulację dysku lokalnego, inaczej niektóre progsy go nie widzą), reboot i pojawia się nowa literka dysku.
Wystarczy skopiować tam cały katalog BOINC i w rejestrze zmienić ścieżki 'instalacji' i 'data' i tyle.
Co ciekawe, sam boinc i manager hulają szybciej po wrzuceniu na RAMdisk, pewnie to przez ciągłe zapisywanie i odczytywanie z plików state - zwłaszcza rzuca się w oczy przy dużej ilości zadań.

FreeHAL - po zmianie ścieżki TEMP na RAMdisk szybkościowo nic się nie zmieniło, ale odpada pobrzękiwanie dyskiem przy pracy z plikami tymczasowymi (FreeHAL w katalogu temp tworzy cały katalog ze swoimi plikami).

Almere - nie mam niestety żadnego porównania, bo projekt jakiś dziwny czas procesora pokazuje na stronie, zupełnie z kosmosu, ale zadania przeliczają się sporo szybciej niż z HDD i do tego nie ma mielenia dyskiem.

Jako że rozstawanie się z 1GB RAMu trochę dla mnie nie wchodzi w grę, postanowiłem przetestować też szybkość innych nośników. W tym celu napisałem skrypt który tworzy katalog zawierający 10,000 plików o znanej zawartości a następnie:
1) odczytuje zawartość wszystkich plików po kolei
2) dopisuje w każdym pliku na końcu ciąg znaków
3) przeszukuje pliki szukając w nich jakiegoś ciągu
4) odczytuje co drugi plik i tworzy nowy z jego zawartością
5) kasuje nowo stworzone pliki
6) kasuje wszystkie pliki


Testy - punkty to przeliczenie wynikające z proporcji czasu wykonywania, relatywne do szybkości RAMdisku (1000 punktów oznacza 10 razy wolniej od RAMdisku) - RAMdisk jeszcze zapewne by dalej odsadził wszystko inne, ale skrypty AutoIta są interpretowane i pewnie sam skrypt ogranicza prędkość operacji na RAMdisku, a ponadto prędkość jest ograniczana przez sam system plików.

RAMdisk - 10000
Dysk SATA2 ~ 3230
Pendrive USB 2.0 (reklamowany jako bardzo szybki) ~ 650
Pendrive USB 1.1 ~ 280
MP3 Player USB 2.0 - 45 (traci dużo na zapisie, chyba skanuje wszystkie wrzucane pliki)
Przenośny HDD na USB 2.0 ~ 1760 - niezłe zaskoczenie, ale w sumie liniowy transfer też jest duży
karta pamięci CF + interfejs IDE - duży rozrzut między 7000 a 8000, chyba dlatego że tu bardzo ładnie działa keszowanie i opóźniony zapis.
stary flashdrive 128MB IDE ~ 1200 - szału nie ma, ten dysk nawet DMA nie obsługuje a mimo to jest dość szybki.
Dysk sieciowy zmapowany z linuksa (po drugiej stronie macierz RAID) - duży rozrzut między 1300 a 2800 - nie wiem z czego wynika.

Wniosek z tego taki: idę zaraz do sklepu po dużą kartę CF i na niej będzie siedział BOINC. Liniowy transfer z takiej karty nie jest duży, a operacje na małych plikach są szybsze - pewnie dlatego że czas dostępu jest bardzo mały. Karta co prawda ma ograniczoną żywotność (jak większość flashowych urządzeń) - zobaczymy na ile starczy.

EDIT: kurcze zamiast się bawić w skrypty mogłem użyć Sisoft Sandry - ma testy dysków.

[OxyOne]

No więc tak. Pierwsza sprawa to trochę lipa - żeby RAMdisk miał sens pod BOINCa trzeba ustawić min z 1GB, a to oznacza że rozstajemy się z 1GB RAMu. Użyłem freewarowego AR_RAMdiska, który instaluje w systemie sterownik ramdrive (jeden plik .sys) http://www.arsoft-online.com/
Po instalacji ustawiamy parametry (lepiej zaznaczyć emulację dysku lokalnego, inaczej niektóre progsy go nie widzą), reboot i pojawia się nowa literka dysku.
Wystarczy skopiować tam cały katalog BOINC i w rejestrze zmienić ścieżki 'instalacji' i 'data' i tyle.
Co ciekawe, sam boinc i manager hulają szybciej po wrzuceniu na RAMdisk, pewnie to przez ciągłe zapisywanie i odczytywanie z plików state - zwłaszcza rzuca się w oczy przy dużej ilości zadań.

FreeHAL - po zmianie ścieżki TEMP na RAMdisk szybkościowo nic się nie zmieniło, ale odpada pobrzękiwanie dyskiem przy pracy z plikami tymczasowymi (FreeHAL w katalogu temp tworzy cały katalog ze swoimi plikami).

Almere - nie mam niestety żadnego porównania, bo projekt jakiś dziwny czas procesora pokazuje na stronie, zupełnie z kosmosu, ale zadania przeliczają się sporo szybciej niż z HDD i do tego nie ma mielenia dyskiem.

Jako że rozstawanie się z 1GB RAMu trochę dla mnie nie wchodzi w grę, postanowiłem przetestować też szybkość innych nośników. W tym celu napisałem skrypt który tworzy katalog zawierający 10,000 plików o znanej zawartości a następnie:
1) odczytuje zawartość wszystkich plików po kolei
2) dopisuje w każdym pliku na końcu ciąg znaków
3) przeszukuje pliki szukając w nich jakiegoś ciągu
4) odczytuje co drugi plik i tworzy nowy z jego zawartością
5) kasuje nowo stworzone pliki
6) kasuje wszystkie pliki


Testy - punkty to przeliczenie wynikające z proporcji czasu wykonywania, relatywne do szybkości RAMdisku (1000 punktów oznacza 10 razy wolniej od RAMdisku) - RAMdisk jeszcze zapewne by dalej odsadził wszystko inne, ale skrypty AutoIta są interpretowane i pewnie sam skrypt ogranicza prędkość operacji na RAMdisku, a ponadto prędkość jest ograniczana przez sam system plików.

RAMdisk - 10000
Dysk SATA2 ~ 3230
Pendrive USB 2.0 (reklamowany jako bardzo szybki) ~ 650
Pendrive USB 1.1 ~ 280
MP3 Player USB 2.0 - 45 (traci dużo na zapisie, chyba skanuje wszystkie wrzucane pliki)
Przenośny HDD na USB 2.0 ~ 1760 - niezłe zaskoczenie, ale w sumie liniowy transfer też jest duży
karta pamięci CF + interfejs IDE - duży rozrzut między 7000 a 8000, chyba dlatego że tu bardzo ładnie działa keszowanie i opóźniony zapis.
stary flashdrive 128MB IDE ~ 1200 - szału nie ma, ten dysk nawet DMA nie obsługuje a mimo to jest dość szybki.
Dysk sieciowy zmapowany z linuksa (po drugiej stronie macierz RAID) - duży rozrzut między 1300 a 2800 - nie wiem z czego wynika.

Wniosek z tego taki: idę zaraz do sklepu po dużą kartę CF i na niej będzie siedział BOINC. Liniowy transfer z takiej karty nie jest duży, a operacje na małych plikach są szybsze - pewnie dlatego że czas dostępu jest bardzo mały. Karta co prawda ma ograniczoną żywotność (jak większość flashowych urządzeń) - zobaczymy na ile starczy.

EDIT: kurcze zamiast się bawić w skrypty mogłem użyć Sisoft Sandry - ma testy dysków.

hmm bardzo ciekawe dało mi to myslenia

[Troll81]

obawiam sie że w miesiąc zajedziesz kartę flash

[TJM]

No to trudno, kupiłem 4GB kartę za 30zł, nie jest to jakiś ekstremalny wydatek. Można też kupować mniejsze, ale przy okazji chciałem zobaczyć, jak się będzie sprawował windowsowy temp na flashu (co daje jednocześnie korzyści w FreeHALu) więc 1-2GB mogłoby być mało. Transfer z takiej karty nie jest zbyt duży, ale w połączeniu z windowsowym keszowaniem plików bardzo dobrze działa to w Almere, z moimi 8 punktami mam już 6 miejsce w teamie  XD

[Troll81]

hm.... kusisz :d może sobie sprawię taką kartę CF i adapter. Ale to już ok 60zł razem wyniesie. Wiem że są adaptery na dwie karty CF. moze by z nich złożyć Raid??

[TJM]

Odpaliłem na CFie 10 zadań równolegle, wszystko w normie, system nie zamulony. Korzystając z tricku z przełączaniem między non cpu intensive a cpu intensive można zasysać po kilkadziesiąt zadań i później odblokowywać kolejne grupami.
Jak tylko się przeliczą, spróbuję puścić w następnej paczce 20 na raz.

[Troll81]

ciekawi mnie taka oto kombinacja alpejska

karty comactflash (jakieś bardzo szybkie najlepiej)
adaptery do IDE dla każdej z kart
Przejściówki z IDE na SATA (opcjonalnie, bo nie wiem czy to coś da)
Kontroler RAID na SATAII lub IDE ATA 133
I tak z 4 lub więcej kart w macierzy RAID 0+1

Ciekawe jaką to by miało wydajność

[Szopler]

a ile AiDec'owy RAMBox kosztuje?

Jakieś 200pln/GB to już lepiej poeksperymentować z CF ;).

[eclipse99]

Niech ktoś mi powie jaki to ma sens -

[TJM]

Ale karty CF są wolniejsze nawet od zwykłego byle jakiego HDD, nie mówiąc już o patentach z iRAMami %-)
To co je ratuje w zastosowaniu FreeHAL/Almere/BOINC to fakt, że zużywają się tak samo szybko przy zapisie tysięcy małych plików jak i przy dużych plikach, a HDD pewnie szybciej padnie ciągle machając głowicami.

O łączeniu tych urządzeń w RAID pewnie można zapomnieć, przynajmniej w przypadku tych tanich w których pewnie siedzą jakieś badziewne chińskie układy - mój interfejs nawet nie chce działać na jednej taśmie razem z napędem DVD.

EDIT: to wyżej wygląda mi na ukryte computation errory, miałem to samo licząc po kilka zadań równolegle, teraz idzie cały czas tylko jedno i jest lepiej, chociaż też często są zera.

[eclipse99]

EDIT: to wyżej wygląda mi na ukryte computation errory, miałem to samo licząc po kilka zadań równolegle, teraz idzie cały czas tylko jedno i jest lepiej, chociaż też często są zera.

U mnie wręcz odwrotnie, kilka dni temu liczył po kilka równocześnie i uznawał zdecydowanie więcej próbek, teraz liczy po jednej i uznaje może jedną na dziesięć.

[Troll81]

Zapis i odczyt na CF faktycznie nie pobijają choć w RAID ponoć można dociągnąć do 80mb/s ale te czasy dostępu :D

[AiDec]

Fantastyczne testy TJM :). Ja niestety jeszcze przez chwile nie moge zapiac Almere. Zrobie to najszybciej jak tylko bedzie mozliwe, ale jeszcze niestety nie wiem kiedy :(.

EDIT: to wyżej wygląda mi na ukryte computation errory, miałem to samo licząc po kilka zadań równolegle, teraz idzie cały czas tylko jedno i jest lepiej, chociaż też często są zera.

Tutaj sie niestety nie zgodze. To znaczy bardzo mozliwe ze sa to errory, ale niezalezne od tego czy liczysz jedna czy 20 WU na raz. Przeliczylem tych WU naprawde sporo i nie widzi mi sie to...

U mnie wręcz odwrotnie, kilka dni temu liczył po kilka równocześnie i uznawał zdecydowanie więcej próbek, teraz liczy po jednej i uznaje może jedną na dziesięć.

Mam dokladnie takie same odczucia.


IMHO, nie ma znaczenia ile WU sie liczy na raz. A ze leca computation errory (ukryte)... przedzej obstawialbym klopoty z aplikacja... wiek niemowlecy projektu... Tak, bardziej tutaj bym szukal przyczyny.

[TJM]

Udostępnię wam jutro skrypt to sobie potestujecie, tylko zrobię wybór scieżek. Albo może prościej, przecież wystarczy użyć ścieżek relatywnych i zapisywać dane tam gdzie sam skrypt - wtedy przenosząc skrypt można będzie testować różne nośniki. Testnę też z ciekawości szybkość Nokii 6120 w trybie transmisji danych z karty, teoretycznie to USB 2.0 zobaczymy jak z wydajnością 8-)

System dużo lepiej znosi odpalenie wielu FreeHALi i Almere z karty CF niż z HDD, prawdopodobnie dlatego że wszystkie zapisy i odczyty trwają krócej, ale po odpaleniu zbyt wielu zadań na raz zaczyna i tak mulić, u mnie optymalna ilość to 5 Almere na raz i tyle FreHALi ile manager sam odpali (zazwyczaj 1-3). Idealnym rozwiązaniem pod te projekty byłyby iRAMy (z iRAMem albo RAMdiskiem i kombinowaniem z przełączaniem z non cpu intensive z powrotem na cpu intensive żeby dochapać zadań można śmiało myśleć o pierwszym miejscu w projekcie, testowałem na RAMdisku i spokojnie można liczyć po 20 zadań równolegle bez żadnego zamulania) ale to nie na moją kieszeń.

[AiDec]

żeby dochapać zadań można śmiało myśleć o pierwszym miejscu w projekcie

Nie kus, oj nie kus... ;)

[TJM]

Ja na twoim miejscu już dawno bym siedział na podium. Sam nawet teraz z CF-diskiem mam szansę się tam pojawić, o ile ktoś inny nie zacznie tak kombinować  :D

[Troll81]

kurde TJM kusisz. Taki RAID na CF to by było coś :D Te Iramy to trochę za droga zabawa.

[AiDec]

kurde TJM kusisz. Taki RAID na CF to by było coś :D Te Iramy to trochę za droga zabawa.

i-RAM BOX`y sa bardzo drogie i praktycznie niedostepne. Ale same i-RAM`y nie sa juz drogie, aczkolwiek klopot z zasilaniem z PCI jak masz grafy PCI Express. Ale jesli tylko masz wolne gniazdo, to korzystaj. Naprawde ten sprzet jest warty kazdych pieniedzy.

[OxyOne]

Ja na twoim miejscu już dawno bym siedział na podium. Sam nawet teraz z CF-diskiem mam szansę się tam pojawić, o ile ktoś inny nie zacznie tak kombinować  :D

Ile płaca? to moze sie skuszęęę