Boinc w chmurze obliczeniowej (Cloud computing)

[Troll81]

ciekawa propozycja :D

[Hani]

hmm jak ktoś chce to dam instrukcje jak Ubuntu pod BAM skonfigurować. (jedna linijka i wszystko robi) XP

[PBT_marian_boss]

Poproszę o instrukcję uruchomienia i podpięcia projektu PrimeGrid do Cloud. Muszę nadrobić trochę punktów :P

[Akira]

Masz w pierwszym poście instrukcje, zmieniasz tylko link do projektu i hula.

[TJM]

Nie ma co się tak siepać, wystarczy stworzyć pliki auth i remote_hosts po czym z domowego managera się łączyć i zarządzać bez dotykania konsoli.

[Akira]

http://boinc.freerainbowtables.com/distrrtgen/show_host_detail.php?hostid=15343
Tym razem jedna maszyna podpięta pod distrrtgen. Zobaczymy...

[Hani]

Ten projekt żyje jeszcze?

[Akira]

Żyje i nawet SHA-1 się zajął ostatnio. Bardzo mi się przydaje krótko mówiąc ;P

[mimeq]

Zaczynam projekt "Boinc w chmurach". Jako, że mam na skarbonce w ovh wolne 2,50 polskich złotych postanowiłem się pobawić cloudem właśnie u tego dostawcy. Kuszą 4 groszami za godzinę. Zobaczymy... Zaczynam z czystym kontem na einstein@home. Test będzie trwał do wykorzystania ww. kwoty - jak na razie założę 5 wirtualnych maszyn.

Poniżej instrukcja jak korzystać i konfigurować clouda (na podstawie Debiana 5.0 32 bitowego):
Zakładamy konto, wpłacamy daną kwotę na konto skarbonki i logujemy się na cloud manager. Tworzymy klucz ssh dla putty. Przy użyciu puttygen tworzymy klucz prywatny na podstawie pobranego wyżej. Tworzymy pierwszą maszynę wirtualną przy użyciu ww. klucza ssh. Logujemy się na niej za pomocą ipeka z managera. Po zalogowaniu wykonujemy

Kod [Zaznacz] Rozwiń


apt-get update && apt-get upgrade
apt-get install boinc-client
echo passwd > /var/lib/boinc-client/gui_rpc_auth.cfg
/etc/init.d/boinc-client restart
boinc_cmd --host localhost --passwd passwd --project_attach http://einstein.phys.uwm.edu/ słaby_klucz
boinc_cmd --host localhost --passwd passwd --get_state

Po tym powinno już wszystko działać i możemy zamknąć sesje ssh.


Dla ludzi którzy lubią oglądać różne dziwne rzeczy link: o ten.

Będę informował o postępach.

Co w przypadkach kiedy projekt nie podaje/nie ma slabego klucza ? Np. Rosseta (nie widze w ustawieniach konta jak w innych projektach).

[Hani]

Ja zarządzam nimi BAMem

[mimeq]

Zastanawiam sie czemu takie slabe wykorzystanie CPU - 3x ~40% 1x niecale 10%. Spotykam sie z tym dopiero przy SIMAPie  :book:

EDIT:
Male sprostowanie  %) maja tak 2 na 5 maszyn  :book:

http://i54.tinypic.com/2zdx24j.jpg

[apohawk]

No idea.
Nie namieszałeś czegoś w maksymalnym użyciu procków w boinc?

[RAD-Poland]

wygląda na problem z clientem boinc
spróbuj przeanalizować pliki
global_prefs.xml
global_prefs_override.xml
w zależności od wersji clienta wpisy dotyczące zarządzaniem CPU mogą się różnić
jeśli będziesz aktualizował boinc'a uważaj  na v6.10.58 (w moim przypadku w połączeniu z Lenym źle naliczał czas CPU)

sprawdzaj za co płacisz
w okresie świątecznym liczenie  w cloud OVH było całkiem opłacalne (po dużej awarii cloud - ogólnie małe obciążenie)
często udostępniali prawie całą moc CPU benchmark ~2100/~8200 dla clienta 6.2.14

kilka twoich hostów obecnie ma bardzo słaby benchmark co widać również po czasach przeliczania wu

Measured floating point speed   344.47 million ops/sec
Measured integer speed   1592.98 million ops/sec

Measured floating point speed   318.03 million ops/sec
Measured integer speed   1502.97 million ops/sec

oczywiście to najgorsze z zaledwie ~15% wydajnością
masz i lepsze, do 60% maksymalnej CPU

a płacisz tyle samo
osobiście wyłączam hosta po 40 min gdy udostępnia moc poniżej 75% (tylko opłata uruchomieniowa 4gr+VAT)
OVH nie ma systemu monitoringu obciążenia cloud (przynajmniej nie znalazłem)
nie ma systemu przenoszącego VM do mniej obciążonych serwerów - wyrównywanie obciążenia (wiele testów kilkunastogodzinnych po kilka hostów ~90% i kilka ~20% jednocześnie)
chyba uruchamiany VM trafia losowo na serwer gdyż zdarza się że uruchomisz VM z 30% wydajnością następny z 90% a jeszcze kolejny z 50%

duża zmienność wydajności CPU może powodować straty w punktacji w niektórych projektach (zwłaszcza opierających się na benchmarku) oraz problemy z ukończeniem wu gdy granica "max CPU usage" jest dość blisko ustawiona rzeczywistej (start wu przy wysokim benchmarku, kończenie/przeliczanie  przy niskiej udostępnionej wydajności), nie potępiam używania cloud, jak najbardziej możemy dociążyć CPU gdy już korzystamy z jakiś usług OVH (dlaczego CPU mają się nudzić) od czasu do czasu używam cloud'a kiedy wychodzi lepiej niż utrzymywanie mojego własnego X2
ale ostatnio cloud OVH jest zbyt mocno obciążony i słabo obciążony serwer zdarza się rzadko :(

PS. twój problem na pewno nie leży w niskiej udostępnianej mocy cloud, wtedy i tak powinieneś widzieć 4 x ~100% CPU
liczyłem SIMAP na kilku VM (głównie HMMER'y 64bit szybko i wydajnie ale i również trochę SIMAP'ów 32bit) nie spotkałem się z takim problemem, miałem natomiast ze dwa razy problem po instalacji clinenta boinc, liczył na jednym rdzeniu, pomagało zmiana liczby ogólnie dostępnych cpu 100% na inną np 50% i z powrotem na 100%
jeśli ktoś zna sposób na wydajne korzystanie z cloud jego monitorowanie wydajności bez uruchamiania VM byłbym wdzięczny (może coś robię nie tak)  :ph34r:

[Raptor77]

ostatnio prawie nigdy nie udaje sie trafić na szybkiego hosta, wszystkie cloudy w OVH to hosty wirtualne - a że mają niską cene - efekt duże obciązenie

Ja zrezygnowałem z OVH na razie dopóki się coś nie zmieni

[mimeq]

Po on/off jednego z tych 2 wymienionych serverkow i przejsciu do PrimeGrida chyba trafilem dobrze  %)

Kod [Zaznacz] Rozwiń


Measured floating point speed 2124.35 million ops/sec
Measured integer speed 8309.2 million ops/sec

[Raptor77]

Po on/off jednego z tych 2 wymienionych serverkow i przejsciu do PrimeGrida chyba trafilem dobrze  %)

do czasu az ci kogos nie dorzuci na hosta

[mimeq]

Mozna to cale "stadko" jakos podpiac do BM ( wybierz komputer - ip i password w BM 6.12.8) ? Na dedyku pamietam jakos to zrobilem  :P

[kret]

ja też sobie spróbuję! :)

boinc'a normalnie tam stawialiście z paczki czy jakoś inaczej?

[Szopler]

Ja chmurkę obsługiwałem za pomocą BoincTasks.
Dodałem sobie do listy kompów IP i miałem wszystko na oku cały czas bez zbędnego "Wybierz komputer".
BOINC'a stawiałem najnowszego, znaczy z "berkli" ;)

[kret]

i jak rozumiem wchodzą na Manager OVH > Administracja > Skarbonka i klikam "Chcę aktywować opcję dla stałych klientów" i już tam płacę pieniążki, żeby mieć na maszyny?

[kret]

Ja chmurkę obsługiwałem za pomocą BoincTasks.
Dodałem sobie do listy kompów IP i miałem wszystko na oku cały czas bez zbędnego "Wybierz komputer".
BOINC'a stawiałem najnowszego, znaczy z "berkli" ;)

ja postawiłem normalnie z repozytoriów, wersja 6.2.14..i za chiny nie chce mi się dodać do BoincTasks, any idea?

[Szopler]

1) opcja --allow_remote_gui_rpc jest?
2) plik gui_rpc_auth.cfg z hasłem w folderze z boincem jest?

[kret]

ehe..możliwe, ze gdzieś u mnie się coś blokuje, poszukam jeszcze :)


mały edit..

taki error dostaję podczas uruchamiania z --allow_remote_gui_rpc

13-Feb-2011 17:44:35 [---] [error] GUI RPC bind failed: 98
gstate.init() failed: -180

edit2:

no tak, trzeba było dodać --allow_remote_gui_rpc do sktyptu startującego daemona :)

PIDFILE=/var/run/boinc.pid
DESC="BOINC core client"
NAME=`basename $BOINC_CLIENT`
BOINC_OPTS="--check_all_logins --allow_remote_gui_rpc --redirectio --dir $BOINC$

[mimeq]

Ja chmurkę obsługiwałem za pomocą BoincTasks.
Dodałem sobie do listy kompów IP i miałem wszystko na oku cały czas bez zbędnego "Wybierz komputer".
BOINC'a stawiałem najnowszego, znaczy z "berkli" ;)

No nawet nie widzialem ze to jest takie fajne ;]

http://i52.tinypic.com/2pyp6zb.jpg

Pewnie odpalonego Boinc Managera (boincmgr.exe) pod win nie da sie podpiac pod to ? Musialby to pewnie byc boinc.exe --allow_remote_gui_rpc

[kret]

No nawet nie widzialem ze to jest takie fajne ;]

http://i52.tinypic.com/2pyp6zb.jpg

Pewnie odpalonego Boinc Managera (boincmgr.exe) pod win nie da sie podpiac pod to ? Musialby to pewnie byc boinc.exe --allow_remote_gui_rpc

no BoincTasks naprawdę rządzi :) a co do twojego pytania..oczywiście, że się da :] żeby podpiąć maszynki do BT i tak trzeba uruchamiać Boinca z --allow_remote_gui_rpc więc do Manegera też sie je podepnie :)

a więc tak, jesli postawiliśmy Boinc'a ze standardowych repo a nie instalatora Berkeley, to poza tym co było w pierwszym poście robimy:

nano /etc/init.d/boinc-client

odszukujemy BOINC_OPTS i zmieniamy z

BOINC_OPTS="--check_all_logins --redirectio --dir $BOINC_DIR $BOINC_OPTS"

na

BOINC_OPTS="--check_all_logins --allow_remote_gui_rpc --redirectio --dir $BOINC_DIR $BOINC_OPTS"

zapisujemy CTRL+O, wychodzimy CTRL+X

potem robimy

/etc/init.d/boinc-client restart

i gotowe  :arrr:

w Boinc Managerze dajemy Zaawansowane > Wybierz komputer, podajemy IP i hasło i gotowe ;)

[mimeq]

Mi chodzilo czy da sie Managera podpiac do BoincTasks ?

[kret]

Mi chodzilo czy da sie Managera podpiac do BoincTasks ?

a jednego managera do drugiego?

po co? ???

[mimeq]

Bo mam kompa ktorego kontroluje zdalnie przez LogMeIn (LAN) (staruszek Athlon 64 3200+, NV 8800GTS,1GB Ramu Win7 32bit) i tam smiga BoincManager 6.10.58 A zdecydowanie latwiej byloby podpiac go do BoincTasks. Ale zaraz sprobuje poprostu odpalic to wszystko bez Managera ...

[kret]

ja już nie używam Managera :) boinc działa jako usługa a zarządzam BoincTasks, tak samo chmurkowymi kompami :)

edit:

ahh..fajnie działają maszynki :arrr:

http://binarymind.pl/chmurki_rzadza2.png

[kret]

nie wiem czy było tak wcześniej, ale zmienił się regulamin na OVH, to fragment, który mnie zainteresował:

Skrypty nie mogą w żadnym wypadku działać wzajemnie z konfiguracją serwera i sprzętu.
Wykonywanie skryptów tego rodzaju może spowodować natychmiastowe usunięcie konta Klienta. Celem
akceptacji odpowiedniego charakteru używanych skryptów będą użyte następujące kryteria:
− ilość połączeń www na dzień (html, php, cgi, jpg, gif i inne)
− używanie procesora serwera ("CPU") (< 60 sekund na 100% CPU)
− używanie pamięci RAM (<80 MB na sekundę)
− dostęp do serwera sql poprzez 3 połączenia jednocześnie (OVH zaleca używać krótkich połączeń i
zamykać je po ich użyciu)
− inne przyczyny nie określone w niniejszych warunkach, które, według uznania OVH,
mogłyby
przynieść szkodę systemowi informatycznemu OVH. Klient zobowiązany będzie poinformować OVH
o powodach używania określonego rodzaju skryptów.

niestety dla mnie to znaczy, że boincowanie na takiej maszynie narusza regulamin..  :(

chyba, że mnie ktoś wyprowadzi z błędu..

[Troll81]

ale to sięm tyczy skryptów a nie aplikacji....i chyba raczej chodzi im o spammerów i rozsyłaczy wirusów.

[kret]

no może i skryptów, ale mam wrażenie, że mogą się czepnąć..

więc jadę na minimalnej ilości kredytów, żeby szkoda nie było :-[

[Tomasz R. Gwiazda]

to chyba standardowa formulka na nazwa.pl jest cos takiego


Harmonogram zadań jest przeznaczony do:

    * uruchamiania krótkich skryptów wykonujących okresowe czynności, np. czyszczenie katalogów sesji, operacje porządkowania baz danych i innych działań administracyjnych.

W harmonogramie nie wolno ustawiać uruchamiania następujących programów:

    * aplikacji, które pozostają przez dłuższy czas w pamięci operacyjnej systemu;
    * aplikacji działających na zasadzie tzw. daemon'ów, czyli odłączających się, niezależnych aplikacji;
    * programów, które w sposób znaczący mogą wpłynąć na zwiększenie obciążenia serwera (np. serwery aplikacji java itp.).

Uwaga!

    W przypadku naruszenia powyższych zasad, administrator serwera może zablokować uruchomienie danej komendy bez uprzedniego powiadomieni

[kret]

standardowa czy nie, może być powodem kasacji konta :)

[Troll81]

a po co ci cloud jak nie do BOINCa?

[kret]

ja tam też testuję różne dziwne pomysły :D

[stasieks]

Walczyłem 5 godzin i uruchomiłem to cudo z ovh. Zobaczymy jak pójdzie liczenie. Zainwestowałem całe 50 PLN i oczekuje wyników :)

[mpaweu]

zartujesz..
to mozna odpalic boin w chmurze?..
jak to zrobiles?

[Troll81]

można. OVH już chyba ma wpisane w regulaminie że ot zabronione :D ktos juz im rozgrzewal procki.... :d

[TJM]

Ja odpalałem w chmurze parę testowych aplikacji, wymarnowałem minimalną wpłatę (chyba 40zł) i nikt się nie przyczepił.
Nie rozumiem w ogóle jak mogą się przyczepiać - klient płaci więc klient wymaga.