Boinc w chmurze obliczeniowej (Cloud computing)

[Akira]

Zaczynam projekt "Boinc w chmurach". Jako, że mam na skarbonce w ovh wolne 2,50 polskich złotych postanowiłem się pobawić cloudem właśnie u tego dostawcy. Kuszą 4 groszami za godzinę. Zobaczymy... Zaczynam z czystym kontem na einstein@home. Test będzie trwał do wykorzystania ww. kwoty - jak na razie założę 5 wirtualnych maszyn.

Instrukcja: Instalacja programu BOINC na chmurze (ang. Cloud) na naszej Wiki.

Poniżej (szybka) instrukcja jak korzystać i konfigurować clouda (na podstawie Debiana 5.0 32 bitowego):
Zakładamy konto, wpłacamy daną kwotę na konto skarbonki i logujemy się na cloud manager. Tworzymy klucz ssh dla putty. Przy użyciu puttygen tworzymy klucz prywatny na podstawie pobranego wyżej. Tworzymy pierwszą maszynę wirtualną przy użyciu ww. klucza ssh. Logujemy się na niej za pomocą ipeka z managera. Po zalogowaniu wykonujemy

Kod [Zaznacz] Rozwiń


apt-get update && apt-get upgrade
apt-get install boinc-client
echo passwd > /var/lib/boinc-client/gui_rpc_auth.cfg
/etc/init.d/boinc-client restart
boinc_cmd --host localhost --passwd passwd --project_attach http://einstein.phys.uwm.edu/ słaby_klucz
boinc_cmd --host localhost --passwd passwd --get_state

Po tym powinno już wszystko działać i możemy zamknąć sesje ssh.

Będę informował o postępach.

[Troll81]

będę pilnie śledził postępy :D

te 4 linuchy to ten cloud?

[Akira]

te 4 linuchy to ten cloud?

Już 5 linuchów ;P Ostatni windowsowy to mój domowy, raczej nie będę na nim liczył...

[Troll81]

zobaczymy czy jak OVH skoczy rachunek za prąd to czy nie wypowiedzą ci umowy..... :D

[Akira]

OVH jest zbyt wielką serwerownią aby odczuli kilka-kilkadziesiąt-kilkaset, a nawet kilka tysięcy takich boincowych serwerów ;P Zresztą do takich zastosowań jest cloud.

[Troll81]

myśle ze maja PDU z raportowanie ile żre konkretna maszynka :D

[Akira]

Jak mówiłem usługa cloude do tego jest, że płaci się tylko za zużyte zasoby. Korzystasz bardzo intensywnie przez xx godzin, wyłączasz, znowu masz potrzebę coś przemielić włączasz i znowu intensywnie korzystasz. O żadnym odcięciu od usługi nie ma mowy.

[Rafer]

Oj pamiętam jak używało się tego ustrojstwa do całkiem odmiennych celów :D
Czasy IRC-a, oj działo się wtedy, aż strach było siadać przed kompem :D Nie dość, że dni uciekały przez palce, to jeszcze w oczach mrugały paragrafy...ciągła gonitwa z IRCopami

[Troll81]

jeden 160 a drugi 400 credits maja wyrobione....

[Akira]

W pending jest jescze kilkaset punktów. Tylko dwie maszyny zdążyły przeliczyć bo dostaly małe zadania. Te trzy dostały chyba te najdłuższe i możliwe, że nie zdążyły przeliczyć zanim skończyłą się kasa na koncie. Do obczajenia jak będę w domu. W sumie i tak 1k pkt za 2,5 zł w projekcie CPU to jest nieźle...

[Troll81]

Porównaj z Milką albo Dnet :D

[AiDec]

W sumie i tak 1k pkt za 2,5 zł w projekcie CPU to jest nieźle...

Ale niestety tylko w CPU i nie jest to jakos specjalnie oplacalne :(.

Porównaj z Milką albo Dnet :D

No wlasnie. Policzmy dla przykladu milion pkt. W OVH 2500 pln, a ja milion robie dziennie... Moze zaczne im moc przerobowa sprzedawac za pol ceny, ja chetnie 1250pln dziennie wezme  XD. Ale bylo o CPU zatem odstawmy grafy i porownajmy, milion na CPU zrobie w 5 dni (lub mniej) jesli projekt dowolny, milion w Einsteinie zrobie w max 20dni i na oko kosztowaloby mnie to 15-20% ceny OVH. Wciaz chetnie sprzedam moc obliczeniowa ;).


Zrobilem tez pobiezne obliczenia pradowo cenowe i wyszlo mi ze jeden z moich quadow zrobilby 4200 pkt. dziennie w Einsteinie za cene 2,5 pln. Na energooszczednym lapku wyglada to jeszcze lepiej. Way better.

[Troll81]

policzmy 2,5 złotego kosztuje 5 kompów przez ileś tam dni....

mnie kwh kosztuje powiedzmy 50 groszy zakładając że mój komp żre 200W to w jeden dzień zużyje (24*0,5/5) 1,2 złotego teraz pytanie ile credits mój komp by wypracował w einstein w ciągu doby a ile te 5 komów w OVH....

moze wyjść opłacalne....

[Akira]

Zacznijmy od tego, że wy liczycie tylko koszt prąd, a trzeba wziąć pod uwagę również cenę zakupu sprzętu. Co podwaja, a nawet potraja koszt inwestycji. 700 pkt (z oczekującymi) wyliczyły tylko dwa komputery. Właśnie patrzę co się stało z trzema bez punkciorów.

Edit: Niech stracę, zainwestowałem jeszcze dyszkę ;P Ciągle pięć pecetów, kończą liczyć wu, które rozpoczęli przed skończeniem się kasy. Umie ktoś dojść do tego ile do końca, który procent etc etd po tych znaczkach?

======== Applications ========
1) -----------
   name: einstein_S5GC1
   Project: Einstein@Home

======== Application versions ========
1) -----------
   application: einstein_S5GC1
   version: 1.05
   project: Einstein@Home

======== Workunits ========
1) -----------
   name: h1_1096.05_S5R4__623_S5GC1a
   FP estimate: 64739278961314.601562
   FP bound: 1294785579226290.000000
   memory bound: 251658240.000000
   disk bound: 100000000.000000
2) -----------
   name: h1_1096.10_S5R4__546_S5GC1a
   FP estimate: 64739278961314.601562
   FP bound: 1294785579226290.000000
   memory bound: 251658240.000000
   disk bound: 100000000.000000
3) -----------
   name: h1_1096.10_S5R4__545_S5GC1a
   FP estimate: 64739278961314.601562
   FP bound: 1294785579226290.000000
   memory bound: 251658240.000000
   disk bound: 100000000.000000
4) -----------
   name: h1_1096.10_S5R4__544_S5GC1a
   FP estimate: 64739278961314.601562
   FP bound: 1294785579226290.000000
   memory bound: 251658240.000000
   disk bound: 100000000.000000
5) -----------
   name: h1_1096.15_S5R4__529_S5GC1a
   FP estimate: 64739278961314.601562
   FP bound: 1294785579226290.000000
   memory bound: 251658240.000000
   disk bound: 100000000.000000

======== Results ========
1) -----------
   name: h1_1096.05_S5R4__623_S5GC1a_2
   WU name: h1_1096.05_S5R4__623_S5GC1a
   project URL: http://einstein.phys.uwm.edu/
   report deadline: Tue Oct 12 23:17:35 2010
   ready to report: no
   got server ack: no
   final CPU time: 0.000000
   state: 2
   scheduler state: 2
   exit_status: 0
   signal: 0
   suspended via GUI: no
   active_task_state: 1
   stderr_out:
   app version num: 105
   checkpoint CPU time: 37898.240000
   current CPU time: 37915.670000
   fraction done: 0.460432
   swap size: 265891840.000000
   working set size: 260702208.000000
   estimated CPU time remaining: 31298.820982
   supports graphics: yes
2) -----------
   name: h1_1096.10_S5R4__546_S5GC1a_2
   WU name: h1_1096.10_S5R4__546_S5GC1a
   project URL: http://einstein.phys.uwm.edu/
   report deadline: Tue Oct 12 23:18:41 2010
   ready to report: no
   got server ack: no
   final CPU time: 0.000000
   state: 2
   scheduler state: 2
   exit_status: 0
   signal: 0
   suspended via GUI: no
   active_task_state: 1
   stderr_out:
   app version num: 105
   checkpoint CPU time: 38215.420000
   current CPU time: 38220.830000
   fraction done: 0.466427
   swap size: 265891840.000000
   working set size: 260702208.000000
   estimated CPU time remaining: 30994.767565
   supports graphics: yes
3) -----------
   name: h1_1096.10_S5R4__545_S5GC1a_2
   WU name: h1_1096.10_S5R4__545_S5GC1a
   project URL: http://einstein.phys.uwm.edu/
   report deadline: Tue Oct 12 23:18:41 2010
   ready to report: no
   got server ack: no
   final CPU time: 0.000000
   state: 2
   scheduler state: 2
   exit_status: 0
   signal: 0
   suspended via GUI: no
   active_task_state: 1
   stderr_out:
   app version num: 105
   checkpoint CPU time: 37947.830000
   current CPU time: 38019.200000
   fraction done: 0.466427
   swap size: 265891840.000000
   working set size: 260702208.000000
   estimated CPU time remaining: 30887.183221
   supports graphics: yes
4) -----------
   name: h1_1096.10_S5R4__544_S5GC1a_0
   WU name: h1_1096.10_S5R4__544_S5GC1a
   project URL: http://einstein.phys.uwm.edu/
   report deadline: Tue Oct 12 23:18:43 2010
   ready to report: no
   got server ack: no
   final CPU time: 0.000000
   state: 2
   scheduler state: 2
   exit_status: 0
   signal: 0
   suspended via GUI: no
   active_task_state: 1
   stderr_out:
   app version num: 105
   checkpoint CPU time: 37897.020000
   current CPU time: 37928.800000
   fraction done: 0.466427
   swap size: 265891840.000000
   working set size: 260702208.000000
   estimated CPU time remaining: 30838.948213
   supports graphics: yes
5) -----------
   name: h1_1096.15_S5R4__529_S5GC1a_1
   WU name: h1_1096.15_S5R4__529_S5GC1a
   project URL: http://einstein.phys.uwm.edu/
   report deadline: Tue Oct 12 23:18:46 2010
   ready to report: no
   got server ack: no
   final CPU time: 0.000000
   state: 2
   scheduler state: 0
   exit_status: 0
   signal: 0
   suspended via GUI: no
   active_task_state: 0
   stderr_out:
   app version num: 0
   checkpoint CPU time: 0.000000
   current CPU time: 0.000000
   fraction done: 0.000000
   swap size: 0.000000
   working set size: 0.000000
   estimated CPU time remaining: 37236.218459
   supports graphics: no

[3Rni]

Akira, zainspirowałeś mnie  ;D ... już 1 chmura liczy u mnie

[sesef]

fraction done: 0.466427

czyli 46%

[Akira]

Akira, zainspirowałeś mnie  ;D ... już 1 chmura liczy u mnie

Ile sztuk maszyn w chmurze? Jakie projekty liczysz? Linkiem zarzuć ;)

[3Rni]

ustawilem 2 hosty

jeden na PG i juz ładnie sypie http://www.primegrid.com/hosts_user.php?userid=27604

drugi na FH i niebawem zapunktuje jest 50% http://www.freehal.net/freehal_at_home/hosts_user.php?userid=7436

teraz mysle co dalej  XD

[Troll81]

 :parrrty:

[apohawk]

1. A dałoby radę zorganizować taką flotyllę tylko na czas wyścigów? Żeby poza wyścigami mnie nie kasowali?
2. Mają te maszynki zewnętrzne IP, żeby się bez problemu do nich dobić boinc managerem?

[Akira]

1. A dałoby radę zorganizować taką flotyllę tylko na czas wyścigów? Żeby poza wyścigami mnie nie kasowali?

Pewnie, że dałoby. Na tym polega potęga chmury. Korzystasz wtedy kiedy potrzebujesz.

2. Mają te maszynki zewnętrzne IP, żeby się bez problemu do nich dobić boinc managerem?

A mają :P


Edit: U mnie wszystkie 5 maszynek zmuliły przy przeliczaniu S5GC1. Ktoś orientuje się ile wam się to przelicza?

[sesef]

z tego co widzę są to Xeony na LGA771.

Z własnego doświadczenia wiem, że takie maszyny bardzo dobrze liczą PG, czasami są nawet 2x szybsze niż podobnie taktowanie Quady na LGA775.

[Troll81]

to może stad masakryczna moc Grześka w wyścigach PG??

[Akira]

Zobaczymy co pokaże 3Rni. Z tego co widzę odpalił trzy maszynki i nawet nieźle punktują. Ma strasznie dużo w pending...

[AiDec]

Zacznijmy od tego, że wy liczycie tylko koszt prąd, a trzeba wziąć pod uwagę również cenę zakupu sprzętu. Co podwaja, a nawet potraja koszt inwestycji.

No, tutaj niestety nie moge sie zgodzic. Jak juz wczesniej podawalem, 1mln pkt to 2500pln w OVH. Milion zrobi taka 5970 w 3 dni i kosztuje wlasnie 2500 pln. Zatem koszt samego sprzetu jest znikomy, nawet doliczmy mobo, zasilke itp - to i tak nic. Raz kupiona grafa, raz postawiony komp i powiedzmy raz na 5 dni mam zaoszczedzone 2500 pln, a grafa pare latek mi pociagnie. Porownujac do CPU a nie GPU, to juz nie jest tak wesolo, ale wciaz jest 3krotnie taniej na wlasnym. Natomiast wyscigi to co innego - faktycznie tutaj mozna poszalec :).

[Peciak]

To może wspólna zrzuta i na wyścigi PG postawmy parę kompów liczących na konto SKP@B

[Troll81]

można pomysleć w tym temacie.

[AiDec]

IMHO zupelnie nie warto. Sami policzcie, w obecnym wyscigu PG (dla przykladu) mamy 5M pkt, numer 1 ma 17M pkt - potrzeba (na chwile obecna) 12M pkt zeby wygrac. Jak juz pisalem, na oko 2500pln/1M.

[Akira]

Powoli, w primegrid o wiele wiele wiecej punktuje. Nie wiem ile 3Rni zaplacil, ale jak na razie ma ponad 10 tysiecy punktow od wczoraj (nie liczac pending) - to niech bedzie hmm 3 zlote. U mnie jak sie rozszalal wyliczyl za ~5-7 zl, 2500 pkt(z pending).

[sesef]

Zacznijmy od tego, że wy liczycie tylko koszt prąd, a trzeba wziąć pod uwagę również cenę zakupu sprzętu. Co podwaja, a nawet potraja koszt inwestycji.

No, tutaj niestety nie moge sie zgodzic. Jak juz wczesniej podawalem, 1mln pkt to 2500pln w OVH. Milion zrobi taka 5970 w 3 dni i kosztuje wlasnie 2500 pln. Zatem koszt samego sprzetu jest znikomy, nawet doliczmy mobo, zasilke itp - to i tak nic. Raz kupiona grafa, raz postawiony komp i powiedzmy raz na 5 dni mam zaoszczedzone 2500 pln, a grafa pare latek mi pociagnie. Porownujac do CPU a nie GPU, to juz nie jest tak wesolo, ale wciaz jest 3krotnie taniej na wlasnym. Natomiast wyscigi to co innego - faktycznie tutaj mozna poszalec :).

Widzisz dostrzegasz tylko koszt samego komputera, a to jest kropla w morzu. Akurat OVH ma "cywilne" proce również w arsenale więc możemy pominąć dodatkowe koszty związane z dopłacaniem za Xeony/Opterony (chociaż Cloudy z tego co widzę są na Xenonach, które pewnie pozostały z wymienionych dedyków, albo wirtualnych serwerów). Prócz samego komputera OVH musi zapewnić sobie szafę (które tanie nie są, nie mówię tutaj o kilku kątownikach z Castoramy niestety oni muszą mieć już profesjonalny sprzęt), klimatyzację, UPSy, Routery, Switche, Prąd/Ropa do Agregtu, dodatkowo wszystkie inne zabezpieczenia których przeciętny śmiertelnik w domu nie ma jak chociażby zdublowany zasilacz. Dopłacasz również za obsługę tego, ludzi którzy "toretycznie" całą dobę powinni pilnować takiego ustrojstwa.

[AiDec]

Widzisz dostrzegasz tylko koszt samego komputera, a to jest kropla w morzu.

Nie dostrzegalem, to prawda, ale tylko dlatego ze nie chcialem. Dla mnie ma znaczenie tylko moc przerobowa. Po prostu poatrzylem, policzylem i stwierdzilem `do BOINC to sie nie oplaca`. Nie oceniam QoS, a jedynie efektywnosc obliczen (bo w tym temacie byla dyskusja).

[OxyOne]

Ale chłopakowi syf zrobiliście... fajna wizytówka  :)

[Hani]

Ja bym sobie spróbował .... ale nie umiem się jakoś przez putty zalogowaś nie mam pojecia jakie hasło i czy na rota czy jak ......  :wth:

[Troll81]

roota?

[Hani]

no....  nie mam pojęcia czy jako root wpuszcza od razu jak.....


nie umiem..... jakoś zakłada się hasło? takie jak od konta nie pasuje.  :wth:

[apohawk]

Ale chłopakowi syf zrobiliście... fajna wizytówka  :)

Oduczy się chłopak zaczynać off-topic i zacznie tworzyć odpowiednie wątki ;)

IMHO zupelnie nie warto. Sami policzcie, w obecnym wyscigu PG (dla przykladu) mamy 5M pkt, numer 1 ma 17M pkt - potrzeba (na chwile obecna) 12M pkt zeby wygrac. Jak juz pisalem, na oko 2500pln/1M.

AiDec, tylko że obecna punktacja wyścigowa PG jest inna niż normalne punkty. Za 1 WU dostałem 3.9k punktów, ale za to ok. 33k punktów wyścigowych. Więc zamiast 12M różnicy mamy 1.5M różnicy do rozpatrzenia. A jak spojrzeć ile nam brakuje do MPTA...

[Akira]

Ja bym sobie spróbował .... ale nie umiem się jakoś przez putty zalogowaś nie mam pojecia jakie hasło i czy na rota czy jak ......  :wth:

Jak pisałem w pierwszym poście. Musisz stworzyć w menadżerze cloud klucz do putty. Pobrać go, za pomocą puttygena stworzyć klucz prywatny i za jego pomocą logować się na serwer bez hasła.

[TJM]

2,5zł za 1k punktów to jednak dość drogo. W domu włączam Quada i wyjdzie mi gdzieś z 12h liczenia za każde 1zł lub może nawet więcej, nie chce mi się przeliczać dziennych i nocnych taryf.
Swego czasu testowałem trochę inne ciekawe rozwiązanie - liczenie na tanim dedyku, stała opłata 14$ za miecha i nikogo nie interesuje co tam odpalam. Tutaj stosunek cena/punkty byłby bardzo dobry dopóki nie zmieniłem tego na wirtualną maszynę, teraz wychodziłoby ~50zł za 30k punktów czyli lipa do kwadratu.

[Raptor77]

hmm napisze od siebie - na cloudzie liczy się Aqua - koszt to 0.04 zł za 1h pracy - czyli doba to koszt 96groszy w tym czasie komp generuje jakieś 17000-21000 pkt w Aqua

[Niekumaty Burak]

Sprawa pierwsza - przydałaby się instrukcja maksymalnie łopatologiczna.
Sprawa druga - liczenie w chmurze najbardziej punktodajnego projektu może być opłacalne.