Hybryda GPU | Klaster GPU - wiele kart graficznych w jednym komputerze.

[Troll81]

ile można maksymalnie wsadzić kart graficznych do kompa? Czy dałoby się odpalić powiedzmy dwa radki i dwie NV w jednym kompie?

albo np 4 radki?

[Cyfron]

mieszanie ATI NV - mi się wydaje, że to zły pomysł, a wsadzić 4 karty jednego producenta - to tylko odpowiednią płytę i ogień  :whip:

[Tomasz R. Gwiazda]

wielce zly :)
nie dosc ze trzeba walczyc ze sterami NV to na dokladke jeszcze z ATI :D

[AiDec]

Dac sie da, tylko ze mozna stracic miesiac i osiwiec jak sie chce ustabilizowac kompa :).

Natomiast co do czterech grafy, to nie ma problemu, o ile sa to cztery grafy jednoukladowe. Szczerze powiedziawszy, biorac pod uwage jak fajnie dzialaja stery ATI 11.6, to kusi mnie czasami zeby sprobowac czterech dwuukladowych :), ale ze nie mam takich pod reka to ten pomysl jeszcze troche zaczeka na realizacje.




EDIT:

albo np 4 radki?

Cztery radki to przeciez u mnie juz od dawna chodza. Kiedys 2x 4870 (cztery GPU), Pozniej 2x 5970 (cztery GPU), teraz 4x 6970. Nie ma z tym wiekszych problemow, ot trzeba czasami zmienic kilka ustawien mobo w BIOSie.

[Cyfron]

Szczerze powiedziawszy, biorac pod uwage jak fajnie dzialaja stery ATI 11.6, to kusi mnie czasami zeby sprobowac czterech dwuukladowych :), ale ze nie mam takich pod reka to ten pomysl jeszcze troche zaczeka na realizacje.

jak myślicie ile poczekamy - miesiąc ? dwa ?  %) :arrr:

[GRID]

Zapodam kilka przykładów Hybryd | Klastrów GPU:
1, Dzieło naszego kolegi Aidec -  4 karty graficzne chłodzone blokiem wodnym.

2. Fastra - 4 karty graficzne
3 Fastra 2 - 7 kart graficznych 12TFLOPS

Czego się nie robi dla dobra nauki. Najciekawsze jest to że Fastra 2 jest na linuksie, a jeżeli dobrze pamiętam to bios został przerobiony żeby dało się podłączyć 7 kartę graficzną

[Krzysiak]

Teoretycznie da się w stawić tyle kart ile jest portów PCI-E
Licząc wszystkie 1x 4x 8x 16x

Rozwiązaniem bardzo przydatnym jest coś takiego i wiele innych rozwiązań

Kod [Zaznacz] Rozwiń

http://shop.ebay.co.uk/i.html?_from=R40&_trksid=p5197.m570.l1313&_nkw=PCI-Express+Riser+card&_sacat=See-All-Categories

[Troll81]

Kod [Zaznacz] Rozwiń

http://www.nordichardware.com/news/76-motherboards/41879-msi-mixes-up-to-8-graphics-cards-on-big-bang-marshall.html

a tu mozna i 8 kart zmieścić :D

Kod [Zaznacz] Rozwiń

http://pcarena.pl/news/show/93048/PowerColor-oraz-EK-Water-Blok-lacza-sily-prezentacja-karty-LCS-HD-6990.html

np takich.

to razem 8x5100 GFlops = 40Tflop

Dla prównania Superkomputery w Polsce:
# Galera Plus w TASK w Gdańsku, o wydajności 65 TFLOPS.
# Supernova w WCSS we Wrocławiu, o wydajności 57 TFLOPS.
# Farma serwerów nk.pl, o wydajności 46 TFLOPS.
# Farma serwerów QXL Poland, o wydajności 40 TFLOPS.

Earth Simulator    35,86 TFLOPS    NEC, Jokohama, Japonia - najszybszy superkompuetr 2002
Roadrunner 1,105 PFLOPS IBM, Los Alamos National Laboratory, Nowy Meksyk, USA - najszybszy w 2008 (wystarczy 30 takich potwórków by go łyknąć)
K computer    8,162 PFLOPS    Fujitsu, Riken, Kobe, Japonia - Wystarczy 204 takie maszynki złożyć

A z 3 takimi maszynkami spokojnie wchodzimy do top 100 superkomputerów na świecie

Kod [Zaznacz] Rozwiń

http://www.top500.org/list/2011/06/100

[apohawk]

A to czasem nie chipset płyty głównej musi być w stanie obsłużyć odpowiednią ilość GPU?

[Troll81]

The main attraction is the LucidLogix circuit that enables graphics cards of varying models to work together

Kod [Zaznacz] Rozwiń

http://gry.interia.pl/news/580-fps-w-grze-crysis,1155726

a 16 gpu to już w 2008 potrafili w kompa wsadzić :D

[Rysiu]

to razem 8x5100 GFlops = 40Tflop

Dla prównania Superkomputery w Polsce:
# Galera Plus w TASK w Gdańsku, o wydajności 65 TFLOPS.
# Supernova w WCSS we Wrocławiu, o wydajności 57 TFLOPS.
# Farma serwerów nk.pl, o wydajności 46 TFLOPS.
# Farma serwerów QXL Poland, o wydajności 40 TFLOPS.

Earth Simulator    35,86 TFLOPS    NEC, Jokohama, Japonia - najszybszy superkompuetr 2002
Roadrunner 1,105 PFLOPS IBM, Los Alamos National Laboratory, Nowy Meksyk, USA - najszybszy w 2008 (wystarczy 30 takich potwórków by go łyknąć)
K computer    8,162 PFLOPS    Fujitsu, Riken, Kobe, Japonia - Wystarczy 204 takie maszynki złożyć

Nie wchodzimy bo niestety to wydajność teoretyczna i nijak się nie ma do uzyskanej z benchmarku LINPACK. Gdybyśmy zmierzyli wydajność systemu to by poleciała na...

http://pl.wikipedia.org/wiki/LINPACK

Zresztą 3 takie komputery to trzy oddzielne i nie wchodzimy do TOP100. Z takim czymś to pewnie nawet do TOP500 nie wejdziesz :E Proszę nie pisać takich głupot  :whip:

[GRID]

To wcale nie są głupoty tylko teoria i przypuszczenia. Rysiu dobrze wiesz że z takich zalążków wynika wiele realistycznych planów/projektów. Nawet jeżeli teoretyczna wydajność okazała by się mniejsza to i tak była by taka dla niektórych zadań. A jeżeli nawet w LINPACK okazała by się mniejsza to zawsze zostają kolejne rozwiązania: odpowiednia konfiguracja Linuksa dołożenie jeszcze jednego klastra GPU.

Superkomputer to tak zwany klaster komputerowy. W łatwy sposób można połączyć 3 takie komputery w klaster-komputerowy lub jeszcze łatwiej w superkomputer klasy GRID.

[Rysiu]

Nie jest wcale tak łatwo dokładać kolejne komputery ponieważ LINPACK wtedy ograniczyłby się do przepustowości łącza. Niby jaka tam byłaby komunikacja? Gigabitowe sieciówki?  :deadman:

Na tych komputerach z TOP500 masz najmarniej Infiniband (40 Gbps to węzła) a w BlueGene jest topologia Torus 3D. W K Computer masz już z tego co pamiętam Torus'a 6D. Można sobie poszukać w google jak wyglądają tam połączenia.

Możesz i dołożyć 5 kolejnych maszynek, ale jak w LINPACK'u potrzebna jest komunikacja to zyskasz na tych 5 maszynkach 1% bo zatka się komunikacja %)

[GRID]

To spoko :)
Jakbyśmy się nudzili i zachciało nam się trafić do TOP500 to załatwisz nam kilka tych Infiniband ?  ;)

edit: popatrzyłem na cenę kart Infiniband na allegro - to nawet nie jest takie drogie. 100zł za sztukę

[Rysiu]

edit: popatrzyłem na cenę kart Infiniband na allegro - to nawet nie jest takie drogie. 100zł za sztukę

Ale to pewnie jakieś starsze wersje, bo kilka ich jednak było.

[Troll81]

interfejscy 10GB nie sa juz żadnym wielkim luksusem. a gigabitówki instalują juz na każdej chyba płycie głównej.

[Troll81]

A postawienie klastra na Pelican HPC to kwestia minut.

[Tomasz R. Gwiazda]

a ten Pelican to jak dziala ?

jest 1 komp Commander ? czy jak ?
odpalam kolejne maszyny i pula ich zasobow jest dolaczana ?
no i boinca normalnie jak to w Linuxie sie odpala ?

[Rysiu]

interfejscy 10GB nie sa juz żadnym wielkim luksusem. a gigabitówki instalują juz na każdej chyba płycie głównej.

Tylko 10 Gbps to i tak za mało.

A postawienie klastra na Pelican HPC to kwestia minut.

Jak nie będziesz miał komunikacji to i na nic wydajność. Zresztą sam Pelican HPC zapewne nie ma wsparcia dla GPU. Prościej byłoby zainstalować coś od zera i skonfigurować ale i tak nie mamy sprzętu wartego spinania, czym to spinać i nawet prądu aby to wszystko działało  XD

a ten Pelican to jak dziala ?

jest 1 komp Commander ? czy jak ?
odpalam kolejne maszyny i pula ich zasobow jest dolaczana ?
no i boinca normalnie jak to w Linuxie sie odpala ?

Jest jeden węzeł dostępowy i z jego poziomu załadowujesz programy, które odpalają się na wszystkich komputerach.

Z BOINC'em to nie ma żadnego związku i odpalenie tam jego nie przyniesie żadnych zysków. Lepiej odpalić BOINC'a oddzielnie na kilku kompach.

[GRID]

Dla osób interesujących się superkomputerami itp takie zagadnienia jak Beowulf, Mosix, Pelikan, OpenMosix to podstawa.

A jeżeli chodzi o BOINC - klaster komputerowy jest łatwą drogą do zajęcia 1 miejsca w projektach BOINC pod względem najmocniejszego hosta (szczególnie tych CPU)

Kod [Zaznacz] Rozwiń

www.youtube.com/watch?v=s2rAi0lOTgo

Kod [Zaznacz] Rozwiń

www.youtube.com/watch?v=WlVlX5jX9AQ

[Troll81]

zgadza sie. Lepiej odpalić BOINCA na wielu kompach niż budować klaster. Ale pamiętaj że mówimy tu o benchmarkowaniu hosta :D a że pelican z założenia miał służyc do obliczeń to jesli mnie pamięć ni myli CUDA wspierał a co do radków to nie znalazłem info.