Jak stworzyć własny klaster komputerów

[Cyfron]

Witajcie

Mam pytanie - kolega zadał mi je i nie byłem w stanie mu odpowiedzieć, ale powiedziałem, że Wy mnie nie zawiedziecie :)

Czy i ewentualnie jak można spiąć 2 komputery tak, aby pod np Windowsem było to widoczne jako jeden komputer z jego możliwościami przerobowymi (prockami).
Chodzi o możliwość odpalania programów, które są na Windowsa na szybkim sprzęcie i zamiast kupowania 1 mega szybkiego kompa może by kuć 2 szybkie, jakoś je połączyć i mieć taki klaster.

Jak coś niejasno się wypowiedziałem, to proszę pisać, bo czasem mam problemy z sprecyzowaniem swoich wymagań :)

Pozdrawiam

[armar]

Z Windows to tak chyba się nie da.
Dlatego pisze się programy np. pod MPI.

[andy101fah]

Pod windowsem legalnie stworzyć klaster jest dosyć drogo.  Należy zakupić odpowiedni system operacyjny do pracy współdzielonej.

Clustering is available in Windows Server 2008 Enterprise and Windows Server 2008 Datacenter editions


http://www.chinama.com.cn/maintenance_windows_cluster_en.html

http://blogs.msdn.com/b/clustering/archive/2008/01/18/7151154.aspx

Zakup dedykowanej maszyny jest zdecydowanie tańszy.

24 rdzenie lub 48 rdzeni

48 - core
http://www.tyan.com/product_SKU_spec.aspx?ProductType=BB&pid=434&SKU=600000186
4x AMD Opteron 6176 (2.2 GHz, 12-core)
32x 4 GB Kingston DDR3-1333 ECC Reg.


24 core

EVGA SR-2
Intel® Xeon® Processor X5680 (12M Cache, 3.33 GHz, 6.40 GT/s Intel® QPI)
@ 4,5 GHz
6x 4GB

[armar]

Pod windowsem legalnie stworzyć klaster jest dosyć drogo.  Należy zakupić odpowiedni system operacyjny do pracy współdzielonej.

Clustering is available in Windows Server 2008 Enterprise and Windows Server 2008 Datacenter editions

Czyli konkretnie na klastrze np. 20 jednordzeniowych serwerów 2008 można uruchomić boinc, który będzie widział wszystkie 20 rdzeni?

[andy101fah]

Dokładnie,tyle że instalujesz jeden system datacenter na storage dyskowym a pozostałe kompy spinasz po gigabitlanie. Niezbędna jest jedynie identyczna architektura procesorów. W przypadku procesorów jednordzeniowych spełniających wymogi instalacji systemu datacenter, niezbędne są procesory 64 bit.

[GRID]

Ja do tej chwili, w kwestii klastrów znałem rozwiązania jedynie na Linux (np system PelicanHPC, Mosix, OpenMosix, ). Teraz jestem ciekawszy który system lepiej współpracuje z BOINC. Bo postawić klastra to jeszcze początek, problemem jest czasami znaleźć programy które potrafią taka architekturę wykorzystać.

PPB miał podobno przetłumaczone jakieś materiały na klaster + BOINC na takowy klaster.  :whistle:

[pszyklejony]

Da się już na 2003, co prawda mi się nie udało, ale to nic nie znaczy :)

[HaNocri]

OpenMosix jest już od lat nie rozwijany, używa się OpenMPI, MPICH... A czy program nie musi być pisany specjalnie ze wsparciem dla MPI, żeby mógł pracować w takim środowisku? Chyba to tak nie działa, że odpalamy byle co i ma dostęp do np 1024 procesorów w klastrze (przykładowo). Niestety też nie znam się na tym i tylko powtarzam to co gdzieś tam zasłyszałem.
W takich rasowych klastrach do łączenia węzłów używa się nie ethernetu, a np. InfiniBand przepustowość do 300 Gbit/s :whistle:

[Troll81]

Windowsy można spinać w klastry ale tylko serwerowe edycje a to jest drogie. i mniej wydajne niż linuxy. poza tym prokram musi umiec wykorzystać takie środowisko. wydajniej jest stawiac boinca na każdej maszynie bo w przypadku klastrów będzie spory narzut mocy tracony na komunikację pomiędzy węzłami...

[Tomasz R. Gwiazda]

znaczy nie jest tak do konca jak mowisz

klasty windows sa o tyle drozsze o ile licencje na windowsa...
usluga (Rola) klaster jest za darmo

czy mniej wydajne niz linuxy? nie sadze. zreszta nie ma jak sprawdzic tego :)

a i potwierdzam. klaster z 20 kompow bedzie mniej wydajny niz 20 kompow (boinc)

[Troll81]

Windows is also notorious for requiring antivirus and anti-spam software as it receives the bulk of computer viruses and worms. The net effect of all this extra software on each node is that I/O operation is severely hindered, Landman says. Linux, like Mac operating systems, both of which are Unix-based, tends to be generally more resistant to viral invasions. "I have had my entire [Linux] computer lock up maybe two times in eight years, have never experienced a virus, and don't even have antivirus software," says Kai Staats, CEO of Terra Soft, a Linux software vendor. "I simply can't imagine beating off viruses on a single Windows box, let alone an entire cluster which is already a complex beast in and of itself."

still many major bioinformatics tools that have not been compiled to run on Windows as well as they run on Linux machines. Staple bioinformatics tools, such as molecular simulation suites NAMD, Amber, and Charmm, which are offered in parallel versions for Linux, do not exist in parallel Windows flavors, says Wortman. Users are thus limited to a single command line version from a Windows compiler like Cygwin or the Windows command line — hardly ideal. For this reason, Wortman's cluster still includes 85 dual Opteron Linux machines to run a handful of life science applications.

And while Microsoft's new cluster software might be able to offer an easier, more familiar way of accessing high-performance computing so researchers don't have to worry about the IT side of things, at roughly $469 per node, it will still be a challenge to make the financial case against the open-source Linux. "If you have to buy 100 licenses to install [Windows] on your cluster, how can that be lower acquisition costs than something that costs you zero?" asks HPC expert Joe Landman, founder of Scalable Informatics, a high-performance computing solutions vendor.

[Tomasz R. Gwiazda]

obiektywizm az razi :D

[Troll81]

obiektywizm obiektywizmem. Ale prawda jest taka że windows serwerowy bardziej obciąża kompa niż linux. Tego nie zmienisz.

[Tomasz R. Gwiazda]

a Windows w wersji Core ?
bez interfejsu graficznego?

wiele sie zmienilo, i teraz sie instaluje na sprzecie tylko potrzebne Role ktore dany serwer bedzie wykonywal

[OxyOne]

windows: windows hpc
linux: rockhpc (redhat), debianhpc (debian)
statystyki hpc serwer/host/node linux: ganglia