Moje boje z ESXi 6.7

[TJM]

Wrzucę w tym wątku trochę info na temat moich batalii toczonych aktualnie z instalacją i konfiguracją ESXi 6.7 na jakimś w miarę budżetowym sprzęcie, może komuś się to przyda.

Założenia projektowe są następujące:
- Potrzebuję aktualną wersję na coś w rodzaju domowego laba - żeby się na bieżąco oswajać ze zmianami, mieć na czym przetestować czasami jakiś pomniejszy hardware i mieć styczność chociaż z podstawową konfiguracją ESXi dostępną we free wersji. W robocie mam "dużą" instalację ale z takich czy innych względów utknęliśmy na wersji 5.
- Jeden z hostów będzie "poważniejszy" i dodatkowo zastąpi mój domowy serwer, gdzie przy okazji przeniosę też kilka rzadko włączanych maszyn z VirtualBoxa
- Sprzęt musi być relatywnie tani, także ze względu na to żeby w razie awarii w miarę łatwo dało się zastąpić
- Sprzęt musi być dość cichy, ponieważ jeden będzie śmigał 24/7 i za dnia spędzam obok niego sporo czasu

Wstępnie testowałem na dwóch starych serwerach z których jeden dostałem za free a drugi kupiłem gdzieś za niedużą kasę.
Niestety okazało się, że support dla Xeonów które w nich były został już porzucony i instalacja wersji 6.7 przywitała mnie komunikatem o nie wspieranym sprzęcie = game over. Na szczęście i tak nie przywiązywałem się do tych złomków, bo jak na swoją znikomą moc były bardzo głośne.

Żeby to miało ręce i nogi kupiłem więc dwa Xeony - #1 E3 1230 v2 na ZH77A-G41 i #2  E3 1230 v3 na Z87-G43. Oba są na zwykłych płytach co powoduje pewne komplikacje. Podczas instalacji wyskakuje warning, że instalacja na tych sprzętach pozbawiona jest wsparcia, no ale jakoś bez tego przeżyję  %)

Pierwszy zgrzyt po uruchomieniu jest taki, że już po zainstalowaniu przy starcie hypervisora tuż przed startem jego kernela, wyskakuje warning "unable to set graphics mode". Próbowałem na kilku tanich kartach graficznych i efekty są różne, zazwyczaj po prostu od tego momentu nic w ogóle nie widać ale sam ESXi działa normalnie; kartę równie dobrze można wyjąć z tym że akurat sprzęt #1 bez karty mi nie chce w ogóle bootować i w celu rozwiązania tego problemu mam włożone jakieś S3 Virge na PCI. Spotkałem się też na 2 starych kartach ATI z czymś takim, że ekran się blokuje z jakimiś zielonymi paskami u góry - takowe widywało się czasami np. na Win98 kiedy był problem ze sterownikami karty graficznej i się wieszała. W razie wystąpienia tych pasków i tak hypervisor działa normalnie. Na relatywnie nowej karcie typu Radeon RX 560 w/w komunikatu nie ma i po starcie normalnie widać info o tym gdzie się logować przez sieć.

Drugi zgrzyt - zintegrowane sieciówki z obu płyt nie są widoczne. Tzn sam host w teorii je pokazuje na liście urządzeń ale chyba brak dla nich drivera, bo nie da się ich skonfigurować. Problem ominięty zastosowaniem Intel Gigabit Desktop CT na PCI-E x1.

Dalej kolejna już poważniejsza rzecz - praktycznie zero monitorowania stanu sprzętu. Oczywiście obie w/w płyty są desktopowo-zabawkowe, pozbawione dedykowanych modułów i co za tym idzie ESXi nie widzi temperatur, stanu wentylatorów itp. W zasadzie jedyna rzecz jaką udało mi się znaleźć, to podstawowy monitoring SMART dysków z poziomu samego hosta, ale chyba tylko z linii poleceń i na dodatek bardzo skąpo jeżeli chodzi o ilość monitorowanych parametrów.

Dalej jak już jestem przy dyskach - problemów do rozwiązania jest więcej. W obu płytach jest soft RAID na chipsetach Intela. Po skonfigurowaniu działa ale jest w tym przypadku raczej trochę nie za bardzo użyteczny. ESXi go w żaden sposób nie wspiera i co za tym idzie, można zrobić np. RAID 1 gdzie jeden dysk klęknie 15 sekund po starcie i dziękuję dobranoc, nic o tym nie będzie wiadomo bo nie ma możliwości uzyskania info o statusie macierzy zarówno spod samego hypervisora, jak i maszyn wirtualnych.
Studiuję więc temat możliwie tanich kontrolerów na PCI-E które są wspierane przez ESXi 6.7. Na razie najtańszy jaki znalazłem to LSI 9260-8i gdzie używkę można dorwać między 200 a 300. Może ktoś z Was zna jakiś tańszy ? %) Zakup takiego kontrolera też pewnie będzie się wiązał z komplikacjami - pewnie trzeba będzie wyłączyć writeback żeby w razie utraty zasilania (mogącej się zdarzyć nawet z UPSem) czy zgonu zasilacza, nie pożegnać zbyt wiele danych.

[TJM]

Może ktoś wie skąd ta rozbieżność ze screenów poniżej ? Jeden to monitoring CPU hosta, drugi maszyny wirtualnej która pędzi teoretycznie na 100% i ma przypisane wszystkie wątki proca.

[TJM]

Odnośnie LSI 9260-8i - do ESXi 6.5u2 jest normalnie wspierany, ale w 6.7 oczywiście problemy o których wcześniej info w necie nie znalazłem, dopiero jak mi wywaliło status Unknown na liście kontrolerów.
Da się to obejść instalując najnowszy driver dostępny na stronie vmware i pakiet MegaRAID Storcli dostępny na stronie Broadcoma (trzeba wbić w legacy downloads -> legacy RAID controllers, wybrać rodzinę i Management Tools.
Po zainstalowaniu pakietu Storcli (ja to wrzucałem przez upload na panelu zarządzającym do jednego z datastore, żeby było łatwiej, a potem instalowałem w konsoli) da się zarządzać kontrolerem z poziomu linii poleceń, a to już coś. Na pewno lepsze niż reboot i włażenie do BIOSu.
W panelu dalej oczywiście unknown, ale nie można mieć tanio wszystkiego  %)