DrugDiscovery@Home - opis

[kva.pl]

A kiedy apka GPU?

[goofyx]

A kiedy apka GPU?

Dla apki GPU są teraz warunki:
1. zbiórka pre-ICO <- która ma się rozpocząć 01.04
2. czekamy jeszcze na wytyczne od naszego science team <- jakieś swoje optymalizacje mieli dać

[goofyx]

Mały sukces...
Jako, że jestem głównym adminem DD@H, który ciągle boryka się z małą ilością miejsca na dysku dla nowych WU (w zasadzie mam tylko 150-170GB dysku do dyspozycji, ale najczęściej 75-100GB) i jednocześnie jako Polak (pokombinowałem), znalazłem inne, ale choć wieloetapowe tworzenie WU, które pozwala na posiadanie zapasu kilku milionów WU.

1. Generuje Wu u siebie na NAS w sieci lokalnej <- w tej chwili mam 1M WU na serwerze, 4M w kolejce i 10M do wygenerowania zadań... a ekipa naukowa ma mi przesłać kolejne 40M zadań do zrobienia
2. Przesyłam wygenegowane zadania na serwer DD@H
3. w crontab co 10 minut generuje WU przesłane zadania

Pomimo 3 etapów oszczędzam kilka godzin (i stres) na serwerze.

I właśnie dlatego zamiast 100k WU do wysłania mogę mieć na serwerze 1M do wysłania + w sumie 14M zadań w kolejce.
W pierwszym wyścigu na DD@H spędziłem 50h z 72h weekendu przy komputerze, żeby utrzymać serwer w ruchu, teraz potrzebuje 2h w takim przypadku.

[goofyx]

A kiedy apka GPU?

1. Będzie w kwietniu jeśli pre-ICO odniesie sukces
2. zespół naukowy da mi informację o tym jakie zmiany potrzebuje w kodzie źródłowym gromacs żeby wystartować <- robią własne zmiany na podstawie sieci NN, jakie robią na podstawie obliczeń które są teraz w DD@H (czyli vina i smina)

[kva.pl]

Mały sukces...
Jako, że jestem głównym adminem DD@H, który ciągle boryka się z małą ilością miejsca na dysku dla nowych WU (w zasadzie mam tylko 150-170GB dysku do dyspozycji, ale najczęściej 75-100GB) i jednocześnie jako Polak (pokombinowałem), znalazłem inne, ale choć wieloetapowe tworzenie WU, które pozwala na posiadanie zapasu kilku milionów WU.

1. Generuje Wu u siebie na NAS w sieci lokalnej <- w tej chwili mam 1M WU na serwerze, 4M w kolejce i 10M do wygenerowania zadań... a ekipa naukowa ma mi przesłać kolejne 40M zadań do zrobienia
2. Przesyłam wygenegowane zadania na serwer DD@H
3. w crontab co 10 minut generuje WU przesłane zadania

Pomimo 3 etapów oszczędzam kilka godzin (i stres) na serwerze.

I właśnie dlatego zamiast 100k WU do wysłania mogę mieć na serwerze 1M do wysłania + w sumie 14M zadań w kolejce.
W pierwszym wyścigu na DD@H spędziłem 50h z 72h weekendu przy komputerze, żeby utrzymać serwer w ruchu, teraz potrzebuje 2h w takim przypadku.

Bardzo mi sie ten post podoba :D

[goofyx]

Mały sukces...
Jako, że jestem głównym adminem DD@H, który ciągle boryka się z małą ilością miejsca na dysku dla nowych WU (w zasadzie mam tylko 150-170GB dysku do dyspozycji, ale najczęściej 75-100GB) i jednocześnie jako Polak (pokombinowałem), znalazłem inne, ale choć wieloetapowe tworzenie WU, które pozwala na posiadanie zapasu kilku milionów WU.

1. Generuje Wu u siebie na NAS w sieci lokalnej <- w tej chwili mam 1M WU na serwerze, 4M w kolejce i 10M do wygenerowania zadań... a ekipa naukowa ma mi przesłać kolejne 40M zadań do zrobienia
2. Przesyłam wygenegowane zadania na serwer DD@H
3. w crontab co 10 minut generuje WU przesłane zadania

Pomimo 3 etapów oszczędzam kilka godzin (i stres) na serwerze.

I właśnie dlatego zamiast 100k WU do wysłania mogę mieć na serwerze 1M do wysłania + w sumie 14M zadań w kolejce.
W pierwszym wyścigu na DD@H spędziłem 50h z 72h weekendu przy komputerze, żeby utrzymać serwer w ruchu, teraz potrzebuje 2h w takim przypadku.

Bardzo mi sie ten post podoba :D

hmm....
w jakim sensie?

[kva.pl]

Pozytywnym :)

[Troll81]

 :respect: brak mi słów by wyrazić swój szacun

[Argento]

1. Generuje Wu u siebie na NAS w sieci lokalnej <- w tej chwili mam 1M WU na serwerze, 4M w kolejce i 10M do wygenerowania zadań... a ekipa naukowa ma mi przesłać kolejne 40M zadań do zrobienia

goofyx, jeżeli to wiedza nietajemna, w jaki od strony technicznej sposób odbywa się generowanie WU z materiału podesłanego przez ekipę naukową?

[goofyx]

1. Generuje Wu u siebie na NAS w sieci lokalnej <- w tej chwili mam 1M WU na serwerze, 4M w kolejce i 10M do wygenerowania zadań... a ekipa naukowa ma mi przesłać kolejne 40M zadań do zrobienia

goofyx, jeżeli to wiedza nietajemna, w jaki od strony technicznej sposób odbywa się generowanie WU z materiału podesłanego przez ekipę naukową?

1. ekipa udostępnia nam (mnie i kp) pliki z danymi do sprawdzenia + konfiguracje dla jakich chcą zrobić obliczenia
2. przygotowujemy strukturę katalogów pod którą napisane są skrypty
3. skrypt przelatuje po katalogach i tworzy gotowe pliki WU

Całość składa się z kilku plików:
- 1 plik z danymi
- 3-6 plików konfiguracji
i w sumie te 4-7 plików trzeba spakować w jednego zipa. Cała operacja jest w zasadzie banalna, jednak jeśli rozmawiamy o 2 milionach plikach do sprawdzenia w np.: 3-4 konfiguracjach to jest już 6-8M plików WU co przy założeniu, że utworzenie 1WU potrzebuje po zoptymalizowaniu ok.10-12 operacji dyskowych (kopiowanie z 2-3 katalogów, dopasowanie nazw, pakowanie itp) robi się z tego dziesiątki jeśli nie setki milionów operacji dyskowych do samego przygotowania WU dla projektu.
Dane od ekipy naukowej zajmują np.: 25giga, które po przerobieniu zajmują mają zajmować np.: 500-600giga na dysku (katalog download, katalogi tymczasowe,baza danych).
Dlatego po licznych i długich rozmowach z KP oraz sprawdzeniu kilku jeśli kilkunastu różnych rozwiązań doszliśmy do wniosku, że najwygodniej będzie jeśli generowanie WU będzie przechodziło przez domowy serwer któregoś z nas. Dlatego w tej chwili 90% rzeczy związanych z generowaniem WU dzieje się u mnie. Z kolei kp przygotował i udostępnił na swoim serwerze kolejne kilka TB dysków na pozostałe archiwa tworzone przez serwer.
Dzięki temu serwer robi co ma robić z niezłym zapasem WU do wysłania (w tej chwili w gotowości jest ponad 1M WU na serwerze), a my mamy dostęp do ponad 20TB dysków na jego potrzeby tak w razie czego.

[goofyx]

ps.: jeszcze o jednym zapomniałem.
Na serwerze są w crontabie skrypty które sprawdzają ustawiony katalog z plikami pod WU.
W tej chwili wystarczy, że ja lub kp wrzucimy pliki przez ftp na serwer i reszta dzieje się automatycznie

[Argento]

goofyx, lektura do poduszki jak znalazł  :respect:. Teraz brakuje już tylko zobaczyć fizycznie jak to cudnie wszystko działa  :parrrty:.

[krzyszp]

goofyx, lektura do poduszki jak znalazł  :respect:. Teraz brakuje już tylko zobaczyć fizycznie jak to cudnie wszystko działa  :parrrty:.

Lektura do poduszki, to wszystko co kompilator wywala na ekran podczas stodwudzestodziewiątego kompilowania Gromacs'a ;)

[Argento]

goofyx, lektura do poduszki jak znalazł  :respect:. Teraz brakuje już tylko zobaczyć fizycznie jak to cudnie wszystko działa  :parrrty:.

Lektura do poduszki, to wszystko co kompilator wywala na ekran podczas stodwudzestodziewiątego kompilowania Gromacs'a ;)

krzyszp, zabrzmiało jak hexologia autorstwa kompilatora  ;). Nie długo będzie jej więcej niż samego kodu Gromacs'a  :parrrty:.

[krzyszp]

Próba zrobienia z Gromacs'a (w wersji ze wsparciem dla GPU) aplikacji typu portable to jest coś, co robię zawsze wtedy, gdy mam za dobry humor... To potrafi doprowadzić na skraj nędzy i rozpaczy... ;)

[Argento]

Gromacs nie odprowadzi Ciebie na skraj nędzy i rozpaczy, ponieważ z punktu widzenia dynamiki molekularnej proces ten trudno zauważyć..., a tym samym zdaje się być naprawdę odległy  XD.

[krzyszp]

Gromacs nie odprowadzi Ciebie na skraj nędzy i rozpaczy, ponieważ z punktu widzenia dynamiki molekularnej proces ten trudno zauważyć..., a tym samym zdaje się być naprawdę odległy  XD.

Z tego punktu widzenia równie trudno zauważyć moje konto oszczędnościowe ;)

[goofyx]

goofyx, lektura do poduszki jak znalazł  :respect:. Teraz brakuje już tylko zobaczyć fizycznie jak to cudnie wszystko działa  :parrrty:.

Lektura do poduszki, to wszystko co kompilator wywala na ekran podczas stodwudzestodziewiątego kompilowania Gromacs'a ;)

będziesz miał co wnukom opowiadać...
"Wiesz co wnuczku, bo dziadziuś skompilował gromacsa w wersji mobilnej dla gpu" <- to brzmi dumnie  :respect:

[Troll81]

 :respect: