Aktualności:

W MEDIA znajdziesz grafiki, banery i avatary

Menu główne

DrugDiscovery@Home - opis

Zaczęty przez krzyszp, 28 Grudzień 2016, 19:24

kva.pl


goofyx

Cytat: kva.pl w 22 Marzec 2017, 12:51
A kiedy apka GPU?
Dla apki GPU są teraz warunki:
1. zbiórka pre-ICO <- która ma się rozpocząć 01.04
2. czekamy jeszcze na wytyczne od naszego science team <- jakieś swoje optymalizacje mieli dać


goofyx

Mały sukces...
Jako, że jestem głównym adminem DD@H, który ciągle boryka się z małą ilością miejsca na dysku dla nowych WU (w zasadzie mam tylko 150-170GB dysku do dyspozycji, ale najczęściej 75-100GB) i jednocześnie jako Polak (pokombinowałem), znalazłem inne, ale choć wieloetapowe tworzenie WU, które pozwala na posiadanie zapasu kilku milionów WU.

1. Generuje Wu u siebie na NAS w sieci lokalnej <- w tej chwili mam 1M WU na serwerze, 4M w kolejce i 10M do wygenerowania zadań... a ekipa naukowa ma mi przesłać kolejne 40M zadań do zrobienia
2. Przesyłam wygenegowane zadania na serwer DD@H
3. w crontab co 10 minut generuje WU przesłane zadania

Pomimo 3 etapów oszczędzam kilka godzin (i stres) na serwerze.

I właśnie dlatego zamiast 100k WU do wysłania mogę mieć na serwerze 1M do wysłania + w sumie 14M zadań w kolejce.
W pierwszym wyścigu na DD@H spędziłem 50h z 72h weekendu przy komputerze, żeby utrzymać serwer w ruchu, teraz potrzebuje 2h w takim przypadku.

goofyx

Cytat: kva.pl w 22 Marzec 2017, 12:51
A kiedy apka GPU?
1. Będzie w kwietniu jeśli pre-ICO odniesie sukces
2. zespół naukowy da mi informację o tym jakie zmiany potrzebuje w kodzie źródłowym gromacs żeby wystartować <- robią własne zmiany na podstawie sieci NN, jakie robią na podstawie obliczeń które są teraz w DD@H (czyli vina i smina)

kva.pl

Cytat: goofyx w 25 Marzec 2017, 23:21
Mały sukces...
Jako, że jestem głównym adminem DD@H, który ciągle boryka się z małą ilością miejsca na dysku dla nowych WU (w zasadzie mam tylko 150-170GB dysku do dyspozycji, ale najczęściej 75-100GB) i jednocześnie jako Polak (pokombinowałem), znalazłem inne, ale choć wieloetapowe tworzenie WU, które pozwala na posiadanie zapasu kilku milionów WU.

1. Generuje Wu u siebie na NAS w sieci lokalnej <- w tej chwili mam 1M WU na serwerze, 4M w kolejce i 10M do wygenerowania zadań... a ekipa naukowa ma mi przesłać kolejne 40M zadań do zrobienia
2. Przesyłam wygenegowane zadania na serwer DD@H
3. w crontab co 10 minut generuje WU przesłane zadania

Pomimo 3 etapów oszczędzam kilka godzin (i stres) na serwerze.

I właśnie dlatego zamiast 100k WU do wysłania mogę mieć na serwerze 1M do wysłania + w sumie 14M zadań w kolejce.
W pierwszym wyścigu na DD@H spędziłem 50h z 72h weekendu przy komputerze, żeby utrzymać serwer w ruchu, teraz potrzebuje 2h w takim przypadku.

Bardzo mi sie ten post podoba :D

goofyx

Cytat: kva.pl w 26 Marzec 2017, 00:14
Cytat: goofyx w 25 Marzec 2017, 23:21
Mały sukces...
Jako, że jestem głównym adminem DD@H, który ciągle boryka się z małą ilością miejsca na dysku dla nowych WU (w zasadzie mam tylko 150-170GB dysku do dyspozycji, ale najczęściej 75-100GB) i jednocześnie jako Polak (pokombinowałem), znalazłem inne, ale choć wieloetapowe tworzenie WU, które pozwala na posiadanie zapasu kilku milionów WU.

1. Generuje Wu u siebie na NAS w sieci lokalnej <- w tej chwili mam 1M WU na serwerze, 4M w kolejce i 10M do wygenerowania zadań... a ekipa naukowa ma mi przesłać kolejne 40M zadań do zrobienia
2. Przesyłam wygenegowane zadania na serwer DD@H
3. w crontab co 10 minut generuje WU przesłane zadania

Pomimo 3 etapów oszczędzam kilka godzin (i stres) na serwerze.

I właśnie dlatego zamiast 100k WU do wysłania mogę mieć na serwerze 1M do wysłania + w sumie 14M zadań w kolejce.
W pierwszym wyścigu na DD@H spędziłem 50h z 72h weekendu przy komputerze, żeby utrzymać serwer w ruchu, teraz potrzebuje 2h w takim przypadku.

Bardzo mi sie ten post podoba :D
hmm....
w jakim sensie?

kva.pl


Troll81

 :respect: brak mi słów by wyrazić swój szacun

Argento

Cytat: goofyx w 25 Marzec 2017, 23:21
1. Generuje Wu u siebie na NAS w sieci lokalnej <- w tej chwili mam 1M WU na serwerze, 4M w kolejce i 10M do wygenerowania zadań... a ekipa naukowa ma mi przesłać kolejne 40M zadań do zrobienia

goofyx, jeżeli to wiedza nietajemna, w jaki od strony technicznej sposób odbywa się generowanie WU z materiału podesłanego przez ekipę naukową?


--
Pozdrawiam
Z poważaniem
Argento

goofyx

Cytat: Argento w 26 Marzec 2017, 14:16
Cytat: goofyx w 25 Marzec 2017, 23:21
1. Generuje Wu u siebie na NAS w sieci lokalnej <- w tej chwili mam 1M WU na serwerze, 4M w kolejce i 10M do wygenerowania zadań... a ekipa naukowa ma mi przesłać kolejne 40M zadań do zrobienia

goofyx, jeżeli to wiedza nietajemna, w jaki od strony technicznej sposób odbywa się generowanie WU z materiału podesłanego przez ekipę naukową?
1. ekipa udostępnia nam (mnie i kp) pliki z danymi do sprawdzenia + konfiguracje dla jakich chcą zrobić obliczenia
2. przygotowujemy strukturę katalogów pod którą napisane są skrypty
3. skrypt przelatuje po katalogach i tworzy gotowe pliki WU

Całość składa się z kilku plików:
- 1 plik z danymi
- 3-6 plików konfiguracji
i w sumie te 4-7 plików trzeba spakować w jednego zipa. Cała operacja jest w zasadzie banalna, jednak jeśli rozmawiamy o 2 milionach plikach do sprawdzenia w np.: 3-4 konfiguracjach to jest już 6-8M plików WU co przy założeniu, że utworzenie 1WU potrzebuje po zoptymalizowaniu ok.10-12 operacji dyskowych (kopiowanie z 2-3 katalogów, dopasowanie nazw, pakowanie itp) robi się z tego dziesiątki jeśli nie setki milionów operacji dyskowych do samego przygotowania WU dla projektu.
Dane od ekipy naukowej zajmują np.: 25giga, które po przerobieniu zajmują mają zajmować np.: 500-600giga na dysku (katalog download, katalogi tymczasowe,baza danych).
Dlatego po licznych i długich rozmowach z KP oraz sprawdzeniu kilku jeśli kilkunastu różnych rozwiązań doszliśmy do wniosku, że najwygodniej będzie jeśli generowanie WU będzie przechodziło przez domowy serwer któregoś z nas. Dlatego w tej chwili 90% rzeczy związanych z generowaniem WU dzieje się u mnie. Z kolei kp przygotował i udostępnił na swoim serwerze kolejne kilka TB dysków na pozostałe archiwa tworzone przez serwer.
Dzięki temu serwer robi co ma robić z niezłym zapasem WU do wysłania (w tej chwili w gotowości jest ponad 1M WU na serwerze), a my mamy dostęp do ponad 20TB dysków na jego potrzeby tak w razie czego.

goofyx

ps.: jeszcze o jednym zapomniałem.
Na serwerze są w crontabie skrypty które sprawdzają ustawiony katalog z plikami pod WU.
W tej chwili wystarczy, że ja lub kp wrzucimy pliki przez ftp na serwer i reszta dzieje się automatycznie

Argento

goofyx, lektura do poduszki jak znalazł  :respect:. Teraz brakuje już tylko zobaczyć fizycznie jak to cudnie wszystko działa  :parrrty:.


--
Pozdrawiam
Z poważaniem
Argento

krzyszp

Cytat: Argento w 26 Marzec 2017, 19:22
goofyx, lektura do poduszki jak znalazł  :respect:. Teraz brakuje już tylko zobaczyć fizycznie jak to cudnie wszystko działa  :parrrty:.
Lektura do poduszki, to wszystko co kompilator wywala na ekran podczas stodwudzestodziewiątego kompilowania Gromacs'a ;)

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

Argento

Cytat: krzyszp w 26 Marzec 2017, 20:42
Cytat: Argento w 26 Marzec 2017, 19:22
goofyx, lektura do poduszki jak znalazł  :respect:. Teraz brakuje już tylko zobaczyć fizycznie jak to cudnie wszystko działa  :parrrty:.
Lektura do poduszki, to wszystko co kompilator wywala na ekran podczas stodwudzestodziewiątego kompilowania Gromacs'a ;)

krzyszp, zabrzmiało jak hexologia autorstwa kompilatora  ;). Nie długo będzie jej więcej niż samego kodu Gromacs'a  :parrrty:.


--
Pozdrawiam
Z poważaniem
Argento

krzyszp

Próba zrobienia z Gromacs'a (w wersji ze wsparciem dla GPU) aplikacji typu portable to jest coś, co robię zawsze wtedy, gdy mam za dobry humor... To potrafi doprowadzić na skraj nędzy i rozpaczy... ;)

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

Argento

Gromacs nie odprowadzi Ciebie na skraj nędzy i rozpaczy, ponieważ z punktu widzenia dynamiki molekularnej proces ten trudno zauważyć..., a tym samym zdaje się być naprawdę odległy  XD.


--
Pozdrawiam
Z poważaniem
Argento

krzyszp

Cytat: Argento w 26 Marzec 2017, 21:33
Gromacs nie odprowadzi Ciebie na skraj nędzy i rozpaczy, ponieważ z punktu widzenia dynamiki molekularnej proces ten trudno zauważyć..., a tym samym zdaje się być naprawdę odległy  XD.
Z tego punktu widzenia równie trudno zauważyć moje konto oszczędnościowe ;)

Fajne zegarki :)
Należę do drużyny BOINC@Poland
 Moja wizytówka

goofyx

Cytat: krzyszp w 26 Marzec 2017, 20:42
Cytat: Argento w 26 Marzec 2017, 19:22
goofyx, lektura do poduszki jak znalazł  :respect:. Teraz brakuje już tylko zobaczyć fizycznie jak to cudnie wszystko działa  :parrrty:.
Lektura do poduszki, to wszystko co kompilator wywala na ekran podczas stodwudzestodziewiątego kompilowania Gromacs'a ;)
będziesz miał co wnukom opowiadać...
"Wiesz co wnuczku, bo dziadziuś skompilował gromacsa w wersji mobilnej dla gpu" <- to brzmi dumnie  :respect:

Troll81