Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home

[RAD-Poland]

Linuksową aplikację działającą na najnowszych dystrybucjach mógłbym zrobić prawdopodobnie w ciągu godziny

to super
linuksowcy dadzą sobie radę, sprawdzą ldd enigma.... jakich bibliotek im brakuje, doinstalują i po sprawie
Edit: w wielu projektach trzeba było doinstalowywać biblioteki, czasami archaiczne sprzed 2-3 lat  :wink:

[TJM]

biblioteki da się zapewne wkompilować w exeka, co prawda będzie wtedy duży, ale za to powinien działać na większej liczbie systemów.

[RAD-Poland]

ale wolniej
czasami po takiej operacji "tryb kompilacji static", spowalnia aplikację o 50% i więcej  :(EDIT: - ale i dobra będzie taka, w końcu projekt ma status alpha

[TJM]

Nie ma szans, żeby cokolwiek spowolniło, wrapper nic sam nie oblicza, a enigma nie ma praktycznie żadnych wymagań.

Ciekawe, czy na linuksie też będą takie problemy z DNSami...

Muszę teraz wyjść na 1,5h, jak wrócę, dodam linuksową aplikację, ale tak nieoficjalnie i po cichu - na stronie nic nie będę pisał o tym na razie %-)

[lukaszde]

ok to ja czekam na linuksowa aplikacje, jak cos porobie testy i zdam raporty

[miszol]

ja tak z innej beczki :)

może przenieśmy rozmowy na tematy techniczne na forum enigmy... bo niektóre kwestie się już pojawiają na obu forach i niedługo może sie zrobić lekki bałagan

ps. przewidywany czas dla próbek nadal kosmiczny - może napisz o tym na stronie żeby ludzie się nie przestraszyli

[bartsob5]

może przenieśmy rozmowy na tematy techniczne na forum enigmy... bo niektóre kwestie się już pojawiają na obu forach i niedługo może sie zrobić lekki bałagan

znaczy sie do 'english zone'?

[TJM]

Przewidywany czas dla próbek jest dobry i rozwiązanie tego problemu jest znane - wystarczy opuścić projekt i przyłączyć się ponownie, lub ręcznie wyedytować pliki.
Aktualnie problem kosmicznego czasu dotyczy chyba 10-15 kompów w całym projekcie.

Dodałem linuksową aplikację, ale jeszcze nawet sam nie sprawdzałem, czy działa %-)

[RAD-Poland]

1. na AthlonX2 3800+ 2,0@2,2 - pokazało 4h 40 min
2. aplikacja:
- wrapper ok
- enigma nie ma ustawionego bitu wykonywalności (ustawiłem ręcznie "chmod +x ...." i liczy  :wink:

[TJM]

Może tak pokazywać, bo benchmarki BOINCowe nie odzwierciedlają pełnej wydajności nowszych proców. Założę się, że dla tego Athlona po kilku jednostkach rdcf spadnie do 0.5-0.6 i proporcjonalnie zmniejszy się szacowany czas dla zadań. To samo jest z innymi szybkimi procami, np. core2.

Bit wykonywalności zapewne gdzieś się ustawia, pytanie tylko gdzie. Można by w sumie w job dopisać jako pierwszą 'aplikację' chmod +x enigma_0.76_i686-pc-linux-gnu  :lol:

[RAD-Poland]

"chmod +x ...."

przypuszczałem, że to przeoczenie ponieważ wrapper ma ten bit ustawiony
możesz ustawić ten bit na serwerze i nie trzeba "zaśmiecać" job_....xml
8)

[Simek]

Kod [Zaznacz] Rozwiń

2007-09-16 20:19:49|Enigma@Home|Resetting project
2007-09-16 20:19:49|Enigma@Home|Detaching from project
2007-09-16 20:20:04||Fetching configuration file from http://enigma.no-ip.net:443/enigma/get_project_con fig.php
2007-09-16 20:20:21|Enigma@Home|Master file download succeeded
2007-09-16 20:20:26|Enigma@Home|Sending scheduler request: Project initialization
2007-09-16 20:20:26|Enigma@Home|Requesting 1 seconds of new work
2007-09-16 20:20:31|Enigma@Home|Scheduler RPC succeeded [server version 511]
2007-09-16 20:20:31|Enigma@Home|Deferring communication for 6 min 3 sec
2007-09-16 20:20:31|Enigma@Home|Reason: requested by project
2007-09-16 20:20:33|Enigma@Home|[file_xfer] Started download of file wrapper_5.17_windows_intelx86.exe
2007-09-16 20:20:33|Enigma@Home|[file_xfer] Started download of file ciphertext2
2007-09-16 20:20:35|Enigma@Home|[file_xfer] Finished download of file ciphertext2
2007-09-16 20:20:35|Enigma@Home|[file_xfer] Throughput 669 bytes/sec
2007-09-16 20:20:35|Enigma@Home|[file_xfer] Started download of file 00bigr.naval
2007-09-16 20:20:37|Enigma@Home|[file_xfer] Finished download of file 00bigr.naval
2007-09-16 20:20:37|Enigma@Home|[file_xfer] Throughput 4187 bytes/sec
2007-09-16 20:20:37|Enigma@Home|[file_xfer] Started download of file enigma_0.76_windows_intelx86.exe
2007-09-16 20:20:45|Enigma@Home|[file_xfer] Finished download of file enigma_0.76_windows_intelx86.exe
2007-09-16 20:20:45|Enigma@Home|[file_xfer] Throughput 8265 bytes/sec
2007-09-16 20:20:45|Enigma@Home|[file_xfer] Started download of file 00trigr.naval
2007-09-16 20:20:59|Enigma@Home|[file_xfer] Finished download of file 00trigr.naval
2007-09-16 20:20:59|Enigma@Home|[file_xfer] Throughput 10201 bytes/sec
2007-09-16 20:20:59|Enigma@Home|[file_xfer] Started download of file job_1.14.xml
2007-09-16 20:21:00|Enigma@Home|Incomplete read of 197.000000 < 5KB for job_1.14.xml - truncating
2007-09-16 20:21:00|Enigma@Home|[file_xfer] Finished download of file job_1.14.xml
2007-09-16 20:21:00|Enigma@Home|[file_xfer] Throughput 252 bytes/sec
2007-09-16 20:21:00|Enigma@Home|[file_xfer] Started download of file 00hc_wu_104151
2007-09-16 20:21:00|Enigma@Home|[error] Checksum or signature error for job_1.14.xml
2007-09-16 20:21:02|Enigma@Home|[file_xfer] Finished download of file 00hc_wu_104151
2007-09-16 20:21:02|Enigma@Home|[file_xfer] Throughput 100 bytes/sec
2007-09-16 20:21:09|Enigma@Home|[file_xfer] Finished download of file wrapper_5.17_windows_intelx86.exe
2007-09-16 20:21:09|Enigma@Home|[file_xfer] Throughput 13551 bytes/sec


Odłączyłem sie od projektu, aby naprawic długością jednostek. Niestety BM stwierdził, ze pobranie zadania sie nie powiodło...
Nie wiem co sie stało, ale teraz nie mogę pobrać jednostek...[/b]

[TJM]

Bleh to mój błąd, zaraz to poprawię.

Edit: teraz działa ?

[Simek]

Działa... ;) Dzięki

[krzyszp]

skądś dedykowany host, na którym odpalę sam serwer BOINCa, co niestety jest mało realne ze względu na koszty.

A jaki to koszt???

[TJM]

Z tego co widzę, minimum to 150-200zł na miecha, za jakieś bublatrony podłączone do sieci. Taki serwer spokojnie by starczył, ale wydaje mi się, że w tej cenie jakość usług może być podejrzana.

[lukaszde]

1 Athlon3000+na wstepie pokazalo czas 34:26:11 licze, zobaczymy co z tego wyjdzie ;)
2 potwierdzam, ze enigma nie ma ustawionego bitu wykonywalności

[krzyszp]

Dużo, ale myślę, że może ktoś z forumowiczów ma stałe IP...?

[kempler]

Mi na wstępie pokazało 151:43:54 i się nawet tym nie przejmuję  :wink:

[RAD-Poland]

Linuksową aplikację działającą na najnowszych dystrybucjach mógłbym zrobić prawdopodobnie w ciągu godziny ...

fakt tylko najnowsze
wrapper skompilowany jest na "GCC_4.2.0" - a to oznacza,że tylko najnowsze
Mandriva 2007 Spring - tego nie pociągnie, ale Mandriva 2008 RC1 - liczy (przydała się wirtualna maszyna)EDIT:
TJM User of the day - gratulacje =D>
 :mrgreen:

[lukaszde]

tak w ogole mozna byloby dorzucic/doczytac info http://pl.wikipedia.org/wiki/Enigma

[TJM]

User of the hour raczej, bo ciągle się przyczęsto zmieniają. To ma coś wspólnego chyba z tworzeniem nowych profilów. W każdym razie prześledziłem wszystko co się dało i innej przyczyny nie widzę.
Chyba przetestuję szybkość wbudowanego w serwer forum, bo jak widzę, jak śmiga tamto SMF na insane to się nóż w kieszeni otwiera... Przez parę dni jak nie było używane śmigało szybko, a dziś strona się otwiera średnio 15 sekund...

[RAD-Poland]

pierwsze koty za płoty (niecała godzina i grant credit = 9.67) na wraperze 5.17teraz testujemy wersję 5.18  8)

[TJM]

Niczym się nie różnią, musiałem zmienić nazwę pliku job, bo był konflikt z windowsową wersją.
Nie widzę na razie żadnego rozwiązania problemu z chmod, ale szukam dalej info.

[lukaszde]

a w job.xml nie mozesz zdefiniowac praw usera ?

Kod [Zaznacz] Rozwiń

enigma_0.76_i686-pc-linux-gnu -R -o results.txt 00trigr.naval 00bigr.naval ciphertext2

[TJM]

Nie mam pojęcia, dlatego szukam info na ten temat.
Ta linijka którą wkleiłeś nie ma nic wspólnego z prawami, to -R oznacza że progs ma wystartować z resume file.

[lukaszde]

Athlon3000+  czas przeliczania 54:14

sendspace.com/file/1gjksi
moze tutaj jest odpowiedz     listing3 ma cos do tego ?

[TJM]

Dopisałem ręcznie </executable> do xmla aplikacji, może to coś da.

[lukaszde]

jeszcze cos znalazlem moze bedzie pomocne
sendspace.com/file/qy4iw5

[krzyszp]

Na Ubuntu 7.04 i AMD 2400 wszystkie próbki się wykrzaczają (z jednym wyjątkiem).
Na Ubuntu 7.05 (Polska "mutacja" 7.04) i Celeronie 2700 próbki się przeliczają.

W obydwu nadałem prawa...

[lukaszde]

skoro projekt zaczyna się rozkręcać ponad 400userow to można dodać jakieś informacje o projekcie

[TJM]

<core_client_version>5.4.11</core_client_version>

To chyba nie wersja ubuntu stwarza problemy, ale wersja samego BOINCa. Podobno wrapper nie działa poprawnie poniżej 5.5

[miszol]

Dużo, ale myślę, że może ktoś z forumowiczów ma stałe IP...?

ja posiadam dostęp do stałego ip i już poinformowałem o tym TJM'a

[TJM]

Na chwilę obecną znam 3 sposoby trwałego rozwiązania problemu:
1) dedykowany serwer i przepisanie części wrappera między projektami, rozwiązanie niestety poza zakresem moich możliwości finansowych, bo trzeba się liczyć z kosztami rzędu 2,5kzł rocznie.
2) hosting z mod_rewrite i mod_proxy - w ten sposób da się przepuścić cały ruch z dynamicznej domeny przez serwer ze stałym IP. Niestety nie znam serwera który udostępnia apacza z obydwoma modami.
3) jakikolwiek linux stojący gdzieś na stałym IP, wystarczy np. goła instalacja debiana (base) + apache z mod_rewrite i mod_proxy. Do takiego czegoś wystarczyłby prawdopodobnie nawet jakiś antyczny sprzęt, podejrzewam, że jakiś PIII 500 już byłby pełnym wypasem.
Dzienny transfer to około 50MB w obu kierunkach, czasami więcej jeśli zmienia się wersja aplikacji.

[RAD-Poland]

pytanko
z jakimi opcjami kompilowałeś aplikację pod Linuksa , moje kompilacje chodzą znacznie gorzej (enigma-suite-0.76)
benchmark na Athlon 3800+ 2,0@2,232 bit enigma TJM
392,94 sek32bit enigma z -march=athlon64
466,91 sek (18,8% wilniej)  :( 64 bit enigma z -march=athlon64
477,64 sek (21,5 % wolniej)  :(  :(
w rzeczywistym przeliczaniu wyniki benchmarka potwierdzają się (nie są te same wu, ale porównywalne)

TJM
wu_25781     3,217.66     8.96     8.35

my 32bit
wu_25780    3,834.92    10.67    8.35

TJM
wu_25270     3,049.09     8.49     8.35

my 32bit
wu_25393    3,875.73    10.79     8.35

generalnie 20-25% wolniej - gdzie jest haczyk?  :(

[TJM]

To jest exek żywcem wzięty z mojego najstarszego kompa z linuksem

-march=pentium3 -O2

W jaki sposób exeki podmieniasz ?

[RAD-Poland]

dzięki
potrenowałem trochę, ale i tak nie osiągnąłem lepszego wyniku32 bit enigma TJM
392,94 sekwszelkie próby z gcc 4.1 i 4.2 skończyły się wynikami 460-510 sekcoś mnie tknęło i sprawdziłem czym kompilowałeś swoją aplikację -> gcc 3.2
nie mam takiej wersji, oficjalna gcc 3.3.6, po kilku kompilacjach najlepszy wynik to 411 sek :? narazie zostaję przy twojej aplikacji, może ktoś zna się na kompilacji źródeł i po osiągnięciu lepszych wyników udostępni aplikację
(specjaliści od Gentoo do roboty)  :wink:

[TJM]

Heh a powiedz mi jeszcze, jak to kompilujesz ?
Wydaje mi się, że coś robisz źle, bo o ile pamiętam, dało się uzyskać szybszy exek dla athlonów kombinując z flagami. Chociaż różnica chyba była niewielka, dlatego ja dla uproszczenia na wszystkich kompach używam jednego (tego PIII).

Aha i jeszcze jedna rzecz - w jaki sposób mierzysz czas ? Przy testach exeków trzeba bawić się jakimś powtarzalnym zadaniem (np. tym benchmarkiem który tu wkleiłem), bo inaczej wyniki mogą zostać zafałszowane poprzez rozrzut długości zadań.

[RAD-Poland]

przed kompilacją modyfikuję plik conf-cc, przy zmianie kompilatorów również conf-ld
testowałem z różnymi parametrami
-mcpu -march - dla różnych procesorów athlon, athlon64, athlon-xp, nawet pentium
dodawałem flagi -mmmx,-msse2,-m3dnow -mfpmath
im wyższej wersji gcc użyłem tym gorszy wynik otrzymałem :?do testów używam Twojego benchmarka (różnice przy pomiarach max 7-8 sek)

[TJM]

A próbowałeś edytować plik compile w katalogu enigmy ?
Generowany jest automatycznie przy pierwszej kompilacji, póżniej wystarczy zdjąć z niego prawa do zapisu, żeby nie został przywrócony do domyślnej postaci i można ręcznie edytować.