Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home

[Troll81]

Czyli mam rozumieć że ta ostatnia wersja u mnie cos przyśpieszy?

[buninek]

Na 100%

[Bober]

A czy Panowie przewidują jakiś ostateczny zestaw nowych optymalizacji, który zostanie podany w lekkostrawnej formie i przedstawiony szerszej publiczności?

Bo w tej chwili to już nawet ciężko w tym temacie cokolwiek znaleźć :P

[Troll81]

np oficjalny dział z optymalkami na stronie enigmy?? :D

[TJM]

Tamte na forum są z gatunku tych bardziej wypróbowanych, które były dostatecznie długo testowane i nie stwarzały zbytnich problemów. Uaktualnię exeki za jakiś czas, jeśli nie będzie żadnych problemów.

EDIT: skrypt updejtujący statsy przejechał w nocy ponad połowę userów, każdy z id > 2k ma już uaktualnione top score w profilu, reszta pewnie dziś się uaktualni.

EDIT2: jeśli ktoś ma puste miejsca przy top score to najprawdopodobniej oznacza, że nie odesłał ani jednego wyniku danego typu (puste przy dwóch to już raczej błąd skryptu).

[Mori]

A czy Panowie przewidują jakiś ostateczny zestaw nowych optymalizacji, który zostanie podany w lekkostrawnej formie i przedstawiony szerszej publiczności?

Bo w tej chwili to już nawet ciężko w tym temacie cokolwiek znaleźć :P

Zaraz tam ciężko znaleźć. Przecież mówię, że pod Athlony wersja Buninka: http://www.boincatpoland.org/smf/index.php/topic,1216.msg46658.html#msg46658 sprawuje się ok (a przynajmniej miło śmiga na moim A64+, dając mi lepsze rezultaty niż oryginalna optymalka TJMa).

[Troll81]

to że ja ślezę ten wątek nie znaczy że nowo przybyły user od razu znajdzie.

[buninek]

Niestety mocno optymalizowana aplikacja enigmy (własny build) pod linuksem wprowadza bardzo dużą niestabilność do systemu. Początkowo obaraczałem tym tylko zbytnie podkręcenie procesora.
Tyle że wcześniej nie miałem, aż takich kłopotów (nawet przy większym OC)
Głównym winowajcą są zbyt agresywne flagi kompilacji enigmy, choć podkręcenie proca też ma wpływ.
Problemy występują wyłącznie przy bardzo silnym wykorzystaniu procesora innymi zadaniami, np.
mocno obciążony wirtualny system, kompilacja większych pakietów (aplikacji). Zwisy systemu
następują jednak tylko przy działającej enigmie. :(
Odwrotnie jest ok tzn. jeśli proc obciąża tylko enigma.

[TJM]

U mnie nie ma takich problemów, obojętnie co bym nie robił linuch jeszcze nigdy mi się nie zwiesił, co najwyżej pada sama aplikacja.

[buninek]

Sama aplikacja jako taka nie wysypuje się.
Przy obciążonym systemie i wyłączonej aplikacji jest ok. Może tu być winny xenowy kernel. Bardziej "czuły".
Nic to, zmniejszę taktowanie. >:(

[TJM]

Nieoczekiwany downtime - odmówił dalszej pracy UPS, za paręnaście minut odpalę wszystko ponownie bez UPSa, podłączę go z powrotem jak rozkminię co się mu stało.

[buninek]

Stało się. Brak zadań. Nie ma ochoty więcej pobrać. >:(
Zmieniałem bufor, próbowałem z 5.10.45 bez rezultatu.

[TJM]

Niestety w tym momencie wina leży po stronie projektu i musisz poczekać jakiś czas, aż liczba dostępnych zadań w server_status spadnie do pułapu gdzie skrypt zacznie generować nowe (około 4200-4300) Zauważyłem, że przy każdym wzroście kredytów (mimo że skrypt przeliczający jest tak zrobiony, że nigdy nie zwiększy na raz o więcej niż 0.1-0.3 zależnie od długości zadań) zawsze znajdą się ludzie którzy dla tak małej różnicy potrafią anulować setki zadań po to, żeby szybciej zgarniać kredyty według nowej taryfy :O Wszystkie zadania typu _x i _rx_ gdzie x > 0 ida do hostów oznaczonych jako reliable, więc póki ich większa część nie zniknie, inne dostają no work from project.

Najlepszym sposobem zabezpieczenia się przed tym jest bufor zadań nie większy niż 3 dni . Większy może wydawać się bezpieczniejszy, ale rzadko zdarzają się tak duże przestoje (to już musi być bardzo poważna awaria) a turnaround time > 3 dni automatycznie skreśla hosta z listy reliable hostów.

[buninek]

Ok. Poczeka się.
Bufora nigdy nie ustawiam dłuższego niż na dwa dni.
Jak na złość primegrid również ma przestój w psp sieve a lubię je bo dobrze punktują. ;D

[TJM]

To ściągnij sobie trochę PPS - są bardzo króciutkie (więcej info w temacie o nadchodzącym wyścigu) i przyjemnie się je przelicza a granted credit wychodzi tak na oko na 140-170% claimed więc nie jest źle.

EDIT: jakiś tajemniczy bug w ostatniej wersji serwera wzmocnił efekt o którym pisałem wyżej, bo scheduler nawet do reliable hostów nie bardzo chce wysyłać zadania. Narzuciłem tak na szybkiego patcha i zaraz odpalę zmodyfikowaną wersję schedulera, powinno pomóc.

[TJM]

Zainstalowałem Mingw 5.x i po krótkiej walce podpiąłem pod dev-cpp. Na dzieńdobry bez żadnego kombinowania ustanowiłem nowy rekord prędkości aplikacji dla Windows, czas zleciał mi na najkrótszych zadaniach (teraz na nich benchmarkuję) z 18 minut na 17 z niewielkim hakiem, czyli jest to przyrost rzedu 1/18 = 5,5%. Zobaczymy co będzie dalej. Pytanie tylko jak ze stabilnością aplikacji i czy nie pojawią się błędy - na razie zostawiam taką na noc i zobaczę rano co i jak.

Jeśli ktoś chce się pobawić w testy, mogę udostępnić jutro około południa jakieś aplikacje dla różnych procesorów, dajcie tylko znać dla jakich.

[buninek]

Dla procesorów intela również? Na jakim gcc oparta jest ta wersja mingw?

[TJM]

Szczerze mówiąc to nie mam pojęcia %-) Ale z tego co widzę to chyba 3.4.5. Testowałem tylko na Intelach, nie mam kompów z AMD pod windows.
Dziwne bo największe przyspieszenie jest wtedy, gdy komp nic innego nie robi, jak ma dużo zajęć bywa nawet minimalnie gorzej niż na starej wersji.

[TJM]

Na forum znów lepsza wersja kompilacji pod Phenomy, pewnie dałoby radę skorzystać z tych flag również dla Athlonów 64.

http://www.enigmaathome.net/forum_thread.php?id=77

[TJM]

W tym tygodniu jakoś będzie kilkugodzinny shutdown serwera, muszę trochę upgrejdnąć chłodzenie, bo Phenom strasznie się grzeje i rozgrzewa mi za bardzo wodę, do tego stopnia, że wczoraj przy robieniu kopii bazy danych w rurkach pojawiły się bąbelki powietrza - oznaka zbliżania się temperatury do 70 stopni. Planuję dorzucić dwie chłodnice nagrzewnicy od Clio, dziś przyszły pocztą i teraz pozostaje mi tylko wykonać przelotki z rurek tych chłodnic (dość duża średnica) na 5/7mm rurki których używam w WC.

EDIT: tak to wygląda

[Szopler]

No to trzeba się zaopatrzyć w unity... już zwiększam cache ;)

[TJM]

Nie wiem czy nie odwlekę tego do połowy przyszłego tygodnia, muszę jakoś wkleić rurki w wyloty chłodnic (nic innego nie przychodzi mi do głowy) a takie klejone połączenie muszę dobrze przetestować pod ciśnieniem dużo większym od normalnego żeby mi się nie rozeszło w akcji. W piątek wyjeżdżam na weekend + 2 dni (powrót w środę), nie wiem czy przez 2 dni zdążę coś wykombinować, więc na razie chyba to oleję.

[emik]

dlaczego na komputerze z systemem Win98 podczas uruchomienia enigmy wyskakuje okno dosowe, które jak zamknę to powoduje błąd wu? - chciałem uruchomić projekt na firmowym kompie, ale wyskakujące okienko przeszkadza księgowej ;D

[Troll81]

widze że rasowo zatrudniasz kompy :D

[emik]

kierownictwo wyraziło zgodę pod warunkiem, że nie będzie przeszkadzało w normalnej pracy, a niestety okienko jest denerwujące ;D

[TJM]

To chyba był błąd wrappera w czasie gdy go zbudowałem pod pierwszą aplikację, niby potem poprawili źródła. Próbowałeś z wrzuconymi eksperymentalnymi aplikacjami ? Tam są nowsze wrappery.

[emik]

jutro popróbuję i napiszę co i jak

[emik]

czyżby były jakieś problemy? kończy mi się bufor a nie chce mi pobierać nowych wu

2008-10-22 15:47:21|Enigma@Home|Sending scheduler request: Requested by user.  Requesting 0 seconds of work, reporting 0 completed tasks
2008-10-22 15:47:31|Enigma@Home|Scheduler request succeeded: got 0 new tasks

hostid=5379

[TJM]

Pewnie jak zwykle przejściowy problem z nadmiarem priorytetowych zadań. Takie coś zazwyczaj nie trwa dłużej niż godzinę, chyba, że u kogoś wysypało się parę tysięcy zadań.

[TJM]

Najbliższe 208k zadań (średnio z 3-4 dni pracy projektu) to głównie najkrótsze hceyz72/0 z niewielkimi wstawkami /1.
Serwer M4 zaczął ostatnio głównie takie przydzielać, chyba ze względu na to że /2 i /3 jest dużo mniej (w sumie kilka % całości) i powoli zaczynają się kończyć. Trochę przez ostatnie dni sztucznie przyhamowałem wysyłanie tych krótkich w nadziei że serwer trochę wyśle i zacznie znów wysyłać też te dłuższe, ale widzę że nic się nie zmienia to nie ma co tego trzymać i puszczam jak leci + zaległy bufor.

[Pigu]

eni to istna paskuda jeżeli idzie o hi priorytet - zadanka eni na następny miesiąc wbijają na priorytet przed ralphem na sobotę...

[TJM]

To praktycznie niemożliwe, jaki masz rdcf ?

[Pigu]

To praktycznie niemożliwe, jaki masz rdcf ?

rdcf?

[TJM]

W sumie teraz to już tdcf



dla domyślnej aplikacji powinien być w granicach 0,8-1,2; dla zoptymalizowanych spada dużo niżej. Jak jest za wysoki (np. powyżej 3-4) zadania lubią sobie wejść w high priority bo manager myśli, że nie zdąży.

[Pigu]

Task duration correction factor   0.564556  |-?

[Troll81]

czyli o ile należy korygować czas trwania workunita??

[TJM]

Nic nie trzeba korygować, domyślnie jest ustawiony tak jak powinien.

[Pigu]

posiadamy optymalkę dla q9400 ale uwaga - 64bit?

[TJM]

W temacie na forum jest parę postów od góry aplikacja 64 bitowa crunch3ra - ale to jedna z pierwszych i nowe 32bitowe są chyba szybsze.

[TJM]

Dziś po południu wyjeżdżam na trochę przedłużony weekend, mam nadzieję, że nic przez ten czas nie padnie.