Tak sobie siedzę i myślę ... optymalizacje ...

[przemex]

I dochodzę do wniosku że twórcom projektów lata to, czy liczy się szybciej, czy wolniej ...

My tu szukamy optymalizacji, chcemy liczyć szybciej (czytaj zdobywać więcej punktów) a taka enigma nawet nie ma kompilacji pod systemy 64 bitowe nie wspominając o kompilacjach na poszczególne procesory ...

AP26 może poszczycić się aplikacjami na win/lin/macos/solaris/x32/x64 i chwała im za to ...

Ale tak naprawdę to nie qmam jednego - co szkodzi stworzyć zakładkę "advanced user zone" absolutnie bez supportu coby ludzie dupy nie truli i wrzucić tam kompilacje pod konkretne procki (sse, sse2/3/4 ...) Przecież te rozszerzenia instrukcji zostały stworzone po to żeby nie robić czegoś n.p. w 5 cyklach zegara tylko w jednym. Kompilując aplikację pod konkretny procesor można wielokrotnie przyśpieszyć obliczenia, dlaczego więc tego się nie praktykuje ?

Team B@P robi eventy - projekt miesiąca, wspierajmy polskie projekty, liczmy AP26 i Enigmę - ale powiem szczerze że jak dostaję ~25punktów za godzinę liczenia AP26 i ~40 punktów za godzinę zoptymalizowanej Milky ... to co wybiorę ??

Dlaczego to my, mamy szukać optymalizacji, a twórcy projektów którym najbardziej powinno zależeć na szybkim otrzymaniu wyników mają to gdzieś ? A może jak nie wiadomo o co chodzi to jak zawsze chodzi o $$ - im dłużej projekt się ciągnie tym więcej dotacji można wyrwać ... sam już nie wiem ...

Policzył bym coś polskiego, ale przy takim ratio kredytów/h to niestety ... sorry ...

[satanetv]

Co do Enigmy to jest optymalizacja pod x64 ale tak naprawde daje ona kilku procentowy przyrost.

[Bober]

Ale optymalizacje pod Enigmę są na forum Enigmy dostępne. Na naszym forum pewnie trudno je wykopać z tematu Enigmy, który się potwornie rozrósł. Tam w każdym razie zostało dużo powiedziane na temat optymalizacji pod różne konfiguracji.

Każdy się kieruje swoimi kryteriami wyboru projektów do liczenia, punkty są tylko jednym z wielu. Więc albo chcesz liczyć dojne projekty albo polskie. Nawet z dostępnymi optymalkami nie zrobisz w Eni tyle co w Milce - nie można mieć wszystkiego. Wynika to też z tego, że Milka daje za dużo punktów.

[przemex]

Co do Enigmy to jest optymalizacja pod x64 ale tak naprawde daje ona kilku procentowy przyrost.

Ok, pojawiły się na forum, ale jak opisane - sorry IMO bez sensu - sorry, może się czepiam, ale co kogo obchodzi nazwa handlowa CPU ? Ważne jest jakie instrukcje obsługuje, co to za opis: "pentium4" - ale który?  wilamette, northwood czy prescott? sse2 czy sse3 ? Jeśli już ktoś decyduje się na instalowanie optymalizacji to chyba wie jakie instrukcje obsługuje jego procesor ...

Edit:
Jeszcze bardziej może się czuć zagubiony użytkownik laptopa - on wie że ma centrino - ale co to centrino ? P4, a może to core duo, albo dual core ? jaką optymalizację wybrać ? czy optymalizacja pod P4 była robiona na sse2 czy 3 ? bo jak pod sse3 to na części P4 będzie się wykładać ... Sugeruję nie posługiwać się nazwami handlowymi procesorów, tylko podawać na jaki zestaw instrukcji jest optymalizacja, a chyba każdy głupi potrafi odpalić CPUz i zobaczyć co jego proc potrafi ...

[Voice1980]

AP26 może poszczycić się aplikacjami na win/lin/macos/solaris/x32/x64 i chwała im za to ...

ale powiem szczerze że jak dostaję ~25punktów za godzinę liczenia AP26 i ~40 punktów za godzinę zoptymalizowanej Milky ... to co wybiorę ??
e przy takim ratio kredytów/h to niestety ... sorry ...

przemex piszesz, że twórcom projektów może nie zależeć na szybszym otrzymaniu wyników. Akurat porównałeś dwa projekty z optymalizacjami, więc im chyba jednak zależy ;)


Właściwie to sęk chyba leży w punktacji. Gdyby taki AP26 lub Enigma miały punktację jak Milky, wielu by się nie zastanawiało tylko przełączało maszyny na polskie projekty...a tak Team musi odwoływać się do patriotyzmu liczących  :)


Owszem jest wiele projektów bez optymalizacji i faktycznie można się zastanawiać dlaczego chcą w tej sytuacji "tkwić"...

tu jednak podejdę niepoważnie i z humorem
... może faktycznie kasa z dotacji dłużej płynie 8)
... im projekt bardziej leciwy, tym bardziej wydaje się poważny i tym większych może znaleźć sponsorów :D
... im dłużej obliczenia trwają, tym większa ilość naukowców robi na tym karierę i zdobywa praktykę :)
... im wolniej idą obliczenia, tym dłużej projekt może być w "portfolio" jakiejś uczelni :D
... im wolniej idą obliczenia, tym twórca projektu dłużej może cieszyć się pracą  XD
... faktycznym, tajnym celem takich projektów, jest badanie cierpliwości liczących w zależności od wysokości punktacji za próbkę :ph34r:

[Peciak]

Przemek ma rację pamiętam jak liczyłem Milke na CPU, bez żadnych trudności znalazłem potrzebną optymalizacje na 3 różne procesory i wszystkie działały super. Jeszcze raz popieram Przemka optymalizacje powinny być opisane instrukcjami procka

[lolek]

Panowie macie pełną rację. Dobrym przykładem jest mój dziadek sempron 3000+, 99% tych procków nie obsługuje SSE3 a ten tak. Dla tego szukanie opymalek pod jakiś proc po jego nazwie mija się często z celem. 

[X X X]

Voice, świetnie napisane!

Od siebie dodam - im projekt szybciej jest liczony, tym większy zużywa transfer i zasoby serwera, zatem rosną koszty prowadzenia projektu.

Który to projekt należy do najwolniej liczących? Jak mu tam było... aaa... WCG, rzecz jasna!
XD

[Troll81]

Odpowiedzi czasem kryją się w zaskakujących miejscach. Jak na przykład:
- Projekt nic nie zyska bo nie wykorzystje funkcji SSE (i innych) wiec po co pisać optymalki.
- Aplikacja została stworzona przez biologa który informatykiem nie jest i nie ma bladego pojęcia o optymalizowaniu
- Optymalki zostały stworzone ale przyrost był znikomy albo wręcz liczyły wolniej
- Projektu nie stać na zatrudnienie zawodowych programistów którzy umieją pisać optymalki
- Szefostwo projektu ma w dupie bo ich projekt świetnie karmi (FH na ten przykład)

itp itd

A fakt że na naszej wiki przydłaby się dział w którym byłyby aktualne linki do wszystkich optymalek.....

[gielo]

Optymalki optymalkami, punkty punktami ale jeśli miałbym wybrać pomiędzy enigmą a milkiway jakby dawały tyle samo pkt w przeliczeniu na godzinę to i tak wybrałbym milky jako że dla mnie projekt enigmy jest lekko bez sensu i nic do nauki sensownego nie wnosi.

Jak ktoś się interesuje kryptografią czy algorytmiką niech lepiej liczy projekty wyszukujące liczby pierwsze lub też inne rzeczy rozijające te dwa kierunki. Liczenie czegoś pokroju enigmy to dla mnie strata zasobów procka, kasy i prądu. Jednym słowem bezsensowne przyczynianie się do zatruwania środowiska i marnowania własnych finansów.

No ale jak już gdzieś pisałem mamy wolny kraj i każdy liczy to co chce chociaż ja osobiście ubolewam że polacy narzekają na brak finansów na badania i jednocześnie nie korzystają z darmowych czy też prawie darmowych możliwośći. Chyba jednak lepiej siedzieć na d...e i biadolić że się nie ma. Mamy dobrych fizyków, matematyków, informatyków, biologów. więc czemu nie ma polskich projektów w tych dziedzinach, które mogły by przynieść korzyści całej ludzkiej populacji. Może też usłyszelibyśmy o noblu za wkład w naukę dla Polaka a nie dla żyda, niemca czy amerykanina.

[Aegis Maelstrom]

Od siebie dodam - im projekt szybciej jest liczony, tym większy zużywa transfer i zasoby serwera, zatem rosną koszty prowadzenia projektu.

To nie tak działa. Jeśli już, to zależy to głównie od liczby przesyłanych danych, a więc liczby próbek i wielkości wysyłanych/zwracanych danych, a także częstości zmiany aplikacji, ustawień deadline'ów i replikacji itd.

TJM może napisać więcej.

Który to projekt należy do najwolniej liczących? Jak mu tam było... aaa... WCG, rzecz jasna!
XD

A to niby w jaki sposób stwierdziłeś?  |-?
Bardzo jestem ciekaw.

Aha, ta cała twoja kampania przeciwko WCG jest w złym guście, poważnie.

[X X X]

To nie tak działa. Jeśli już, to zależy to głównie od liczby przesyłanych danych, a więc liczby próbek i wielkości wysyłanych/zwracanych danych, a także częstości zmiany aplikacji, ustawień deadline'ów i replikacji itd

Nie tak? Jeśli wychodzi optymalizacja Colla skracająca czas obliczeń jednego WU z 12 minut na 10 minut, to jedna grafa w godzinie przerobi 6 zamiast 5 WU, zatem o 20% więcej. Każdą z tych WU trzeba pobrać i odesłać, zatem takie przyspieszenie obliczeń skutkuje wzrostem transferu o 20%.

A to niby w jaki sposób stwierdziłeś?

Po liczbie przyznawanych punktów rzecz jasna.

Aha, ta cała twoja kampania przeciwko WCG jest w złym guście, poważnie

Nie prowadzę żadnej kampanii. Wskazuję drugą stronę medalu, aby członkowie teamu z większą świadomością mogli wybierać projekty. Jeśli wzrost zasobu wiedzy jest w złym guście, to czniam taki gust.

[Mchl]

Dla porządku prosiłbym, abyś pokazywał tę stronę w odpowiednim wątku.

[Aegis Maelstrom]

To nie tak działa. Jeśli już, to zależy to głównie od liczby przesyłanych danych, a więc liczby próbek i wielkości wysyłanych/zwracanych danych, a także częstości zmiany aplikacji, ustawień deadline'ów i replikacji itd

Nie tak? Jeśli wychodzi optymalizacja Colla skracająca czas obliczeń jednego WU z 12 minut na 10 minut, to jedna grafa w godzinie przerobi 6 zamiast 5 WU, zatem o 20% więcej. Każdą z tych WU trzeba pobrać i odesłać, zatem takie przyspieszenie obliczeń skutkuje wzrostem transferu o 20%.

No tak. A jak przyjdzie dwa razy tyle liczydłowych, to trzeba będzie dystrybuować dwa razy tyle zadań, prawdziwe nieszczęście. Najlepiej byłoby, gdyby tych zadań nikt nie liczył, to nawet serwer by nie był potrzebny. ;)

A poważnie: ta robota obliczeniowa tak czy inaczej i tak musi być zrobiona. Prawdziwi naukowcy wolą, aby było to prędzej niż później - bo to oznacza szybszą publikację i możliwość szybszego rozpoczęcia kolejnego projektu.

Jak więc widać, kluczowy może być co najwyżej stosunek moc/transfer serwera to uzyskiwanej mocy obliczeniowej. A "nadmiar" liczydłowych można spokojnie ograniczyć np. limitując projekt lub ustawiając odpowiednio nisko punktację.  :D

A to niby w jaki sposób stwierdziłeś?

Po liczbie przyznawanych punktów rzecz jasna.

A jaki związek ma liczba przyznanych punktów z "prędkością obliczeń" - cokolwiek by to nie było? Punktacja przecież jest arbitralna. Jeśli ktoś będzie chciał, to i ustawi 100 punktów za jednominutową jednostkę na starym Celeronie. Podobno czytałeś na temat projektów, powinieneś był to wiedzieć...  :-[

Jak więc widać, nawet związek punkt kredytowy z uzyskanymi TFLOPS jest czysto teoretyczny - nie mówiąc już o przełożeniu na faktyczne wyniki badań. To drugie to zupełnie nie wiem jak chciałbyś porównywać - można się wprawdzie ograniczyć do oceny jakości algorytmu oraz jego implementacji w każdym z projektów, ale ja życzę powodzenia...

Aha, ta cała twoja kampania przeciwko WCG jest w złym guście, poważnie

Nie prowadzę żadnej kampanii. Wskazuję drugą stronę medalu, aby członkowie teamu z większą świadomością mogli wybierać projekty. Jeśli wzrost zasobu wiedzy jest w złym guście, to czniam taki gust.

Wzrost zasobu wiedzy jest w dobrym guście.

W złym guście jest publiczne stawianie kolejnych nieprawd niepopartych dowodami, aby dołożyć nielubianemu projektowi.

[Rysiu]

jak nie wiadomo o co chodzi to jak zawsze chodzi o $$

Albo o kobiety. Poniekąd może trochę racji w tym jest.

[X X X]

A "nadmiar" liczydłowych można spokojnie ograniczyć np. limitując projekt lub ustawiając odpowiednio nisko punktację

Wspaniale właśnie wykazałeś, że WCG nie zależy na szybkiej realizacji projektów. Zależy im na... trwaniu.
XD

Nielubiany? Ależ skądże! Pracowicie zdobywam w nim kolejne ikonki, zaprzęgając do tego mojego najbardziej lubianego kompa.

[Troll81]

WCG ma taki system kredytowy, bo wcześniej istniał całkowicie obok platformy BOINC. Ale to nie jest temat na ten wątek...

[Aegis Maelstrom]

A "nadmiar" liczydłowych można spokojnie ograniczyć np. limitując projekt lub ustawiając odpowiednio nisko punktację

Wspaniale właśnie wykazałeś, że WCG nie zależy na szybkiej realizacji projektów. Zależy im na... trwaniu.

Niczego nie wykazałem. Może im nie zależeć na większej liczbie liczących, może nie lubią BOINC i wolą liczących tylko dla siebie, a może postanowili być uczciwi i nie ulegać punktowej inflacji - kto wie? Nie wiadomo.

Zastanawiam się za to, kiedy wreszcie przestaniesz wyciągać nieuzasadnione wnioski. Bo to męczące.

I to chyba koniec tego off-topa.

[TJM]

Ale tak naprawdę to nie qmam jednego - co szkodzi stworzyć zakładkę "advanced user zone" absolutnie bez supportu coby ludzie dupy nie truli i wrzucić tam kompilacje pod konkretne procki (sse, sse2/3/4 ...) Przecież te rozszerzenia instrukcji zostały stworzone po to żeby nie robić czegoś n.p. w 5 cyklach zegara tylko w jednym.

Jak to mawiał mój kumpel: 'czarów nie ma'. Rozszerzenia typu SSE służą głównie do wykonania obliczeń na wielu danych na raz, więc da się je zastosować tylko tam, gdzie da się coś zrobić równolegle. Nie zawsze jest to możliwe, często trzeba modyfikować źródło żeby jakakolwiek rekompilacja miała sens.

Kompilując aplikację pod konkretny procesor można wielokrotnie przyśpieszyć obliczenia, dlaczego więc tego się nie praktykuje ?

Niby jak to nie ? Na forum Enigmy są aplikacje skompilowane właśnie dla konkretnych procesorów. Co więcej, są dostępne nawet aplikacje skompilowane ze źródeł które zostały przygotowane specjalnie pod konkretne procesory (dla c2d i A64).

Poza tym myślisz, że skompilowanie aplikacji to pstryknięcie palcami i już wrzuca się ją na forum ? Jakiekolwiek poważniejsze zmiany wymagają testów: poprawność wyników, testy na przyrost prędkości na realnych WU, stabilność itp.
Testy wymagają czasu i dostępu do różnych procesorów / systemów operacyjnych. Dysponując jednoosobowym 'staffem' raczej dużo nie da się zdziałać.

Dlaczego to my, mamy szukać optymalizacji, a twórcy projektów którym najbardziej powinno zależeć na szybkim otrzymaniu wyników mają to gdzieś ? A może jak nie wiadomo o co chodzi to jak zawsze chodzi o $$ - im dłużej projekt się ciągnie tym więcej dotacji można wyrwać ... sam już nie wiem ...

Właśnie myślę nad wypuszczeniem wolniejszych o 50% aplikacji, żeby dozbierać na wycieczkę i poleżeć w zimie ma plaży w jakimś cieplejszym kraju. Na wiosnę zaś zacznę zbierać na wycieczkę do Czarnobyla, zawsze chciałem tam jechać.
A tak serio to chyba nie zdajesz sobie sprawy jakie są koszty utrzymania chociażby małego projektu. Jeżeli przez dotacje masz na myśli wbudowaną opcję 'donate' (bo chyba tylko to jest osiągalne dla mniejszych projektów), to nie widzę po prostu najmniejszych szans żeby długoterminowo mogło to pokryć koszty samych hostingów, download mirrorów i innych rzeczy. Może dla projektów które mają zadania tylko raz na jakiś czas i to dość długie, bo koszty utrzymania projektu (wymagania wobec łącza i serwera(ów)) rosną mniej więcej liniowo wraz ze spadkiem długości zadań i ilości jednocześnie przeliczanych.
Ja póki co utrzymuję projekt z własnej kieszeni, po prostu traktuję to jako hobby (niestety dość drogie). Po prostu wydawało mi się, że skoro ludzie przeznaczają na projekt swój czas procesora, nie fair byłoby jeszcze wołać o jakieś dotacje. Póki co dostałem jedynie trochę sprzętu od AiDeca - między innymi kilka HDD, iRAMa który znacznie odciążył serwer i znaczną część kompa który zastąpił moją starą sypiącą się maszynkę z zainstalowanymi 4-ma systemami i kilkunastoma różnymi kompilatorami. Inny kolega z teamu (chyba jurdziol o ile mnie pamięć nie zawodzi) sprzedał mi pamięci DDR praktycznie za połowę ceny. I to by chyba było na tyle.

Ups: byłbym zapomniał - pojawiały się też oferty darmowego hostingu na całkiem niezłych maszynach, jednak ze względów bezpieczeństwa musiałem odmówić - w końcu chociażby same emaile uczestników są prywatnymi danymi, do których nikt nie powinien mieć dostępu.

Team B@P robi eventy - projekt miesiąca, wspierajmy polskie projekty, liczmy AP26 i Enigmę - ale powiem szczerze że jak dostaję ~25punktów za godzinę liczenia AP26 i ~40 punktów za godzinę zoptymalizowanej Milky ... to co wybiorę ??

Patrzysz niestety w złą stronę. To nie wina innych projektów, że punktacja w Milkyway jest wyższa. BOINCowa Wiki dostarcza informacji na temat sposobu ustalenia przybliżonej punktacji. Są też wbudowane i dodatkowe narzędzia usprawniające proces ustalania punktów. Większość projektów wpasowuje się w standardy, inne jak widać nie. W przypadku Milkyway sprawa wygląda tak, że u nich od początku punktacja była zawyżona, praktycznie z kosmosu. Na dodatek w bardzo krótkim czasie okazało się jak lipna była ich domyślna aplikacja, powstały superszybkie optymalizacje. Kredyty pozostały wysokie pomimo wielokrotnego ich zmniejszania - nie licząc pojawiających się i znikających 'hitów sezonu' MW to od dawna najlepiej punktujący projekt i prawdopodobnie nieprędko się to zmieni.

Jeszcze raz popieram Przemka optymalizacje powinny być opisane instrukcjami procka

Absolutnie się z tym nie zgodzę. Oprócz obsługiwanych zestawów instrukcji, procesory mają też inne właściwości, w dużym stopniu liczy się architektura samego procesora. Stąd Enigma ma aplikacje nazwane tak a nie inaczej: weźmy np. aplikacje PIII i AthlonXP. Oba te procesory obsługują SSE, a jednak aplikacje między nimi nie są zamienne. Obie będą działać, zwracać poprawne wyniki i będą szybsze od domyślnej. Ale zastosowanie właściwej dla procesora poprawi znacząco wydajność.
Podobnie jest z P4: aplikacja nieprzypadkowo się tak nazywa, jest przeznaczona dla wszystkich procesorów opartych o P4 i z tego co pamiętam uwzględnia ich długi potok wykonywania rozkazów.
Poza tym w tym projekcie jedynym zestawem instrukcji który coś daje jest zwykłe SSE, cokolwiek powyżej praktycznie nic już nie zmienia. Aplikacja 64 bitowa jest ale nie rozwijana, przyrost prędkości jest tak niewielki, że szkoda tracić na to czas.

Od siebie dodam - im projekt szybciej jest liczony, tym większy zużywa transfer i zasoby serwera, zatem rosną koszty prowadzenia projektu.

To nie tak działa. Jeśli już, to zależy to głównie od liczby przesyłanych danych, a więc liczby próbek i wielkości wysyłanych/zwracanych danych, a także częstości zmiany aplikacji, ustawień deadline'ów i replikacji itd.

Tak naprawdę wszystko to ma wpływ. Wielkość plików z danymi workunitów liniowo wpływa na potrzebny transfer, podobnie jak wielkość odsyłanych danych. Ilość rezultatów aktualnie znajdujących się u klientów (na co wpływ ma liczba uczestników i długość zadań) - również praktycznie liniowo (scheduler requesty rosną). Z releasami nowych aplikacji przynajmniej da się walczyć - download mirrory.

[sesef]

Przypomnę jeszcze tylko, że kompilator pod system który używa 95% globu kosztuje 599$ więc czasami na ekstremalną (jednocześnie dość prostą w wykonaniu) nie ma kasy.

[TJM]

No niestety, nie jestem nawet pewien czy moja licencja na Visuala pozwala w ogóle na udostępnianie kodu, czy to w celach komercyjnych, czy nie. Na szczęście całe BOINC API kompiluje się również w VC++ 2005/2008 Express więc do zbudowania publicznie dostępnych wersji aplikacji użyłem tych wersji.

Licencja na Intel C/C++ chyba zmieniła się z czasem, pod Windows dalej tylko 30 dniowy trial (o zakupie pełnej wersji mogę zapomnieć, jeśli nie wygram w lotto na pewno nie będzie mnie stać na zakup), pod linuksa teraz jest wersja z której aplikacje z tego co rozumiem można wykorzystywać do celów niekomercyjnych, chociaż mogę się mylić. Przy instalowaniu wcześniejszej wersji był wpis w licencji mówiący, że w ogóle nie można takich aplikacji udostępniać. Chyba, że nadal gdzieś jest a nie doczytałem %)

W ogóle to szkoda czasu na rozwijanie aplikacji dla CPU, można by o tym myśleć gdyby miała jakieś poważne błędy i wymagała poprawek w wydajności. Tymczasem te dostępne są dość dopracowane i cięzko wycisnać coś więcej niż 1-3% maksymalnie kombinując jak koń pod górę. Lepiej skupić się na aplikacji dla GPU, podejrzewam że będzie co najmniej kilka razy szybsza na porządnych kartach.

[X X X]

No to do dzieła!

[TJM]

Nie ma się co spieszyć, aplikacji dla ATI i tak nie planuję w najbliższym czasie %)