AP26 search

[RAD-Poland]

Czytając wypowiedź w wątku AP20 rodzi się pytanie

Czy aplikacja AP26 podprojektu PrimeGrid - AP26 search dokonuje pełnego przeglądu AP10 - AP26 jak wynikałoby z plików wynikowych odsyłanych do projektu, czy też jest skupiona wyłącznie na jak najszybszym odnalezieniu AP26 i dopuszcza pomijanie w wynikach niższych AP.. ?

[Jarek Wróblewski]

Czytając wypowiedź w wątku AP20 rodzi się pytanie

Czy aplikacja AP26 podprojektu PrimeGrid - AP26 search dokonuje pełnego przeglądu AP10 - AP26 jak wynikałoby z plików wynikowych odsyłanych do projektu, czy też jest skupiona wyłącznie na jak najszybszym odnalezieniu AP26 i dopuszcza pomijanie w wynikach niższych AP.. ?

To drugie. Aplikacja nie pomija AP26 o różnicach dopuszczalnych przez program, ale część krótszych AP pomija.

Szukając AP24 szacowałem, że szanse jego znalezienia są tak świetne, że napisałem program, który część AP24 pomijał, ale nie pomijał żadnego AP25 o różnicy rozważanej przez program. Moje rozumowanie było następujące: Mam na tyle świetne szanse znaleźć AP24, że mogę sobie z nich trochę odpuścić, dostając za to większe prawdopodobieństwo, że trafię na AP25. Ten sam program był użyty potem do znalezienia AP25.

Szukanie AP26 to jednak strasznie trudna sprawa, dlatego program jest nastawiony na maksymalizację szansy znalezienia AP26. Dlatego przepuszcza niektóre AP25 i krótsze. Zysk jest niebanalny - dzięki temu program jest 2 razy szybszy.

Znany jest jeden AP25 - akurat on jest na drodze programu i został znaleziony.

Znanych jest też 9 AP24, z czego 4 są na drodze programu, a 5 nie. 2 zostały już znalezione. Na razie nie znaleziono nowego AP24.

[Jarek Wróblewski]

Dostałem informację, że AP26 jest dostępny na 32-bitowego linuxa. Nie wiem jaka jest wydajność, ale w testach zoptymalizowana wersja 32-bitowa chodziła tylko 1.7 raza wolniej od 64-bitowej.

Były jakieś problemy z 64-bitową wersją linuxową. Nowa wersja była wolniejsza od starej. W tej chwili powinna być z powrotem używana stara wersja.

[mindc]

Dostałem informację, że AP26 jest dostępny na 32-bitowego linuxa.

ucieszyłem się niezmiernie, ale...
znowu ktoś zapomniał dodać flagę -static przy kompilacji i kilkadziesiąt maszyn nie ma co liczyć gdy milka leży i kwiczy

[Jarek Wróblewski]

Dostałem informację, że AP26 jest dostępny na 32-bitowego linuxa.

ucieszyłem się niezmiernie, ale...
znowu ktoś zapomniał dodać flagę -static przy kompilacji i kilkadziesiąt maszyn nie ma co liczyć gdy milka leży i kwiczy

Ja się na tym nie znam, więc nie wiem w czym problem, ale przekazałem tę informację administratorom PrimeGrid-a.
Oto odpowiedź, jaką właśnie dostałem:

I will compile a 32-bit static linked executable and upload it in a day or two. The program doesn't use any special libraries, so only Linux users running fairly old versions of the system libraries will need the static version.

Rozumiem więc, że problem dotyczy tylko linuxa ze starszymi bibliotekami, a wersja static pojawi się za dzień lub dwa.

[mindc]

I will compile a 32-bit static linked executable and upload it in a day or two. The program doesn't use any special libraries, so only Linux users running fairly old versions of the system libraries will need the static version.

Rozumiem więc, że problem dotyczy tylko linuxa ze starszymi bibliotekami, a wersja static pojawi się za dzień lub dwa.

Dziękuję za interwencję!
JUPI!  ;D
U mnie właśnie większość kompów to staruszki...  ;D

[Jarek Wróblewski]

Oto odpowiedź, którą właśnie otrzymałem od Geoffa Reynoldsa:

I have uploaded some statically linked standalone executables at

http://www.geocities.com/g_w_reynolds/AP26/AP26-static-bin.zip

but I don't think it works to statically link the BOINC executables as they contain networking functions, and the user would have to be running the same version of the C libraries on their machine that the program was linked with.

The best solution is probably for the user to either compile the executables on their own machine, or else upgrade to more recent libraries. The dynamically linked 32-bit executables only require GLIBC version 2.1 or later, which is 10 years old now (released in 1999).

I just reasised another possibility is that the user doesn't have the C++ libraries installed, which are required for the BOINC executables but not the standalone ones. I could statically link the C++ libraries if that is the case, and leave the C libraries dynamically linked. But it really would be much better for the user just to install C++ libraries if they are missing.

[mindc]

ponieważ powyższa binarka została skompilowana bez boinca  ;D
trzeba było wziąć sprawę w swoje ręce...

tutaj możecie znaleźć binarki na linuxa x86: http://zeus.mindc.net
skompilowane statycznie, chodzą na jajku 2.4

:attack:

[sesef]

SSE dodaje jakiś speed?

Co ciekawe skompilowałem najnowsze source i jest u mnie o jakieś 50 sekund wolniejsze niż to pierwsze. Nie wiem co tam admini PrimeGrida nakombinowali na linuxie może wam przyspiesza, ale mi na Windowsie zwalnia :(.

Mindc jak chcesz się pobawić pod windowsem to mogę Ci podesłać skompilowane liby GMP pod Win x64.

[mindc]

@sesef
jasne, ślij te GMP  ;D

testy które robiłem ze swoją aplikacją wyglądają następująco
(linux 2.4, x86, mielenie dołączonego pliku testowego):

ap26 stock : ~1500sec
ap26 moja kompilacja: ~1600sec
ap26 moja kompilacja z ssse3: ~1400sec

nie wiem jak podpiąć pliki w assemblerze, bo brakuje w źródłach pliku asm.h i pluje się że funkcja OKOK101 jest niezdefiniowana,
może wtedy byłoby szybciej

[sesef]

GMP http://www.speedyshare.com/114684547.html libek + header

Ja pod win również nie mogę skompilować asm-a z tego co się doczytałem masm (czy jakoś tak ogólnie chodzi o ten kompilator assemblera z VS) jak i yasm obsługują Intelowską składnie assemblera, a ta co jest tutaj to jakaś A&T czy jakoś tak, ogólnie głębiej się w tym nie zagłębiałem assembler dopiero na 4 semie to wtedy dopiero zacznę się martwić ocb.

===================
Ostatnio szperałem trochę o BrookGPU i chciałem zaprzęgnąć moje 7600 GT do roboty jednak tutaj się nie nadaje :( BrookGPU obsługuje tylko floaty, a tutaj jednak przydałoby się double, po za tym zbytnio nie wiem jak mam wykonać operację "%" na liczbach zmiennoprzecinkowych (w ogóle takie coś jest możliwe?)

[Jarek Wróblewski]

Z tego co się zorientowałem, czytając np. o CUDA, GPU obsługuje tylko niektóre instrukcje arytmetyczne, są to głównie floaty, częstokroć niskiej precyzji. Z tego wszystko można wydziubać samemu, ale to wymaga pracy i prawdopodobnie da mizerny efekt.

Ja rozumiem, że GPU obsługuje głównie floaty, bo to się przydaje w obliczeniach graficznych. Jeśli ta technologia budowania komputerów się przyjmie, może pojawią się tego typu procesory mające w miarę wydajne operacje całkowitoliczbowe.

Jeśli chodzi o AP26, to trzeba testować pierwszość liczb 64-bitowych (naprawdę wystarczą 60-bitowe). Ja to bym umiał złożyć z operacji na liczbach 128-bitowych, nie wiem jak to jest zrobione w wersji AP26 nieużywającej GMP, ale testowania pierwszości się nie przeskoczy, być może to się daje odesłać do CPU i zrobić tradycyjnie.

Ponadto GPU, żeby było wydajne, musi wykonywać obliczenia równolegle. Nie można więc po prostu przepisać programu jak jest. Do tego musi być ktoś, kto jednocześnie:
1. ma jakieś pojęcie o algorytmie,
2. ma jakieś pojęcie o programowaniu GPU,
bo, jak rozumiem, program trzeba istotnie przeorganizować. To jakieś pojęcie nie musi oznaczać dobrej znajomości, ale nie bardzo sobie wyobrażam, jak osoba rozumiejąca dokładnie algorytm, ale nie mająca bladego pojęcia o programowaniu GPU mogłaby sie dogadać z expertem programowania GPU, który nie ma bladego pojęcia o algorytmie lub chociażby jego elementach.

A co to jest to BrookGPU? Nie słyszałem o tym. Czy to coś w stylu CUDA?

Moim zdaniem, nie da się od razu wskoczyć i przepisać skomplikowanego programu na GPU. Programowania GPU trzeba się nauczyć zaczynając od prostych programów i budując coraz bardziej złożone elementy.

Ja bym się może i tego chciał powoli przyuczać, ale raczej nie w kompletnej izolacji. Jeśli ktoś na poważnie chce wejść w programowanie GPU, jestem otwarty na współpracę.

[sesef]

Znaczy najnowsze karty graficzne (głownie te z unifikowanymi procesorami strumieniowymi czyli GeForce generacje 8,9 i GTX oraz Radki 3xxx, 4xxx) obsługują już double co prawda z mniejszą wydajnością niż floaty ale obsługują a w double przynajmniej zmieściłyby się wszystkie potrzebne liczby. Co do liczb całkowitych z tego co się doczytałem w dokumentach ATI to najnowsze Brook+ obsługuje inty prawdopodobnie z podziałem znak/brak znaku (CUDA niby też obsługuje 32 bitowe liczby całkowite).

Samo sprawdzanie pierwszości może zostać na CPU całego programu nie trzeba przenosić na GPU nie zajmuje to jakiś ogromnych ilości czasu CPU, ja głownie myślałem nad przeniesieniem na gpu tych pętli z Make.h oraz może sita z tego co patrzyłem te operacje pochłaniają najwięcej czasu procesora.

Co do programowania równoległego z tego co czytałem większość "roboty" ma wykonać kompilator (te części które mają iść na GPU kompilowane są specjalnym kompilatorem), oraz sam sterownik karty jak jest na prawdę nie wiem bo jeszcze nic w tej dziedzinie nie programowałem. W końcu oprogramowani samemu 900 "rdzeni" karty to już jest z deka masakra.

Co do BrookGPU jest jedna ze starszych technologii programowania GPU powstała na uniwersytecie Stanford i ma działać na kartach GeForce 5200 i nowszych. Z początku technologia wykorzystywania w projekcie Folding@home obecnie wyparta przez Brook+ (http://brook.sourceforge.net/)

Brook+ jest to BrookGPU przystosowane przez AMD/ATI do nowoczesnych kart Radeon głównie seria 3xxx i 4xxx od biedy ma dziłać jakoś jescze na katach nVidia które obsługuje CUDA (http://ati.amd.com/technology/streamcomputing/sdkdwnld.html)

Mamy jeszcze OpenCL czyli między platformowy język opracowany przez Khronos Group (między innymi Apple, nVidia, AMD/ATI itp) programy napisane w tym języku mają działać na procesorach Cell katach zarówno ATI jak i nVidia niby najlepszy język bo za jednym zamachem można załatwić obydwie karty graficzne i od biedy procesor Cell tylko że obsługa tego na kratach ma się pojawić dopiero gdzieś w połowie roku.

Co do wydajności wiadomo że bez jakiegokolwiek doświadczenia od razu nie napisze się czegoś super, ale przy obecnych kartach jakimi tutaj dysponują liczydłowi to jak by tego nie zrobił to i tak będzie szybciej w końcu są tutaj karty po 1-2 TFlops więc musi przyspieszyć.

Sam nie mam na razie możliwości pobawić się CUDA albo Brook+ bo nie mam odpowiedniego sprzętu, ale jak uda mi się BrookGPU uruchomić na swojej karcie to coś sobie podłubie w wolnym czasie, a pomyślałem o AP26 bo jakoś tak mam że jak się uczyłem/uczę programować to do nauki potrzebuje jakiegoś konkretnego pomysłu jakoś nie lubię przepisywać suchych przykładów z książki.

[Jarek Wróblewski]

W moim odczuciu kompilator sam nie zrównolegli czegoś, co nie jest napisane tak, żeby się dało zrównoleglić. Ja rozumiem, że nie trzeba pisać samemu 900 wątków, ale wydaje mi się, że nie można napisać ciurkiem jednego ciągu obliczeń.

Boję się, że zabieranie się od razu za AP26 to skok na zbyt głęboką wodę. Ja jestem w stanie stworzyć dowolne prostsze przykłady. Jeśli uruchomisz coś u siebie, to możemy zacząć się bawić. Ja na pewno będę potrzebował manual do programu, którego masz zamiar używać, bo jednak musiałbym choć trochę rozumieć filozofię tego całego interesu. I uważam, że należy zacząć od możliwie prostych przykładów.

[sesef]

W moim odczuciu kompilator sam nie zrównolegli czegoś, co nie jest napisane tak, żeby się dało zrównoleglić. Ja rozumiem, że nie trzeba pisać samemu 900 wątków, ale wydaje mi się, że nie można napisać ciurkiem jednego ciągu obliczeń.

Znaczy w pętli jak do kolejnej iteracji nie jest potrzebny wynik potrzebnej to bez problemu sobie podzieli bo każda iteracja pójdzie na jeden rdzeń i już. Np jak masz do dodania 2 tablice to suma dla danych elementów zrobi się na danym rdzeniu i z czymś takim kompilator sobie bez problemów poradzi. Jak mamy taki (j*STEP)%149 to powinien sobie bez problemów to rozłożyć każdego "jota" na wiele rdzeni.

[Jarek Wróblewski]

No dobra, jeśli kompilator jest na tyle mądry, to sobie poradzi. A czy jest mądry, to trudno przewidzieć bez eksperymentów. Pętle w AP26 są dość głębokie, kompilator może się nie połapać, do jakiego stopnia są niezależne.

[Jarek Wróblewski]

Samo sprawdzanie pierwszości może zostać na CPU całego programu nie trzeba przenosić na GPU nie zajmuje to jakiś ogromnych ilości czasu CPU, ja głownie myślałem nad przeniesieniem na gpu tych pętli z Make.h oraz może sita z tego co patrzyłem te operacje pochłaniają najwięcej czasu procesora.

Make.h nie ma co ruszać, bo w AP26 to zajmuje niezauważalny ułamek sekundy.

Większość czasu jest spędzana w sicie, ale żeby je zrównoleglić, być może trzeba byłoby przeorganizować pętle.

Poza tym mogą tu wystąpić inne subtelności, które mogą spowodować potrzebę zmiany niektórych parametrów programu. Ponadto pokrewne zagadnienia mogą być łatwiej/trudniej przystosowywalne do GPU, z uwagi na subtelności, których trudno przewidzieć. Może się też okazać, że na GPU opłaca się trochę inaczej dobrać parametry sita. Może się okazać, że GPU pozwoli na jakieś sztuczki, które okażą się rewolucyjne w jednym programie, a będą porażką w innym.

Myślę, że dobrze byłoby nauczyć się, jakie reguły obowiązują w programowaniu GPU, wtedy łatwiej byłoby dopasować do tego programy. Jak będziesz miał jakąś platformę, na której można będzie coś testować, to wtedy można będzie myśleć co dalej.

Czy masz jakiś manual do tego Brook+ ? Na ile to jest podobne do CUDA?

[sesef]

Większość informacji na temat Brook+ można znaleźć na tej stronie http://ati.amd.com/technology/streamcomputing/resources.html (+ troche danych jest na podstronach oraz przykładowe kody które można znaleźć po zainstalowaniu samego AMD stream SDK no i jest jescze forum http://forums.amd.com/devforum/)

Może warto byłoby pomyśleć z wykorzystaniem GPU do liczenia tych mniejszych AP jak tam ma przyjść nowy program to rozumiem również że przyjdzie nowy algorytm a takie coś łatwiej przystosować niż przerabiać obecne.

[Jarek Wróblewski]

Pojawił się pierwszy nowy AP24. Trzeba zaczekać, aż administratorzy PrimeGrida wyciągną na światło dzienne ciąg i odkrywcę.

Ponieważ BOINC@Poland wyrabia ok. 50% całego przerobu, szanse na to, że to ktoś z naszych, są 50:50.

EDIT:

Już wygrzebali: ksysju

[ksysju]

Hi

Ciekawe  :), bo z dwa tygodnie nic nie liczyłem, i wczoraj przełączyłem jeden czy dwa kompy na PrimeGrid.

--
ksysju

[Jarek Wróblewski]

Dwa tygodnie? Twój wynik stanął na niecały tydzień.

Masz po prostu szczęście do AP24.

Widzę, że się zbliżasz do granicy 73476 WU (milion kredytów).
W tej chwili masz 73475. Jeszcze jeden !!!

[Troll81]

Gratulacje
:parrrty:

[Jarek Wróblewski]

ksysju: Powinieneś dostać maila od PrimeGrida z pytaniem o imię i nazwisko. Wynik będzie ogłoszony, jak na niego odpowiesz.

Przy okazji, dziś rano zauważyłem, że coś się pokiełbasiło na primestats. Masz 1 kredyt i ostatnie miejsce, a na czele jest mindc. Ale jak się wysortuje w/g WUs, to jest OK.

W klasyfikacji Teamów, BOINC@Poland jest przez to o ponad milion kredytów lżejszy, ale i tak na czele.

a pod win32bit bedzie dostepne?

Zapytałem, czy Win32 będzie w najbliższym czasie i dostałem taką odpowiedź:

As for 32 Windows, I'm not sure.  Time is very scarce these days.  Also, we still need to work out why the latest version was slower than the previous one.  Rytis released the latest version for 64 bit but then reversed it after users started noticing it was slower.  All these different time zones sometimes makes it difficult to collaborate.  :)

Once a final version is released (and is the fastest), I'm sure Rytis will make it a priority to get 32 Windows released as well.

[sesef]

Ja zawszę mogę to skompilować pod Win x86 o ile nie będzie żadnego assemblera, ale najpierw niech doprowadzą kod do porządku jak pisałem kompilowana wersja z tych nowszych source dawała mi wynik około minuty gorszy niż ta kompilacja która jest obecnie używana. Takie zwolnienie jak dla mnie jest już nie do zaakceptowania.

[buninek]

Czyżby brakowało nowych zadań? Czy tylko mi, serwer uparcie odmawiał podesłania?

Na stronie projektu widzę coś takiego.
Available: AP26 Search   30526

Jeszcze dziś miałem w buforku 600 wu. Niestety brak zasilania oraz moja niefrasobliwość, spowodwała
całkowitą ich utratę. :(
Zmieniłem ustawienia prime na psp.

[ksysju]

Hi

Masz raczej jakiś problem z boincem, właśnie pobrałem 32 wu.

Może liczysz coś jeszcze ? Jak tak to wstrzymaj na chwile.

--
ksysju

[buninek]

Pewnie serwer zbanował ;) mnie na 24h.

Głównym winowajcą jest xfs. Używam go już od 4 lata i ogólnie jest ok. Ma bardzo wiele zalet,
nie tylko w zastosowaniach serwerowych.
Ma i poważną wadę, bez ups-a lepiej nie trzymać na nim ważnych danych, które podlegają ciągłej
modyfikacji.

Pozostaje przenieść katalog z boincem w bezpieczniejsze miejsce.

[Jarek Wróblewski]

Nowe AP24 zostało oficjalnie ogłoszone:

http://www.primegrid.com/forum_thread.php?id=1246

Na stronie głównej PrimeGrida też jest odpowiedni news.

[OxyOne]

Nowe AP24 zostało oficjalnie ogłoszone:

http://www.primegrid.com/forum_thread.php?id=1246

Na stronie głównej PrimeGrida też jest odpowiedni news.

gratulacje!!!

nie przerzuce sie na primegirda poniewaz:
- mam systemy xp32bit ktore moga liczyc ale nie ma softu
- na 64bit licze atigpu a pod atigpu o primegirdzie moge pomarzyc...

wiec zostało mi czekac na softa albo na wasze wyniki >:( >:(

[sesef]

- mam systemy xp32bit ktore moga liczyc ale nie ma softu

AP26 x86 pojawi się na dniach (czytaj jutro ściągnę kompilator intela skompiluje i wrzucę na forum primegrida) to sobie policzysz :)

[OxyOne]

- mam systemy xp32bit ktore moga liczyc ale nie ma softu

AP26 x86 pojawi się na dniach (czytaj jutro ściągnę kompilator intela skompiluje i wrzucę na forum primegrida) to sobie policzysz :)

:parrrty: :parrrty: ;D

[sesef]

Byłoby dzisiaj, ale muszę sobie popykać w cs-a. Szkoda tylko, że na 32 bitach liczy trochę wolniej niż x64 :(

[sesef]

Zapraszam do testów pomożecie dobrać odpowiednia aplikacje

http://www.primegrid.com/forum_thread.php?id=1247

Jak na razie proszę nie testować wersji z 23 Feb 2009 pod Win64 bo jakiś problem jest (Dziwne Intelowa wersja działa z GCC już nie chce)

Do przetestowania są aplikacje pod x64 i x86

[Szopler]

Odpaliłem wersję x86_64 z 23 Feb pod Windows i jakoś liczy...
konkretnie - AP26-x86_64-windows.exe 1 1000000 1

[sesef]

Odpaliłem wersję x86_64 z 23 Feb pod Windows i jakoś liczy...
konkretnie - AP26-x86_64-windows.exe 1 1000000 1

Tam w katalogu jest testowy zakres. Ten ma się przeliczyć dla testu i potem wyniki wypisać w tym temacie co podałem.

[Jarek Wróblewski]

Musisz uruchomić
AP26-x86_64-windows.exe 366384 366384 0

Jeśli program działa poprawnie, powinien powstać plik SOL-AP26.txt identyczny z plikiem TEST-366384.txt

[Szopler]

Uhm... no to znalazło dwie i to w dodatku nie z pliku :( i zaonczylo... validator pokazuje ze niby OK...

[Jarek Wróblewski]

Uhm... no to znalazło dwie pierwsze i zakonczylo

Co znalazło? Jeśli znalazło
10 366384 1368772872462767
10 366384 1361785396923863
to znaczy, że program nie działa poprawnie - te 2 rozwiązania się nie powinny pojawić, za to powinno być 37 innych. Z nieznanych dotąd powodów tak się dzieje w wersji Win64 skompilowanej ze źródła z 23 lutego.

[Szopler]

to po co jest validator ktory pokazuje OK skoro to nie sa dobre liczby?

[Jarek Wróblewski]

to po co jest validator ktory pokazuje OK skoro to nie sa dobre liczby?

To są poprawne AP10 i walidator to potwierdza. Problem polega na tym, że w tej wersji coś się psuje w sicie, w związku z czym przez sito przechodzą nie te ciągi, które powinny. Ciągi, które powinny przejść przez sito, są w większości odrzucane, za to nie są odsiewane wszystkie te, które sito powinno zatrzymać. Ponieważ jednak dalsza część programu działa OK, to jakieś krótkie AP są znalezione, ale jest ich mało i są inne niż w poprawnie działającym programie. To wystarczy, żeby stwierdzić, że coś jest źle. Dzięki temu, że się te dwa ciągi pojawiają, mogłem się im przyjrzeć i stwierdzić, że testowanie pierwszości działa OK, ale coś się psuje w sicie.

Podsumowując: Sito nie działa poprawnie i przepuszcza śmieci. Wśród tych śmieci trafiają się jednak nieliczne krótkie AP - konkretnie trafiły się 2 AP10. I one są poprawne, walidator słusznie je weryfikuje jako poprawne AP10. Natomiast walidator nie stwierdzi, że one sie trafiły wśród śmieci, a nie pochodzą z poprawnie działającego sita.

Wydaje się, że problem dotyczy tylko wersji z 23 lutego i tylko Win64.