BOINC@Poland

Cytat: Agbar w 16 Marzec 2016, 22:57
Nie wiem, czy sesef opublikował kod źródłowy swojej wersji. Powinien, bo enigma jest licencjonowana GNU GPLv2 i wymaga publikacji kodu źródłowego. Jestem ciekawy jakie zmiany wprowadził, z tego co widziałem w zdekompilowanym kodzie musiał znaleźć inne podejście. Właściwie tylko szybko rzuciłem okiem na ten plik i wolałbym nie tracić czasu na reverse engineering. Wydaje mi się, że sesef "żyje" na BOINC Polish National Team. Jeżeli ktoś z Was mógłby go tam zagadnąć, będę wdzięczny.

Obie wersje, które się pojawiły bazują na kombinacji ustawieniami Intel Compiler-a, sam kod nie był zmieniany poza drobiazgami, które umożliwiły kompilację pod win. Intel Compiler bardzo dobrze potrafi optymalizować dostęp do pamięci stąd tak dobre wyniki niezależnie od tego czy liczymy na obciążonym czy nie komputerze. Natomiast optymalizacja samego kodu jest porównywalna z innymi kompilatorami czy to gcc czy vcc i z doświadczenia najlepiej zawsze wychodził pisany z palca kod na intrinsics-ach.

Starsza wersja (v 1.x) była kompilowana z tego co pamiętam ICC z 2008 albo 2010 i tutaj nie mam pewności czy coś jeszcze się nie zmieniło bo kod wsadowy dostałem od TJM-a. Kod raczej nie do odzyskania, chyba że jakaś kopia ostała się na którymś z HDD w szafie.

Nowsza wersja (v 2.0) kompilowana ICC 2013 albo 2014 tutaj standardowy kod modyfikowany tylko na potrzeby poprawnej kompilacji.

===============================================

Swego czasu prowadziłem trochę testów z nadzieją na AVX-512 w Skylake i dostęp do instrukcji vpermw (_mm512_permutexvar_epi16), która szacunkowo powinna przyspieszyć obliczanie score o 15-20% i dodatkowo odciążyć cache.

Robiłem też testy z instrukcjami gather. W tym przypadku dla Haswella jest 5-15% wolniej niż dla standardowego kodu natomiast przy Skylake oba rozwiązania są porównywalne.

Największą bolączką tej wersji algorytmu jest losowy dostęp do cache z dość sporą ilością błędnych trafień oraz mielenie prawie tych samych danych przy każdym kolejnym score. Dane wejściowe między dwoma wywołaniami funkcji score zmieniają się w niewielkim stopniu a i tak całościowy wynik jest liczony od początku (w sporej części przy obu wywołaniach odwołania pójdą do tych samych miejsc w pamięci w lookup_table.


Na szybko przejrzałem Twoje zmiany i kod bez poważnych przeróbek Intel Compilerem się nie skompiluje więc nawet nie mam co kombinować, a z braku czasu nie będę miał kiedy go dostosować (największym problemem jest brak obsługi __attribute__ ((vector_size(16))), tutaj trzeba by albo przerabiać kod albo napisać obsługę wszystkich potrzebnych operatorów dla używanych typów + wykorzystać standardowe __m128i/__m256i). Ze względu na taki charakter kodu przypuszczam, że pod windowsem całość kompilujesz przy pomocy mingw?

btw.
Sprawdzanie czy dana wersja liczy poprawnie bazując tylko na wyniku walidacji jest trochę błędne bo walidator potrafi przepuścić nawet błędnie policzone próbki. Tutaj lepszym rozwiązaniem byłoby z przeliczonych próbek mając startowego seed-a przeliczyć te wu ponownie niemodyfikowanym kodem.

Wersja z denis_tester3.zip jest poprawna i można z niej korzystać.

Tylko tutaj, żeby wszystko działało w katalogu denis.usj.es_denisathome musisz posiadać następujące pliki (można je skompletować z dowolnych udostępnionych przeze mnie paczek):

denis.exe (z paczki denis_tester3.zip albo denis1.5.5_winxp.zip)
app_info.xml (dostępne w paczkach denis1.4.1.zip, denis1.5.5.zip, denis1.5.5_winxp.zip w każdej z tych paczek ten plik jest taki sam, więc można go skopiować z dowolnej z nich)

http://optos.sesef.pl/denis

Wersja 1.5.5 na stronie.

Około 30% przyspieszenia względem wersji 1.4.1 oraz specjalna wersja działająca na Win XP (niestety trochę wolniejsza od tej normalnej 1.5.5)

Cytat: c_RaSz w 27 Wrzesień 2015, 23:15
Po odpaleniu "start" uzyskałem 3 nowe pliki:
stderr.txt 1 KB
out 508 KB
boinc Finish called 1 KB
  :ahoy: Ten pierwszy miał "w środku": 

23:09:21 (4688): Can't open init data file - running in standalone mode
Optimized by Sesef v1.5.4 (SSE3) 2015
OpT:100000.000000
DT:0.002000
F:50
InT:99000.000000
23:11:57 (4688): called boinc_finish(0)

A w tym ostatnim był tylko jeden znak "0" (zero)

  — dobrze to, czy źle?

Wygląda na to, że działa poprawnie. Minus z tego taki, że ta wersja działająca na XP będzie około 10-15% wolniejsza od wersji działającej od visty w górę.

Po powrocie z roboty postaram się przygotować paczuszki z oficjalna wersją 1.5 opto.

@c_RaSz
możesz sprawdzić tą wersję?
https://dl.dropboxusercontent.com/u/1452459/denis/test/denis_tester3.zip

No to niestety będę musiał trochę pokombinować, i skompilować aplikację przy pomocy visual studio a nie intel compilera. Problemem jest tutaj Win XP.

a spróbuj jeszcze odpalić sam denis.exe

Testerek wystarczy ściągnąć gdziekolwiek i odpalić "start denis.bat" uruchomi się testowa próbka na podstawie której sprawdzam optymalizację.


To długaśne zadanie bym zastopował i wywalił, szkoda czasu procka bo coś na pewno jest nie tak. Nawet na najwolniejszych kompach te zadania nie liczą się dłużej niż kilka godzin. Dodatkowo prognozowany czas ma się nijak do realnego czasu obliczeń.

Czy mógłbyś sprawdzić działanie tej wersji

https://dl.dropboxusercontent.com/u/1452459/denis/test/denis_tester2.zip

Po wypakowaniu wystarczy odpalić "start denis". Jak się nie wywali i zacznie liczyć to znaczy, że jest wszystko OK. Jak się wywali to będę musiał kombinować dalej.

Przez ostatni tydzień przebywałem na targach ENERGETAB w Bielsku, więc nawet nie miałem jak odpisać.

W opisie na stronie z appka są podane obydwie lokalizację zarówno dla Visty/7/itd jak również dla Windowsa XP.

@c_RaSz
Po ściągnięciu optymalizacji odpal denis.exe bez odpalania Boinca. Czy po odpaleniu aplikacji wyskakuje jakieś błąd? Jak nie będzie błędu to czy mógłbyś wrzucić zawartość pliku stderr.txt który zostanie utworzony. Ciężko mi tutaj stwierdzić co jest nie tak, procesor nie jest raczej problemem tylko system Win XP. Podejrzewam, ze nowy Intel Compiler po prostu go nie wspiera i dlatego aplikacja się wywala.

Cytat: sknd w 14 Sierpień 2015, 09:41
jest szansa na apkę pod linuxa?

Jeżeli poradzisz sobie z kompilacją bibliotek boinca, skompilowaniem samej aplikacji przy pomocy Intel Compilera i potem zlinkowania tego wszystkiego to jest szansa na linuxa. Mnie powstrzymuje brak możliwości i ciągły brak czasu, żeby się za to zabrać.

Cytat: stasieks80_PL w 14 Sierpień 2015, 09:46
Jaki zysk procentowy daje optymalizacja ?

Trochę jest

Optymalizacja pod projekt do pobrania pod adresem:

http://optos.sesef.pl/denis

Na 100% problem jest z nazwą pliku wejściowego, INPUT_FILENAME musi mieć dokładnie taką samą wartość jak wartość atrybutu <open_name> w input job template (http://boinc.berkeley.edu/trac/wiki/JobTemplates) na podstawie którego zostały stworzone zadania do policzenia.

w source boinc/sched jest kilka przykładowych apek między innymi sample work generator. Wyedytuj sobie ten plik wedle swoich potrzeb skompiluj wrzuć do nazwa_projektu/bin potem dopisz do configu do sekcji daemons (http://boinc.berkeley.edu/trac/wiki/ProjectConfigFile) odpal przez bin/start

To jest chyba najprostsza metoda bo edytując gotowe daemony ciężko coś zepsuć tutaj praktycznie jedyna ważna rzecz to dobrze ustawić input i output job template, żeby poprawnie zadania wygenerowało.

Grzegorzu proponuje siekierką te kable białe i te czarne po prawej też dla bezpieczeństwa. Nigdy nie wiadomo co tam może w środku wkręcili a tylko pudło dali tanie nijakie.

Cytat: Tobas w 24 Październik 2012, 09:53

Cytat: Troll81 w 24 Październik 2012, 08:35
A dlaczego optymalki nie są jeszcze ogólnie dostepne?? w sensie rozsyłane z automatu przez serwer?

Bo koledzy z innej drużyny mają w dupie założenia licencji GPL.
Tworzą sobie własne optymalizacje i nie dzielą się nimi z nikim.

Może powinni sobie to przeczytać:
http://pl.wikipedia.org/wiki/GNU_General_Public_License

A tak niedawno ktoś krytykował kolegę Krzyszp od bycia "Polaczkiem" ...

BOINC nie jest dystrybuowany na GPLu więc nic nie muszę a jedynie mogę.

Cytat: tito w 01 Październik 2012, 20:56
2) Nie - distrrgen jest przepłacony i to właśnie około 3 razy (tak na moje oko);

Projekt nie jest przepłacony to karty są za mocne.

Cytat: andy101fah w 17 Listopad 2011, 18:38
W skrócie: mały wiatrak lub siła wody + wykorzystanie generatora magnetycznego ( już nie będę wymieniał "zakazanego" nazwiska)

Kod [Zaznacz] Rozwiń

http://whiteenergy.eu/kontakt/

Zakład Napędu Elektrycznego
ul. Koszykowa 75
00-662 Warszawa
+ 48 22 234 5120 w. 3
+ 48 503 093 228
Gmach Elektryczny GE 017
whiteenergy.eu@gmail.com

Widziałem te maszyny, co więcej widziałem silniki tarczowe rozwijane w tym zakładzie (silnik 40 kW o wadze 63 kg). Ciekawe konstrukcje, silniki może wejdą kiedyś do masowej produkcji bo mają potencjał, jednak przed generatorami jeszcze daleka droga bo jedyne co się w tym zmieniło to uzwojenie wzbudzenia które normalnie jest zasilane z sieci prądem stałym (zazwyczaj prostuje się prostownikami mostkowymi to co wygeneruje generator i część jego mocy idzie na potrzeby własne) w tym wypadku zastąpiono magnesami trwałymi, Taki sam zabieg stosuje się w silnikach DC gdzie uzwojenia wzbudzenia zastępuje się magnesami trwałymi (chociażby małe silniczki w wentylatorkach od komputerów).

Przedstawione tutaj generatory maja się nijak do "generatora searla", po prostu coś co wcześniej trzeba było zasilić z sieci zastąpiono magnesem trwałym, ale generator nadal trzeba napędzić mechanicznie jedynie jego sprawność wzrosła o kilka %.

Dodatkowy wyścig, albo czerwcowy wyścig na czas trwania euro/inauguracje raczej nie ma szans bo wszystkie wyścigi w PG dotyczyły albo całego świata, albo matematyki a w naszym wypadku jest to impreza jedynie europejska, ale nic nie szkodzi na przeszkodzie zaproponowanie tego administracji PG. Tylko, że takimi rzeczami warto by się zając jak już powstanie zespół i będzie nazwa.

Cytat: Agbar w 14 Sierpień 2011, 14:19
Wrapper na f@h można by zrobić jako aplikację zarządzającą oryginalnym klientem f@h. Trochę tak, jak test4theory.

Cały problem polega na tym jak wtedy przyznawać kredyty, jak potwierdzić że zostało coś przeliczone, jak walidować same zadania itp żeby zablokować możliwość nabijania punktów bez liczenia.

Cytat: goofyx w 29 Lipiec 2011, 13:12

Cytat: sesef w 29 Lipiec 2011, 13:09

Cytat: Troll81 w 28 Lipiec 2011, 18:34
Sesef usiłował robić wrapper na folding. Za dużo danych do transferowania :( projekt by musiał mieć jakieś nieprawdopodobne łącze :(

Problem jest nie tyle z transferem co pobraniem od nich konkretnych próbek, jest bardzo mała kontrola co chce pobrać, skąd na jak długo, kiedy odesłać itp.

Jakby chcieli dawno by przeszli na BOINC, ale widać lubią sie kisić z tym co mają.

Rozumiem, że kontaktowałeś się z nimi w tej kwestii?

Kontaktować, się nie kontaktowałem z jednego prostego powodu, jak zobaczyłem, że praktycznie dla każdego WU ściąga mi inna aplikacje to przy BOINcu tych aplikacji kilkadziesiąt trzeba by dodać. Biorąc pod uwagę aktualizacje aplikacji, zmiany itp to BOINC w obecnym kształcie się słabo do tego nadaje, i zapewne z tego powodu Folding zrezygnował z przejścia na BOINC.

Cytat: Troll81 w 28 Lipiec 2011, 18:34
Sesef usiłował robić wrapper na folding. Za dużo danych do transferowania :( projekt by musiał mieć jakieś nieprawdopodobne łącze :(

Problem jest nie tyle z transferem co pobraniem od nich konkretnych próbek, jest bardzo mała kontrola co chce pobrać, skąd na jak długo, kiedy odesłać itp.

Jakby chcieli dawno by przeszli na BOINC, ale widać lubią sie kisić z tym co mają.

Czy system będzie czy go nie będzie i tak wszystko legalne, serwer na linuxie wszystko na darmowych aplikacjach, nawet wrappery dla windowsa kompilowane w 100% legalnym kompilatorem Microsoftu wiec w takim wypadku drożej wyszłoby to niż zwykle HDD, do RAID5 kilka tych iramow byłoby potrzebnych.

Najbardziej mnie ciekawi jaki inteligent wymyślił tego nielegalnego Adobe Photoshopa, skoro wszystkie kompy włącznie z serwerem DNETC stały na Debianie/LDME/Ubuntu. Cała sprawa rozchodzi się o nielegalne wykorzystanie produktów Adobe :(, które podobno Oxy użytkował...

Cytat: Cyfron w 29 Czerwiec 2011, 21:39
oo - ciekawe. Jest szansa na jakieś szczegóły? Bo jak na naszą władzę, to wydaje mi się, że szybko wrócił.

Oxy mocno walczył o te kompy, trochę się chłopaczyna nabiegał za tym bo głownie walczył o domowe "biuro" niż o serwer dneta.

Cytat: AiDec link=topic=5219.msg145820#msg145820

date=1309425035
Polecam na przyszlosc 3manie systemu, lub tego co `najwazniejsze` na iRAMach, ACARDach itp. :). I niech przychodza zabierac kompa  :whistle:

To nic nie da, nie chodzi o informacje bo maszynę i tak zabiorą bo jest papier :/ Nie ważne czy jest tam dysk czy chodzi czy nie chodzi zabierają bo jest dowodem w sprawie, możesz mieć maszynkę bez dysków i odpalać ja na livecd np ubuntu a i tak zabiorą bo ci co zabierają nie są technikami tylko zwykli policjanci mają nakaz pakują do wora i tyle.

Podobna sytuacja jak w AQUA, wcięło nam pliki konfiguracyjne apache/mysqla do tego baza się posypała. Na szczęście wszystko, albo prawie wszystko udało się odzyskać więc lada dzień powinno wszystko wrócić do normy na starym serwerze, który w między czasie wrócił z komendy.

Zadania (o ile ktoś jeszcze jakieś posiada, i załapały się one jeszcze na backup z bazy) można już odsyłać, bo daemon od schedulera i fuh-a działają.

http://dnetc.net znowu żywe. Jutro ruszamy z rozsylaniem wu.

Andro i Dnet stały na tym samym serwie, więc oba projekty są down z tego samego powodu.

Ja powiem tylko tyle wstyd i to wielki wstyd...

Chcemy jakoś dorównać zachodowi, mieć własne projekty, pokazać, że my też potrafimy. Niestety nasz system skutecznie to utrudnia.

Powiem tak w obecnej chwili serwer pojechał na "urlop" na czas bliżej nieokreślony. Sprawa dotyczy Oxego więc jak będzie chciał to sam coś napisze.

Cytat: mimeq w 05 Kwiecień 2011, 23:05
:( Czyzby znow sprawa sie rozbijala o $ ??

Nieeee.....

I raczej to będzie dłuższa przerwa.

Jak na razie projekt będzie miał przerwę w działaniu na czas bliżej nie określony z przyczyn wyższych...

Cytat: Tomasz R. Gwiazda w 23 Marzec 2011, 09:58
G: zmartwie Cie, bo juz handlu na stadionie to od hmm 1,5-2 lat nie ma :D

E tam, idzie kupić z dwie wywrotki piasku, zbrojenia, kable, gipsy, tylko wszystko co do remontu potrzebne.

Cytat: pszyklejony w 22 Marzec 2011, 18:25
To już nie są żarty
http://www.globalnaswiadomosc.com/polskaskazenie.htm

Idźmy przykładem hamerykanów, trzeba biegiem do biedronki dla ubogich, żeby nakupić zapasów jak na wojnę bo jeszcze może zabraknąć i najlepiej zapas jodyny i innych wynalazków tak na wszelki wypadek.

Cytat: Szopler w 17 Marzec 2011, 11:25
Pragnę tylko dodać, że w Czarnobylu moderatorem (elementem wychwytującym neutrony i hamującym reakcję) był grafit.

W Czarnobylu moderatorem były pręty z Borem, natomiast miały one końcówki grafitowe które praktycznie bezpośrednio były przyczyną wybuchu. Jak już było źle to próbowano wygasić reaktor wsuwając do niego wszystkie pręty z borem jednak grafitowe końcówki prętów, które miały powodować szybsze wsuwanie się prętów w reaktor spowodowały przyspieszenie reakcji bo grafit nic nie blokuje. Praktycznie te grafitowe końcówki tylko jeszcze "ognia" dodawały zamiast pomagać.

Cytat: Szopler w 17 Marzec 2011, 11:25
Niemcy próbują być cwańsi niż są. Liczą na to że jak nasze przestarzałe elektrownie węglowe zaczną się sypać to będą nam sprzedawać prąd bo my głupki zostaniemy z niczym... o przepraszam zostaniemy z opłatami za emisję CO2. Oni natomiast "przedłużą warunkowo" eksploatację swoich elektrowni o kolejne 10 czy 20 lat...
Zresztą... w Kaliningradzie jest elektrownia, Białoruś niedaleko granicy z Polską buduje kolejną. Chyba wszyscy po trochu założyli (w jakimś % inwestycji bo u nich zapotrzebowanie też rośnie) że będziemy zmuszeni kupować od nich energię...

Kaliningrad nie ma atomówki, są plany budowy jak na razie.

Co do Polskich elektrowni węglowych mają się bardzo dobrze mówię tutaj o tych będących w prywatnych rękach jak Bełchatów czy Kozienice, co innego można powiedzieć o SEE, który prędzej padnie niż jakaś większa eletrownia. Prywatny właściciel to dba o swoje, modernizuje udoskonala, w Bełchatowie teraz oddają blok coś koło 850 MW, nie mówiąc już o różnych wygibaśnych systemach odsiarczania, odazotowania itp spalin. Niemcy bardziej mają nadzieję, że zarobią na sprzedaży swoich limitów emisji CO2, niż na sprzedaży prądu nam, bo jak na razie to Niemcy kupują od nas bo im taniej wychodzi, nić bulenie euro na limity CO2 i SOx.

Jest dla Polski alternatywa inna niż atom, są nią elektrownie gazowe mające najwyższą sprawność ze wszystkich typów elektrowni, tylko tutaj zanim się by dokopali do tego gazu łupkowego to trochę czasu minie, a kupowanie gazu z Rosji nie jest dobrym pomysłem.

Jak ktoś się boi promieniowania, niech nabędzie sobie w demobilu licznik Geigera-Müllera i wybierze się na składowisko żużlu i popiołu do jakiejś większej elektrowni Bełchatów, Kozienice, Turów, Elektrownia Opole, Dolna Odra.

Z tego co sprawdziłem w DNETC też ten problem występuje, ale akurat w tym wypadku nie ma to wpływu na validator.

hmm zapomniałem odznaczyć config :D

Edit
Dobra już działa.

Cytat: apohawk w 23 Grudzień 2010, 13:49

Cytat: sesef w 23 Grudzień 2010, 13:41
Wiem jedno, ludzie zaczęli mi uciekać w projektu do PG :(

Mam nadzieję, że nie zacznie się z tego powodu licytacja punktowa, który projekt wdroży większą inflację. Już teraz jest kicha  :wth:

Nic nie będę ruszać. Punktacja w dnecie jest wyznaczona na podstawie wydajności Radeona 4770 tak żeby wynosiła mniej więcej 0,85-0,88 tego co milka dawała jak projekt startował (dla tej karty).

Wiem jedno, ludzie zaczęli mi uciekać w projektu do PG :(

Cytat: mimeq w 21 Grudzień 2010, 23:44

Na zdecydowany minus przy ATI (przynajmniej u mnie q6600/5970) jedno GPU wciaga prawie cale jedno "jajo" CPU (0,83). Przy staruszku AMD Athlon(tm) 64 Processor 3200+ i 8800GTS jest to tylko 0,11 CPU (czas przeliczenia ~55min).

Ile ma "brać" cpu jest obliczane przez serwer i przy 99% przypadków ma się to nijak to rzeczywistości. Najlepiej ustawić samemu w app_info.xml ile ma brać cpu.

w dnetc z tego co patrzyłem to wydajność wychodzi kolo GTX260-280

w dnetc PS3 ma wydajność około GTX260 może 280

Cytat: Filu w 21 Grudzień 2010, 19:58
Szacun dla całego teamu B@P.

Niestety PNT stchórzył.

Nie wiem po co generujesz kolejną wojnę. Nie wiem zbytnio czym mamy liczyć, skoro u nas może z 2 osoby mają NV w tej chwili reszta przeszła na ATI.