Nowe wersje wrapperów

[TJM]

Czuje się ktoś na siłach potestować ?
Miały być wprowadzone tydzień temu, a przez 2 dni testów znalazłem tyle błędów, że do tej pory siedzę nad poprawkami.
Wymagany skill - orientowanie się w app_info i podmianach plików.

[Peciak]

Wymagany skill - orientowanie się w app_info

można jaśniej o co chodzi? jakie są wymagania ?
- edycja app_info ?
- twórczość własna w app_info  :ph34r:
- samodzielne stworzenie nowego app_info  %)

w pracy mam aktualnie trochę luzu to chętnie - o ile nie wysadzi mi systemu

[TJM]

Użycie gotowego app info i tylko podmiana wrappera na nowy - kwestia wsadzenia pliku i ew. zmiany nazwy.
Wysadzić już nic nie powinien, raczej bugów związanych typowo ze stabilnością nie ma. Teraz największym problemem jest znak końca linii w debugu, a raczej jego brak.

[Peciak]

Jestem chętny.
Poproszę o instrukcje i miejsce ssania plików.

[TJM]

http://pigxie.no-ip.org/1725xq3bmj/wrapper6.1windowsintelx86.exe

To jest wersja rozwojowa, nie powinny wystąpić krytyczne błędy.
Wystarczy zamienić nim stary wrapper z opt appa.
Należy zwrócić uwagę głównie na dwie rzeczy: 1) czy działa 2) czy poprawnie śmiga progress bar. Przy okazji można rzucić okiem, czy powstaje w odpowiednim slocie dodatkowy plik z checkpointem - wrappera.
Reszta danych wysyłana jest razem z debugiem na serwer.
Odnoszę wrażenie, że to już ostateczna wersja  i po wyłączeniu debuga zastąpi aktualną, niemniej rano znalazłem jedno wysypane zadanie i nie jestem pewien, czy wysypało się z przyczyn niezależnych, czy z winy wrappera....

[Peciak]

Testujemy na razie gra i buczy,
1) czy działa - działa
2) czy poprawnie śmiga progress bar - tak jest tak jak w innych aplikacjach
3) czy powstaje w odpowiednim slocie dodatkowy plik z checkpointem - wrappera. - powstaje

[TJM]

Z paskiem postępu trzeba zwrócić uwagę na to, czy przypadkiem nie skacze jak dziki po zakresie. Nie trzeba w tym celu patrzeć do managera, dane są wypisywane do stderr co 30 sekund, więc później widać je na stronie pod danym rezultatem.
Niestety konwersja końca linii coś kiepsko działa, zamiast w pionowej kolumnie dane wyświetlone są w 'poziomym rzygu'.
Na jakim systemie to testowałeś ?

[Peciak]

Pasek postępu działa super zapisuje co co około 2 %, zadania także wstrzymywałem i wznawiałem oraz wyłączałem boinc z marszu i właczałem - zadanko się odnawia od ostatniego punktu zapisu. System X P 32 maszyna to Intel(R) Core(TM)2 Duo CPU E7500 @ 2.93GHz
http://www.enigmaathome.net/workunit.php?wuid=14870333
teraz testuje na vista 32
po południu potestuje w domu na vista 64, i win 7 64, na prockach amd a jak starczy czasu to na win 7 64 i3 intel

intel vista 32 - działa
AMD i vista 64 - działa

[TJM]

Najważniejsze, żeby sprawdzić czy na różnych systemach działa.
Interesujące są tylko od Win2k w górę, jak na Win98 nie zadziała, to trudno. Tak czy siak są tam problemy.
Zastanawiam się jeszcze, czy aby na pewno nowy wrapper zgłasza do managera fakt tworzenia checkpointów, bo poprzedni miał tu ogromne problemy. Spróbuję to jakoś prześledzić używając cc_config.

EDIT: W sumie łatwo było sprawdzić, działa:




Pasek postępu powinien w zasadzie odświeżać się płynnie z rozdzielczością 0.01% - jednak z racji oszczędności zasobów zdecydowałem się na odświeżanie co 30s, przy czym sama aplikacja (domyślna) zapisuje postępy co 120s, tak więc pasek siłą rzeczy idzie skokami, zależnymi od szybkości procesora.

[TJM]

Jutro chyba zainstaluję te wrappery jako domyślne. Niby błędów nie widać, ale poki co testowane były zaledwie na kilku hostach.
Cholera, jednak jest jakiś bug - raz na kilkadziesiąt zadań jedno się wywala w trakcie liczenia. Nie mam bladego pojęcia czemu się tak dzieje, na dodatek na starcie takiego zadania wyskakuje komunikat o niemożności znalezienia pliku, podczas gdy w rzeczywistości musi on być ponieważ aplikacja startuje.

[TJM]

Powodem powstawania błędów jest zderzanie się dostępu do plików. Wrapper odczytuje checkpoint enigmy, enigma w tym czasie próbuje go otworzyć do zapisu, nie może i wywala błąd.
Problem w normalnych warunkach - przeliczanie postępu co 120s - występuje niesamowicie rzadko. Tak rzadko, że przez kilkanaście miesięcy nikt go nie zauważył, bo niewątpliwie starego wrappera też dotyczy. Częstotliwość występowania rośnie też wraz z obciążeniem systemu plików.
W nowszych problem jest bardziej dokuczliwy, bo wrapper z natury trzyma plik otwarty nieco dłużej (więcej obliczeń).
Szukam sposobu na ominięcie problemu.

[Karlik]

Powodem powstawania błędów jest zderzanie się dostępu do plików. Wrapper odczytuje checkpoint enigmy, enigma w tym czasie próbuje go otworzyć do zapisu, nie może i wywala błąd.
W nowszych problem jest bardziej dokuczliwy, bo wrapper z natury trzyma plik otwarty nieco dłużej (więcej obliczeń).
Szukam sposobu na ominięcie problemu.

Sugeruję dwa rozwiązania:
1. Przechwytywać błąd otwarcia pliku i ponawiać próbę aż będzie dostęp, najlepiej wysłać to wątkiem, żeby nie musieć przerywać obliczeń.
2. Po co wrapper ma długo trzymać plik otwarty? Otwierasz, odczytujesz co trzeba i zamykasz. Obliczenia możesz wykonywać na tym co masz w pamięci, żeby nie zajmować pliku.

[TJM]

1. A jak sobie wyobrażasz poprawienie wszystkich zoptymalizowanych aplikacji, których wala się w sieci tona ? Wrapper musi być kompatybilny wstecz.
2. Tak właśnie to jest zrobione, jak widać i tak od czasu do czasu się zderzą.

Aktualnie nie jestem przekonany co do źródła problemu, być może leży w czymś innym - np. antywir, firewall itp. Teoretycznie nic nie stoi na przeszkodzie żeby otworzyć do zapisu plik który jest otwarty do odczytu, co udowodniły testowe aplikacje. W praktyce jednak nie jest tak różowo.

[Peciak]

Jestem gotów do testów czekam na rozkazy
maszyny na których mogę aktualnie potestować wrapnera
Intel(R) Celeron(R) CPU 420 @ 1.60GHz - VISTA 32
Intel(R) Core(tm)2 Duo CPU E7500 @ 2.93GHz - X P 32
Intel(R) Core(tm) i3 CPU M 330 @ 2.13GHz - WIN7 64
AMD Phenom(tm) II X4 965 Processor VISTA 64

być może
AMD Phenom(tm) II X4 965 Processor UBUNTU 10.04 bit 64
Intel(R) Core(tm)2 Duo CPU E7500 @ 2.93GHz - UBUNTU 10.04 bit 64

[TJM]

Rodzaj maszyny nie ma specjalnego znaczenia, chociaż z zasady szybsze powinny szybciej zwrócić błędy.

http://pigxie.no-ip.org/1751x4edua/www.enigmaathome.net.rar tutaj jest kompletne archiwum z wrapperem, gotowiec do podmiany plików - jednak warto wymienić exek enigmy na inny - ten jest dla c2d i to czysto teoretycznie (najszybdziej działa na nowszych c2d, na starszych nieco gorzej), w praktyce tak jak głosi wewnętrzny opis, to build Sesefa dla P4/P4M.

Chodzi tylko o to, żeby potwierdzić występowanie problemu na innych maszynach - jeśli zadanie się wysypie z błędem, wiadomo będzie że problem leży w aplikacji/wrapperze a nie w moim systemie.
Chyba nikt z wcześniej testujących osób tego nie potwierdził, tutaj jednak w archiwum znajduje się wrapper który czyta checkpoint co sekundę, a więc maksymalizuje ryzyko wystąpienia błędu.

[Peciak]

Zasadziłem na intelu który i tak cały czas liczy enigme
Intel(R) Core(tm)2 Duo CPU E7500 @ 2.93GHz - X P 32
obaczymy co będzie optymalkę zostawiłem swoją

[TJM]

Zwróć uwagę raz na jakiś czas na listę zadań na stronie, czy nie pojawiają się znienacka takie z computation error.
Błąd zwykle występuje w końcówce liczenia zadania, aczkolwiek nigdy tego dokładnie nie przypilnowałem, bo pojawia się znienacka.

[Peciak]

maszynka

http://www.enigmaathome.net/results.php?hostid=22588

[Peciak]

Przyjrzałem sie  :book: i okazuje sie że kilka próbek jest tak oznakowanych

Completed, marked as invalid

[TJM]

To jest osobny problem, prawdopodobnie jedno z zadań które musiałem na serwerze edytować i teraz validator zgłasza fałszywe błędy.

[Peciak]

na razie jak wyżej kilka Completed, marked as invalid jeden podobny do drugiego
a tu jeden szczególny jeszcze z poprzedniego testowego wrapnera

http://www.enigmaathome.net/result.php?resultid=16122787

[TJM]

Widzę że póki co nie masz ani jednego zadania z tym 'nowym' bugiem. Może to przypadek, ale u mnie po 24h średnio jest co najmniej 1, czasami nawet 2-3.

[Peciak]

skończy się wyścig w YOYO odpalę na na AMD

[Peciak]

kolejna maszynka na oryginalnym exeku przekazanym przez TJM-a
komputer to bliźniak poprzedniego

http://www.enigmaathome.net/results.php?hostid=22587

[TJM]

I zobacz, jak na złość 4 hosty liczą na nowych wersjach a od 23-go sierpnia nie ma ani jednego rezultatu z błędem.
Nie wiem czy nie jest to przypadkiem dzień, w którym skończyła mi się licencja na NODa i tymczasowo go odinstalowałem, ale poczekam jeszcze ze 2-3 dni.
Może cały czas to NOD powodował ten problem, a ja siedziałem w sumie paręnaście godzin główkując i testując.
Dwóch wcześniejszych testerów też używa NODa, więc to by mogło potwierdzić problem.

[Peciak]

Ja mam noda na wszystkich maszynach to raczej nie to  :no:
jedyny program który wywalał mi oprogramowanie (gry syna) to ten nowy darmowy program antywirusowy microsoftu Microsoft Security Essentials -

[Peciak]

Szybka ta aplikacja Sesefa naprawdę szybka  :D

[TJM]

A z której korzystasz ? P4/P4M ?
Zadziwiające jest to, że mimo architektury zupełnie różnej od c2d, ta aplikacja wydaje się być na nich najszybsza.

[Peciak]

dokładnie  Win32 P4/PM SSE2 v1.0 by Sesef
urywa 10 %

[TJM]

Zastanawiam się czy jest sens dalej to testować, ponad 7 dni i nie widać błędnych rezultatów. Albo tak niewiarygodne szczęście, albo w moim wypadku była to kombinacja ESET + ta optymalizacja dla P4.
Ciekawe czy jeśli wrzucę ten wrapper jako domyślny przypadkiem nie zacznie się komuś sypać.

[Troll81]

wrzuć z ostrzeżeniem że to moze powodowac probelmy :D

[Peciak]

Ciekawe czy jeśli wrzucę ten wrapper jako domyślny przypadkiem nie zacznie się komuś sypać.

zaczynam stawiać ten wrapner + aplikacja p4/pm na inne maszyny na razie celerony zobaczę co będzie, z ciekawości zarzucę tez jutro na swoim amd na 16 godzin