dziwna punktacja

[Borsook]

Dlaczego w WCG dostalem 410 pkt za jednostke czyli ok 40 za godz, a dla BOINC policzyli mi tylko 58 czyli 6 za godz?? Czy tak jest zawsze?

[bartsob5]

nie wiem, ale ostatnio jak odeslalem tam probke, to tez dostalem mocno zanizone punkty, dlatego byla to ostatnia jednostka... w tym wypadku twoj avatar mowi wszystko...

[Bober]

Z tego co wiem zawsze tak było.

[bartsob5]

Z tego co wiem zawsze tak było.

nie, nie zawsze (inaczej bym dla nich nie ustukal az 2K pkt..), ale ostatnio tak...

[Bober]

Mój błąd.:oops: Tak na pewno było w kwietniu i w czerwcu kiedy odsyłałem jednostki :P
Nie sprawdzałem tego, ale wydawało mi się, że zawsze liczba punktów, które się dostaje na platformie WCG znacznie odbiega od tego, co dostaje się w BOINC.

[Borsook]

dzis za 7h probke dostalem 30pkt... normalnie paranoja :twisted:  inni za to sao WU dostali 60 ale to i tak bieda... czy ten projekt az tak nie lubi BOINC-a

[D_T_G]

dzis za 7h probke dostalem 30pkt... normalnie paranoja :twisted:  inni za to sao WU dostali 60 ale to i tak bieda... czy ten projekt az tak nie lubi BOINC-a

Jeśli masz za duże claimed credit to dostajesz karę 50% granted mniej. Na WCG lubią boinca ale nie w wersjach rozwojowych (5.5, 5.9 itd.) czy "optymalkach" typu crunch3r (te które sztucznie podwyższają benchmarki), które ich zdaniem nic "nie robią dla nauki".

Mi punktują tak:

[Tomislaw]

---------- 20:28 24.08.2007 ----------

Postanowiłem przeliczyć kilkadziesiąt jednostek na początek (Denga, Aids, Human Proteome Folding 2) i  za 1 policzoną jednostkę dostałem ciut więcej niż żądałem (goły Boinc Manager 5.10.13):

08/24/2007   ---     07:48:14  ---   4.45 h    ---       53.8 / 54.0

mam nadzieję , że już poprawili system punktowania, ale pożyjemy zobaczymy.

---------- 01:21 ----------

Z tych paru próbek które dzisiaj przeliczyłem widzę, że Core2Duo dają minimalnie więcej punktów niż żądam natomiast Pentium 4HT znacząco mniej.

---------- 07:17 26.08.2007 ----------

Core2Duo E6600     Valid   08/23/2007 19:53:17     08/25/2007 05:19:40     3.13     48.5 / 51.7
Core2Duo E6600            Valid    08/23/2007 19:53:17    08/24/2007 05:50:58    3.05    47.0 / 51.9
Core2Duo E6600      Valid    08/23/2007 19:53:17    08/24/2007 21:20:34    3.19    49.6 / 48.6
Core2Duo E6600     Valid    08/23/2007 19:53:17    08/24/2007 15:04:27    3.11    48.3 / 49.7
Core2Duo E6600     Valid    08/23/2007 15:12:01    08/23/2007 18:46:39    2.66    41.5 / 45.9

Core2Duo E6300      Valid    08/23/2007 15:05:54    08/24/2007 07:48:14    4.45    53.8 / 54.0

Core2Duo E6400     Valid    08/23/2007 14:50:01    08/24/2007 15:01:49    3.02    41.0 / 37.4
Core2Duo E6400     Valid    08/23/2007 14:50:01    08/24/2007 17:13:06    3.35    45.7 / 42.6
Core2Duo E6400     Valid    08/23/2007 14:50:01    08/24/2007 10:23:28    2.97    40.5 / 41.8
Core2Duo E6400     Valid    08/23/2007 14:35:29    08/23/2007 18:12:19    3.41    46.2 / 48.0

Pentium 4 HT               Valid    08/23/2007 14:27:23     08/24/2007 11:10:34     7.96    63.6 / 43.7

[D_T_G]

---------- 20:28 24.08.2007 ----------

mam nadzieję , że już poprawili system punktowania, ale pożyjemy zobaczymy.

---------- 01:21 ----------

Z tych paru próbek które dzisiaj przeliczyłem widzę, że Core2Duo dają minimalnie więcej punktów niż żądam natomiast Pentium 4HT znacząco mniej.

Jak dla mnie sprawa jest prosta - na C2D można liczyć tylko na boinc-u, a na boincu liczą bardziej świadomi liczydłowi, którzy więdzą co to benchmark itd. Jak się tacy zbiorą to sami sobie "rozdzielają punkty", wcg nie ma tu nic do tego, "system punktowania" zależy od użytkowników. Zepsuć to może jakiś niezorientowany, który nie wie co to jest benchmark, wystepują z nim u niego jakieś dziwne anomalie i ma bardzi wysokie/niskie claimed i psuje punktację innym. Na jednordzeniowcu liczą znacznie mniej świadomi użytkownicy, ich maszyny nie są dedykowane liczeniu, tym samym zaniżają Ci punktację. Na to nie poradzisz, że WCG jest projektem zrzeszającym piknikowych liczydłowych. Ja to przeżywałem, gdy starałem się linuksiarzy przekonać, żeby przeszli na nowe gałęzie boinca, na których znacznie lepiej wychodzą benchmarki i claimed credit, ale w odpowiedzi słyszałem "a po co mam zmieniać 5.4.x na 5.8.1x jak działa, a jak coś działa to się tego nie rusza", no i tak mi strasznie zaniżali granted credit, mając claimed dwa razy niższe. To nie personel administracyjny projektu musi poprawiać system punktowania, a ludzie muszą chociaż zerkać i badać, czy ich claimed jest na przyzwoitym poziomie, a nie tylko czy "działa mi, nie wysypuje się, jakieś punkty lecą".

[Tomislaw]

Zepsuć to może jakiś niezorientowany, który nie wie co to jest benchmark, wystepują z nim u niego jakieś dziwne anomalie i ma bardzi wysokie/niskie claimed i psuje punktację innym. Na jednordzeniowcu liczą znacznie mniej świadomi użytkownicy, ich maszyny nie są dedykowane liczeniu, tym samym zaniżają Ci punktację. Na to nie poradzisz, że WCG jest projektem zrzeszającym piknikowych liczydłowych.

Choć co do meritum się zgodzę, to muszę zauważyć że:
- Nie każdego stać od razu na zakup wielordzeniowej wypasionej maszynki i każdy liczy na tym co ma.
- Nawet zmielenie unitów na kilkuletnim staruszku też daje w końcu prawidłowe wyniki co również przyczynia się do rozwoju nauki.
Dlatego nie winiłbym tych Bogu ducha winnych liczydłowych a raczej skłaniał się do opracowania nowego bardziej sprawiedliwego systemu przyznawania punktów.

[bartsob5]

ja mam jednordzeniowca i jakos nie nazwalbym sie 'piknikowym liczydłowym' :P


roznice w punktowaniu wyjasnilbym raczej roznica archotektur procesorow pentium i c2d... w zwiazku z tym ze te drugie sa wydajniejsze, daja lepsze benchmarki, ale tez nieporownywalnie lepiej radza sobie z probkami (w sensie, ze licza nieproporcjonalnie szybciej niz wskazuja na to benchmarki - czyli benchmarki niedoszacowuja wydajnosci c2d)
natomiast pentiumy licza dluzej niz powinny i benchmarki sa przeszacowane...

[D_T_G]

---------- 13:06 27.08.2007 ----------

Nie, AFAIK jeśli liczysz na c2d e6400 to możliwie te same próbki są rozsyłane innym posiadaczom e6400 i "przybliżonym wydajnościowo". Dostajesz troszkę więcej niż masz claimed, bo ci inni liczący na e6400 żądają nawet troszeczkę więcej. Natomiast licząc na jednordzeniowcu dostajesz mniej, bo inni którzy dostali tę samą próbkę, bo mają tego samego/podobnego procka żądają mniej niż Ty, dlaczego? Bo system przyznawania punktów jest niesprawiedliwy? Nie wydaje mi się, on jest sprawiedliwy, liczy średnią z claimed i rozdają podług tej średniej, jak się za bardzo wychylisz (za dużo chcesz) to jesteś karany -50%. Piknikowość userów moim zdaniem polega na tym, że ściągli ze strony wcg co im podsunęli (UD, BOINC, stare wersje), zapuścili, wpatrywali się w animację i się radowali, że coś robią dla ludzkości, natomiast nie zaglądają do zakładki messages, nie patrzą jakie mają benchmarki, nie insteresują czy wyszły nowe wersje itd. itp. Wydaje mi się, że WCG jak żaden inny boincowy projekt właśnie ma największy odsetek takich właśnie liczydłowych, bo wciąż większość zadowala się klientem UD, bo ponad dwie trzecie nie zrzeszyło się w żadnym teamie, bo gros doświadczonych boincowców jest do tego projektu zrażonych, bo zespołowi adminów projektu bardzo zależało na simple view dla boinca, a nie wsparciu dla optymalek, których nigdy nie zaakceptują.

Krótko - powinno się to znacznie ustabilizować po 'przymusowej' i całościowej migracji do boinca, o którym wspomniał Bober.

---------- 20:31 12.10.2007 ----------

To jak mi dzisiaj BoincStats podliczyło to aż mnie przestraszyło, musiałem to zbadać. Dawno nie zerkałem jak mi punktują "u źródeł", a tu - nawet fajniście, chyba nie ma się o co bać :)





No i tak BTW - dziś też, cóż za dziwny zbieg okoliczność :), dobrnąłem do 100k w tym projekcie :)

[D_T_G]

Wybaczcie, że odgrzebuję, ale to jest najlepszy wątek na opisanie tego co chciałem :)

No więc, po dosyć długim czasie postanowiłem trochę policzyć na wcg i z ciekawości rzuciłem okiem na punktowanie, które krótko mówiąc zdziwiło mnie. Szczególnie jedno:





To jest normalne?

[Troll81]

pewnie ustawione jest na sztywno za próbkę :D niezaleznie ile czasu przeliczałeś.

[gigi2000]

Niestety nie znam odpowiedzi, ale sprawdzilem ja jest u mnie. W podprojekcie Help Cure Muscular Dystrophy granted credit to zawsze srednia z dwoch claimed.

[RAD-Poland]

różnica pomiędzy "claimed" dwóch hostów jest zbyt duża i wychodzi poza granice weryfikatora, aby nikt nie był poszkodowany projekt przydziela punkty hosta z wyższym "claimed"



a tak na marginesie to host z wyższą punktacją 205,1pkt żąda 42,55pkt/h
co oznacza, że suma floating i integer przekracza 20k "point speed" licząc wprost (nie znam hosta o takim osiągach na rdzeń, ale może już takie są)

Kod ("nasz zespołowy SKB@P Q9550") [Zaznacz] Rozwiń

Measured floating point speed 3870.76 million ops/sec
Measured integer speed 11365.74 million ops/sec

wiedząc, że wcg ma nieliniową charakterystykę z tendencją obniżania "claimed" śmiało mogę napisać "cheater z mocno podkręconym benchmarkiem"
EDIT: druga przesłanka do tego stwierdzenia, gość liczył próbkę nieco dłużej niż twój komputer (czyli na komputerze o zbliżonej wydajności)
jak się zorientują to admin projektu wyśle odpowiednią notkę do założyciela zespołu w którym gość liczy

@gigi2000
tak jest jak piszesz o ile różnica pomiędzy "claimed" nie jest zbyt duża, kiedyś było to ustalone na 35%

[D_T_G]

Jak gościa nakryją to unieważnią jego wynik?

[sesef]

Jak gościa nakryją to unieważnią jego wynik?

Wyników raczej nie bo próbki przeliczył poprawnie co najwyżej wyzerują/obetną mu te punkty c zrobił nielegalnie/dadzą bana

[D_T_G]

Teraz zupełnie odwrotnie. To ja z dwójki dostałem mniej choć chciałem więcej.

[RAD-Poland]

w różnych podprojektach WCG obowiązują różne zasady punktowania (np: RICE)

wyżej pokazany to typowy:
- przekroczyłeś limit 35%
- gdybyś zażądał 130pkt to obaj dostalibyście po ~115pkt , a tak Ty zostałeś ukarany, On dostał swoje
- jaka musiałaby być różnica "claimed" by dostać max'a nie napiszę (ten projekt liczy się bo warto, a nie dla punktów)
- w tym projekcie warto mieć oficjalną wersję boinc (np: licząc CMD2, różne wersje 6.x.x powodują błędy i wymagają ponownego przeliczania próbek)

Zastanawia mnie czy przypadkiem Twój boinc nie podbija lekko benchmarka, sprawdź z poprzednimi wersjami.
Z poprzedniego zestawienia wynika, że często przekraczasz limit 35% i często na tym tracisz

Jeśli straty powoduje nowa oficjalna wersja boinc to zgłoś na forum lub czekaj, aż większość zmieni wersję, co może potrwać.

[D_T_G]

Dzięki za wszystkie odpowiedzi RAD-Poland  :respect: Kiedyś w tym siedziałem ale pozapominałem o tych technikaliach.

Zastanawia mnie czy przypadkiem Twój boinc nie podbija lekko benchmarka, sprawdź z poprzednimi wersjami.
Z poprzedniego zestawienia wynika, że często przekraczasz limit 35% i często na tym tracisz

Jeśli straty powoduje nowa oficjalna wersja boinc to zgłoś na forum lub czekaj, aż większość zmieni wersję, co może potrwać.

Czy ja wiem czy zawyża, kiedyś uważnie śledziłem benchmarki na moim hoście i robiłem sobie nawet takie wykresy:

:)

I jak pamiętam, co opisałem tutaj, benchmarki ustabilizowały się u mnie na poziomie 2200+/-100 Whetstone i 6300+/-200 Dhrystone od wersji 5.8.17:

2007-03-20 08:26:22 [---] Version change (5.8.15 -> 5.8.17)
(...)
2007-03-20 08:27:24 [---] Benchmark results:
2007-03-20 08:27:24 [---]    Number of CPUs: 2
2007-03-20 08:27:24 [---]    2208 floating point MIPS (Whetstone) per CPU
2007-03-20 08:27:24 [---]    6391 integer MIPS (Dhrystone) per CPU

Teraz na 6.6.31, na tym samym hoście mam:

wto, 9 cze 2009, 22:28:11         2245 floating point MIPS (Whetstone) per CPU
wto, 9 cze 2009, 22:28:11         6331 integer MIPS (Dhrystone) per CPU
(...)
wto, 9 cze 2009, 22:29:05         2137 floating point MIPS (Whetstone) per CPU
wto, 9 cze 2009, 22:29:05         6737 integer MIPS (Dhrystone) per CPU

Trochę bardziej skacze, ale mniej więc na tym samym poziomie od wielu wersji.