Nietypowe pytanie o punkty

[33oliver]

Mam pytanie, skąd bierze się punkty do aktualizacji statystyk/klasyfikacji do projektu miesiąca?

Pytam ponieważ w podanej klasyfikacji np na dzień 30.05 godz. 22:30 posiadam 14948.75, na stronie BoincStats o tej godzinie miałem 15501 pkta a w manager`ze 16841punkta. Na osobistym koncie projektu też jest najświeższa liczba punktów czyli 16841pkta.

Rozumie, że może być różnica pomiędzy BoincStats a manager`em bo są opóźnienia ale dlaczego na konkretna godzinie punkty różnią się w stosunku do BoincStats aż o około 550punktow co stanowi około przeszło 4 próbki policzone?

Oraz pytanie typu: kiedy odczytywane są po raz ostatni punkty? o godz. 23:59 ostatniego dnia danego miesiąca?

[sstratoss]

Zacznijmy od tego czy liczyłeś już docking w kwietniu? Jeżeli tak to chyba wiadomo skąd ta różnica miedzy statami w BM a PM

[AiDec]

Boincstats aktualizuje dane z opoznieniem do 48h w stosunku do projektu. Co wiecej, opoznienie moze byc wieksze jesli nastapi awaria serwera projektu, bazy danych itp. i w zwiazku z tym dane nie zostana z projektu wyeksportowane/nie beda dostepne. Najswiezsze i najaktualniejsze dane masz zawsze na stronie projektu - kolejne elementy (BM, boincstats) aktualizuja dane zawsze z jakims mniejszym lub wiekszym opoznieniem.

Roznica miedzy danymi z projektu, a danymi w projekcie miesiaca bierze sie z tego, ze rozpoczynajac projekt miesiaca liczymy wszystkim osobom od zera. W PM licza sie punkty zdobyte od 1-go dnia miesiaca, jesli zdobyles 500pkt. w poprzednim miesiacu, to nie zostana one doliczone do PM w miesiacu obecnym.

Podawanie o ktorej godzinie sa sprawdzane dane nie ma wiekszego sensu, dlatego ze nie jest to stala wartosc. Ostatnie sprawdzenie danych zmienia sie, w zaleznosci od projektu. Kazdy projekt rzadzi sie innymi prawami - kazdy PM zatem rowniez. Moze sie rowniez zdarzyc ze z przyczyn technicznych (jakichkolwiek, np. po stronie serwera projektu) RAD-Poland zmieni czasy odczytywania danych z projektow. Co wiecej, skrypt RADa odczytuje dane z projektu, pozniej te dane sa przetwarzane (co zajmuje z tego co pamietam ok. 30 min, ale to juz zalezy od ilosci osob bioracych udzial w PM), a dopiero pozniej publikowane.

[33oliver]

Zacznijmy od tego czy liczyłeś już docking w kwietniu? Jeżeli tak to chyba wiadomo skąd ta różnica miedzy statami w BM a PM

Zacząłem liczyć 25 maja tj. w ostatni wtorek, wtedy dopiero dowiedziałem sie o czym podobnym z artykułu więc nie liczyłem nic w kwietniu :)

a zadałem to pytanie bo... nie tylko teraz o 22:30 to zauważyłem ale za każdym wcześniejszym razem i nie chodziło mi tu o pewną niespojność ale jako nowy w tym liczeniu ciakw jest jak to wszystko fuznkcjonuje a nigdzie takiej informacji nie mogłem uzyskac nie wiedzac skad moderatorzy zajmujacy sie tematem biora dane odnosnie ilosci punktow danego uzytkownika.

Tak jak mowilem, zdaje sobie sprawy z roznic pomiedzy managerem BOINC a BOINCstats ale zastanawia mnie w dalszym ciagu skad roznica pomiedzy BOINCstats a miejscem z ktorego moderatorzy pobieraja dane poniewaz jak zaznaczylem nawet w BIONCstats mam wiecej punktow niz na podanej stronie wiec miejsce pobierania danych przez moderatorow musi byc najbardziej opoznione w aktualizacji punktow.

Stad pytanie, skad je odczytuja.

[AiDec]

Dane sa odczytywane bezposrednio z projektu (po tym jak projekt udostepni aktualne dane). Mniej wiecej wyglada to tak (naprawde mniej wiecej, zeby Ci tylko wyjasnic jak to dziala):

Projekt aktualizuje dane dla klientow zewnetrznych raz na 2 godziny. Skrypt RADa pobiera dane raz na cztery godziny (i niekoniecznie musi sie zazebiac z serwerem projektu - moze byc tak ze skrypt pobierze dane 1h i 50 minut po ostatniej aktualizacji po stronie serwera). Po pobraniu skrypt przetwarza dane (co zajmuje jskis czas), skrypt moze dodatkowo zostac ustawiony tak, aby przetwarzal dane tylko gdy procesor serwera nie jest za bardzo obciazony (a zatem moze sie okazac ze skrypt czeka kolejne 2 godziny, zeby nie zamulac kompa - wez pod uwage, ze dane z serwera moga zajmowac nawet 2GB! ktore musisz umiescic w RAMie/SWAPie). Dopiero pozniej nastepuje publikacja na 4um.

Podsumowujac, predzej czy pozniej dane sa na 4um, po ich obrobce. Dzieki temu nie musimy sami (kazdy z osobna) sprawdzac danych na serwerze projektu. Nie mamy mozliwosci technicznych (z reszta sam BOINC chyba tego nie przewiduje) aby publikowac wyniki w czasie rzeczywistym (a wyobrazasz sobie jaki to bylby traffic dla serwera skryptowego i dla 4um? :) i jakie obciazenie dla serwera skryptu w wyniku `ciaglego` przetwarzania danych... ).


Mam nadzieje ze wyjasnilem wiekszosc spraw. Oczywiscie RAD moglby uscislic moje informacje, ale sadze ze te juz podane sa wystarczajace aby zrozumiec jak to dziala.



EDIT: Obrobka danych polega na wyciagnieciu danych `naszych liczydlowych ` (serwer projektu publikuje dane WSZYSTKICH liczacych! np. 14.000 osob XP) i przeliczeniu o ile zmienily sie wartosci w stosunku do godziy 00:00 1-go dnia miesiaca.


EDIT2:

tabelka jest aktualizowana ok 15min po ukazaniu się aktualizacji na stronie projektu
w przypadku projektu Rossera@home aktualizacja jest co 6h (o ile nie mają problemów z serwerem)

bot sprawdza co 15min zmianę strony http://boinc.bakerlab.org/nazwa_projektu/stats/

Powyzsze cytaty to stare informacje, nie jestem pewien, ale moglo sie wiele zmienic.

[sesef]

Mam pytanie, skąd bierze się punkty do aktualizacji statystyk/klasyfikacji do projektu miesiąca?

http://docking.cis.udel.edu/stats/

a dokładniej http://docking.cis.udel.edu/stats/user.gz

Każdy projekt ma staty w tym samym miejscu (no chyba że ktoś nie chce być kompatybilny z BOINCSTATS to są w innych miejscach), nie zawsze jest dostęp do samego katalogu stats natomiast do plików znajdujących się w nim zawsze jest dostęp. Aktualizacja tych plików wedle upodobań admina projektu.

[RAD-Poland]

PM

Punkty do Projektu Miesiąca są to punkty zdobyte(naliczone) w projekcie w danym miesiącu, przy czym za start i koniec brane są dane ze statystyk udostępnionych przez projekt najbliżej północy z plików user.gz (patrz. post wcześniej).

W przypadku Docking@Home staty są aktualizowane co 6 godzin (podobnie SIMAP,QUANTUM co 6h, a np PrimeGrid co 4h), w niektórych projektach aktualizacja jest nawet co godzinę, a w skrajnym przypadku raz na dobę. PrimeGrid jest szczególnym projektem w którym dodatkowe szczegółowe dane z podziałem na przeliczane próbki w poszczególnych podprojektach są aktualizowane co 15 min.

Obecny PM - Docking kończy się 31.05.2010 o 22:30 gdyż kolejne dane byłyby dopiero o 4:30
Naliczanie punktów do nowego PM-QuantumFire rozpocznie się 31.05.2010 22:35 z aktualizacją co 6h + ~15min
(na forum nowy PM pojawia się po południu 1 dnia miesiąca, zmiana bota, drobne korekty skryptów itd które wykonuję ręcznie)

Aktualizacja danych PM na forum odbywa się wciągu 15 min od pojawienia się nowych danych na serwerze danego projektu
(bot co 15 min sprawdza czy są nowe dane)
Dane w udostępnianych plikach datowane na konkretną godzinę mogą zawierać stan punktowy z przed kilku, kilkunastu minut (przeważnie), ale też mogą być starsze w zależności jak i w jakich okolicznościach były generowane ów dane przez projekt. Dlatego nie należy czekać do końca z zaraportowaniem próbek, gdyż serwer potrzebuje również czas na weryfikację nadesłanych danych i uzyskanie quorum, bywa że punkty są naliczane z dużym opóźnieniem.

W PM nie obowiązuje zasada, że próbki muszą być pobrane i odesłane w czasie PM, liczą się tylko naliczone punkty przez projekt, dlatego:
- można pobrać próbki przed PM i odesłać podczas PM (jeśli zrobisz duże wyprzedzenie zyskasz punkty w tym PM ale odbywa się to kosztem poprzedniego)
- rada jeśli projekt wymaga quorum 2 lub więcej warto 10 dni przed końcem PM zrobić zapas próbek na maksa, wtedy jest duża szansa że próbki uzyskają wymagane quorum przed końcem PM i nie będą zalegać w "pending'u" (oczekujące punkty) po jego zakończeniu. Punkty za te przeliczone próbki zostaną doliczone do twojego konta, ale nie będą uwzględnione w PM

(*) - otrzymują nowi użytkownicy w projekcie oraz osoby które dołączyły do naszego zespołu po rozpoczęciu PM, osobom z pierwszej grupy * zostaje do końca PM, pozostałym znika po weryfikacji punktów, która wykonywana jest ręcznie przeważnie raz w tygodniu lub po zakończeniu PM przed ogłoszeniem ostatecznych wyników

rozbieżność punktów
w zestawieniu znajdują się tylko wyniki uzyskane przez liczącego w czasie PM i jednocześnie pod banderą B@P ; ) (czyli w okresie kiedy był w zespole)

mogą być większe lub mniejsze różnice chwilowe między dorobkiem punktowym, które widzisz w Managerze BOINC, a na stronie projektu oraz tymi w PM, wynika to z różnic w czasie aktualizacji,

EDIT:@33oliver w Twoim przypadku różnica wyniosła 1758.003785 pkt
do zespołu B@P przyłączyłeś się ok doby po zapisaniu do projektu Docking i uzyskaniu w/w 1,7k pkt

[sebek_sp]

Super wyjaśnienie. Chyba dokładniejsze niż to co znalazłem.

Ściągałem sobie Quantum i jak zobaczyłem 38 godzin to zacząłem sobie liczyć i przestałem ściągać próbki do WCG. Jednak nie doceniłem mojego grata. W trochę ponad 8 godzin przeliczył prawie 50% próbki, więc musiałem przełączyć na WCG z powrotem :D Zostało mi pół próbki do WCG i znów liczę QUANTUM druga próbkę.

[33oliver]

A no właśnie, wnikliwa analiza jest pełnym sukcesem.

Spóźnione dołączenie do zespołu spowodowało niewielką ale jednak różnicę.

Dzięki za dojście do tego, doceniam starania.