Dep Spid

[krzyku]

Tez mam teraz 6 jednostek, ale juz dociagne je do konca

[emik]

A może to nie jest wina DepSpid'a? Ja aktualnie też przeliczam 6 jednostek i nie widzę zmiany w wydajności kompa, a zamulenia mam w przypadku jak przeliczam 2 wu Superlink(at)Technion

[Bober]

W moim przypadku to w 100% wina Dep Spid bo wszystko wraca do normalności jak wstrzymam projekt i ponownie się pogarsza jak wznowię. Taki mam nowy guziczek magiczny "działa komp/nie działa"  :P

[Czerwek]

prawie jak przycisk Power ;)

[TJM]

Hmm u mnie zasadniczo jest ok, ale zauważyłem pewien dziwny objaw - jeśli klikam na jakiś link w samym managerze, to zanim się otworzy w przeglądarce mija nawet 30s. Może to od DepSpida właśnie ?

[bartsob5]

a mi wiesza komunikator jak ktos mi linka przysle i mrozi liska jak wciskam guzik 'odpowiedz' :/

[TJM]

Komunikator chyba się nie wiesza, też to zauważyłem i wystarczy poczekać (nawet kilka minut) aż się 'odmota'.
Wydaje mi się, że jest to wina sposobu, w jaki DepSpid łączy się z serwerami. Nie używa keep-alive, tylko dla każdego requestu tworzy nowe połączenie, które potem wisi jakiś czas.

[obrazek się przeterminował na serwerze, więc wywaliłem link żeby nie śmiecił]

^na tym screenie akurat połączeń jest niezbyt wiele, ale już widziałem sytuacje, kiedy suwak od przewijania był tak mały, że zacier był kursorem w niego trafić...

Zastanawiam się, czy lekarstwem na to nie byłoby zmniejszenie timeoutów dla nieaktywnych połączeń w Windowsie, ale za leniwy jestem, żeby poszukać jak to się robiło %-)
Może wypadałoby wbić na forum projektu i zagadać do gościa, żeby w końcu dodał support dla keep-alive, to powinno rozwiązać część problemów.

edit:
dopisałem w rejestrze, w

HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Ser vices\Tcpip\Parameters

TcpTimedWaitDelay (REG_DWORD) wartość 30 (1e hex) i niby widać poprawę, ale poczekam jeszcze na nowe jednostki, żeby to ocenić (aktualnie pusto na stronie projektu).

[kempler]

Mocno się zmobilizowałem i odbiłem 1 miejsce. Pytanie na jak długo?

No ja już chyba Cię nie dogonię  :wink:  Ale miło było na 1 miejscu przez kilka miesięcy  :D

[AL]

Mocno się zmobilizowałem i odbiłem 1 miejsce. Pytanie na jak długo?

No ja już chyba Cię nie dogonię  :wink:  Ale miło było na 1 miejscu przez kilka miesięcy  :D

Próbuj, próbuj - ja znowu ostatnio odpuściłem! Teraz wszystkimi siłami nadganiam Neurona (coby znowu do top ten wbić) i w depie zmieniłem pobieranie próbek do 3 naraz tylko.

[kempler]

Ja się nie poddaję, po prostu oceniam swoje szanse ze względu na mój obecny stan hostów których jest całe 1 :/

[kempler]

Jeśli ktoś nie czyta Newsów

Bardzo ważna ankieta w DepSpid

Są plany oddzielenia dwóch faz w aplikacji projektu DepSpid.
W tym celu powstała ankieta na forum projektu. Aby zagłosować należy się zarejestrować na forum a następnie zagłosować tutaj

Zachęcam do głosowania !!

Obecnie aplikacja DepSpid działa w dwóch fazach:
Faza 1: 0-50%. W tej fazie aplikacja wykorzystuję połączenie z internetem i praktycznie nie korzysta z mocy CPU
Faza 2: 50-100%. W tej fazie aplikacja intensywnie korzysta z CPU i nie potrzebuje połączenia z internetem.

Ankieta ma na celu pokazanie twórcom jaki wariant interesuje uczestników i czy wystarczy użytkowników aby wykonywał założone cele obu faz.

Dostępne są następujące warianty:
- The network (non-cpu-intensive) part (Faza 1, bez udziału CPU)
- Both parts, but mainly the network part (Obie fazy, z przewagą fazy 1)
- Both parts (Obie fazy)
- Both parts, but mainly the cpu-intenisve part (Obie fazy, z przewagą fazy 2)
- The cpu-intensive part (Faza 2, bez połączenia z internetem)

[TJM]

---------- 12:24 12.08.2007 ----------

Bardzo dobrze, że wprowadza taki podział. Teraz druga część zadania (ta, która używa CPU) czasami trwa bardzo długo, miałem już przypadki, że człapało się 2 dni a łączny CPU time wychodził <15 minut.

---------- 12:37 14.12.2007 ----------

Projekt rozsyła nowe testowe spidery (w limitowanych ilościach), działają dużo sprawniej od starych. Nie ma takich cyrków, że dochodzi do 49% i potem 12h człapie się do 50 i kolejne 12h do 100. Nie ma też problemów z zamulaniem kompa podczas pracy spidera (przynajmniej ja nie zauważyłem). Niestety validator na razie nie działa, więc wszystkie rezultaty z nowych wersji siedzą z pendingiem.

---------- 00:08 19.12.2007 ----------

Dziś jakaś gruba seria zadań, po 10 na hosta  :D I nie zamulają kompa.

[Pigu]

ten projekt przeszkadza setowi w liczeniu się?

[TJM]

---------- 00:25 19.12.2007 ----------

Nie, próbki liczą się niezależnie od innych i zabierają malutko czasu procesora, od kilkudziesięciu do kilkuset sekund przez cały czas przetwarzania (dla nowych od 2 do 12h).

---------- 00:27 ----------



EDIT: w preferencjach można chyba nawet 20 zadań/hosta ustawić, ale wymaga to  dość dużo RAMu, zapewne też wciąga sporo przepustowości łącza, chociaż obecnie przy włączonych łącznie 20 spiderach na dwóch kompach nie widzę na routerze zbytniego natężenia ruchu (parę kB/s).

[Pigu]

czyli taka metoda na podbicie racu?  :wink:

[TJM]

Za dużego RACu raczej z tego nie wyciśniesz, zależy od tego ile projekt będzie przydzielał  zadań/hosta maksymalnie, pewnie będzie to w okolicach 20-40 (tak przynajmniej było na starym spiderze, nowy chodzi dużo sprawniej), ale nie odbywa się to kosztem innych projektów, więc zawsze są to dodatkowe punkty.
Aha i jest jeszcze pewna lipa - nowe zadania przydzielane są jedynie jeśli host odeśle wszystkie poprzednie, tak więc jedno bardzo długie może przez dłuższy czas opóźniać resztę. W przypadku nowego spidera nie jest to jak na razie problemem, bo z tego co widziałem zadania mają zbliżoną długość, na starym to był koszmar - zdarzało się często że z całej serii większość była przetwarzana kilkanaście godzin, a jedno potrafiło się człapać nawet 3 dni opóźniając tym samym dostawę nowych.

[geconboinc]

a jak narazie Dep Spid padl... bo za cholere nie moze polaczyc sie z baza aby odeslac probki...

Project phase     Alpha     Project server    Offline
Account Creation    Enabled    User/Host Count    2342/8627 (3.68 hosts per user)
Unsent tasks    0    Crawled domains    22126651 of 43728317 (50.6%)
Tasks in progress    836    Crawled pages    706635744
Results to assimilate    211    Transfer rate    54.354 GigaBytes per day
Server time    Wed, 28 May 2008 14:27:07 +0200    Status update   Wed, 28 May 2008 08:15:37 +0200

[Pigu]

nii  on tak ma - raz chodzi, raz nie, to normalny stan pracy  :-\

[Bober]

Dobiega końca pierwsza faza projektu. W fazie drugiej jednostki będą już wykorzystywały CPU do obliczeń. Nie wiadomo jednak kiedy wystartuje.

[geconboinc]

juz dziala bez zarzutu...