Aktualności:

W MEDIA znajdziesz grafiki, banery i avatary

Menu główne

Poszukuję programistów do nowego polskiego projektu ;-)

Zaczęty przez Tobas, 28 Luty 2011, 11:36

Tobas

Witam

Od pewnego czasu noszę, a konkretnie znajomi noszą się z zamiarem uruchomienia projektu BOINC.

Wszystkiego czego nam brakuje to programistów, którzy bo ten projekt wdrożyli.

Na szczęście mamy najważniejsze - budżet!

Osoby posiadające wiedzę, chęci, czas proszę o kontakt na priv.

Co prawda nie jest to projekt komercyjny, ale dopóki sprawa oficjalnie nie ruszy,
zostałem zobowiązany do niepisania o nim publicznie.

Projekt nie był wymyślony na potrzeby BOINC, oni nawet nie wiedzą pewnie co to jest,
ale IMO BOINC - gdyby się udało to zrobić w takiej postaci -  zaoszczędziło by to mnóstwo środków,
które spokojnie można by przeznaczyć na wdrożenie i promocję.

Pozdrawiam i jeszcze raz zapraszam zainteresowane osoby do bardziej szczegółowych konsultacji.

Troll81

Zaproś swoich kolegów na forum i niech opowiedzą co ma robić ten projekt :D myślę że to bardziej zachęci przyszłych programistów.

Cyfron

a powiedz mi jakiego typu miałby to być projekt - chemia/biologia, czy matematyka, fizyka czy coś? (bo sam zamierzam pociągnąć za moje nowe "sznurki" i kontakty odnośnie projektów białkowo-chemicznych, ale to dopiero w kwietniu będę mógł)

kret


Tobas

Nie chcę zdradzać szczegółów, dopóki nie skonsultuję tego z jakimś developerem.
Chodzi mi konkretnie o fakt czy dany projekt można przenieść na realia BOINC.
Dopóki mi tego nie potwierdzi ktoś, kto coś już wdrożył, albo ma o tym pojęcie,
to nie będę za przeproszeniem Wam dupy zawracał.

To nie są moi koledzy, to ludzie z wrocławskiego środowiska naukowego i są poważnie zainteresowani aby to ruszyło..
Mam szczerą nadzieję, że wkrótce będę się mógł trochę pochwalić i zaprosić do współpracy wszystkich liczydłowych ;-)


Cyfron

jak zrobicie projekt na GPU to aż chętnie policzę ! :)

TJM

Odpowiem tu na pytanie zadane na ircu, ponieważ żeś zwioł zaczym się tam ocknąłem i zauważyłem pytania %)

Otóż mogę pomóc z rozważeniem "czy się da" i jak mocno będzie trzeba kombinować, ale żadnego programowania i innych prac developerskich raczej się nie podejmę, ze względu na chroniczny brak czasu.
W razie czego zapraszam do dyskusji na ircu, jak wiadomo jestem dość często.

W razie jakiejś pilniejszej sprawy - jestem często dostępny na kanale IRC B@P, na forum czasami zapominam zajrzeć lub nie mam czasu.

apohawk

Cytat: Tobas w 28 Luty 2011, 19:53
Nie chcę zdradzać szczegółów, dopóki nie skonsultuję tego z jakimś developerem.
Chodzi mi konkretnie o fakt czy dany projekt można przenieść na realia BOINC.
Dopóki mi tego nie potwierdzi ktoś, kto coś już wdrożył, albo ma o tym pojęcie,
to nie będę za przeproszeniem Wam dupy zawracał.

To nie są moi koledzy, to ludzie z wrocławskiego środowiska naukowego i są poważnie zainteresowani aby to ruszyło..
Mam szczerą nadzieję, że wkrótce będę się mógł trochę pochwalić i zaprosić do współpracy wszystkich liczydłowych ;-)


Trzeba ustalić, co się ma przeliczać.
1. Czy wiedzą, co chcą policzyć?
2. Jakiego rodzaju jest to algorytm?
3. Czy można obliczenia rozbić na części?
4. Czy obliczenia można zrównoleglić?
5. Czy wykorzystywane obecnie przez tych ludzi oprogramowanie/biblioteki ma otwarte źródła?

Na to musi odpowiedzieć naukowiec, a nie programista. To pomoże odpowiedzieć, czy da się to odpalić na BOINC.
No good deed goes unpunished.

Tobas

Cytat: apohawk w 10 Marzec 2011, 20:21

Trzeba ustalić, co się ma przeliczać.
1. Czy wiedzą, co chcą policzyć?
Wiedzą co chcą policzyć, a konkretnie co znaleźć.
Cytat
2. Jakiego rodzaju jest to algorytm?
Wydaje mi się że nonCPU
Cytat
3. Czy można obliczenia rozbić na części?
No właśnie trzeba.

Projekt ma za zadanie odpytywać wszelkie możliwe wyszukiwarki w sieci na bardzo wiele fraz,
następnie trafione wyniki odsyłać do serwera.

Czemu BOINC?

Google nie pozwala zapytać się więcej niż x razy dziennie - zapewne to samo z innymi szukajkami
Chcemy zadać x2 zapytań na x2 tematów i analizować tylko hit'y
Dlatego fajnie by było jakby ktoś nam spreparował wyniki do analizy np. liczydłowi na swoich kompach


Cytat
4. Czy obliczenia można zrównoleglić?
5. Czy wykorzystywane obecnie przez tych ludzi oprogramowanie/biblioteki ma otwarte źródła?

Na to musi odpowiedzieć naukowiec, a nie programista. To pomoże odpowiedzieć, czy da się to odpalić na BOINC.

Nie ma softu, nie ma źródeł - wszystko jest do napisania.
Tak jak wspominałem - jest budżet i konkretne zainteresowanie..

Pytanie - czy taką maszynę do analizy sieci da się odpalić na BOINC?

Rysiu

Cytat: Tobas w 11 Marzec 2011, 12:40
Google nie pozwala zapytać się więcej niż x razy dziennie - zapewne to samo z innymi szukajkami
Serio? A jaki to limit?

Nigdy z niczym takim się nie spotkałem.

Pytanie jednak polega na tym, że jeżeli Google coś takiego zablokowało, a Wy chcecie jakoś na boku to ominąć stosując większą ilość komputerów to Google raczej zadowolone z tego by nie było.

Tobas

Google ma limity bo maniacy SEO wymyślali skrypty, które bombardowały wyszukiwarkę słowami kluczowymi,
nie wiem dokładnie o co chodzi, ale ludzie od SEO na pewno wiedzą..

W moim projekcie nie ma mowy o spamie, komercyjnym działaniu i odpytywaniu samego google, więc tutaj
bym nie szukał problemu.

Tobas

Poza tym nie widzę przeszkód aby w ramach projektu napisać własnego robota i niech projekt sam szuka - bez google i innych,
tylko z pomocą wyszukiwarek - nie musi indexować wszystkiego, tylko trafienia.

Rysiu


buninek

Toż to błahostka.
Czy nie ma projektów w których aplikacja potrzebuje blisko 2GB pamięci na zadanie? Inne z kolei mielą dyskiem, aż lecą wióry lub z proca wyciskają maksymalne poty. Jeszcze innne nie wiadomo co robią i po co... :D

Zainteresowani podpiszą nową umowę z operatorem na lepsze łącze.

Pigu

ba - swego czasu łączem mielił hal  %)

nie widzę problemu, by oddać projektowi łącze - zwłaszcza, że przez większość czasu i tak się nudzi

Tobas

Cytat: Rysiu w 11 Marzec 2011, 13:20
Ale taki robot by chyba sporo mielił łącze?

Dokładnie takie jest założenie - niech mieli kiedy Ty nim nie mielisz ;-)

apohawk

Gorzej, jak się ludzie wkurzą, bo nie mogą a google'a normalnie korzystać, tylko muszą captchę wpisywać. Dla ludzi oznacza to "internet się zepsuł!"
Mielenie łącza nie jest problemem, jeśli odpytuje się poniżej progu wykrywalności google'a.

Coś ostatnio słyszałem, że w google  jest gdzieś API do wyszukiwania, ale nie mogę na szybko niczego sensownego znaleźć.
Można by zrobić takie nonCPU, które odpytuje google'a przez godzinę o jakieś 5-15 rzeczy i przez resztę czasu śpi, to może google się nie zbuntuje.

Podział na WU: chyba trywialny.
Scalanie wyników: zależne od danych wejściowych, jak nie ma wiele pytań, to się to gdzieś pomieści, ale jeśli chcecie sklonować google'a to sklonujcie też ich barki serwerów ;)
No good deed goes unpunished.

buninek

Cytat: apohawk w 11 Marzec 2011, 17:23
Coś ostatnio słyszałem, że w google  jest gdzieś API do wyszukiwania, ale nie mogę na szybko niczego sensownego znaleźć.
Przykład w formacie JSON.
https://ajax.googleapis.com/ajax/services/search/web?v=1.0&q=$query
Zadziwiające i trochę przerażające jest to jakimi zasobami danych dysponują.
Ostatnio korzystałem z API google readera. W kilka minut moża pobrać całą historię newsów z dowolnego serwisu, który jest odwiedzany przez googlowe roboty. Fantastyczne.

apohawk

Jak tak dalej pójdzie, to wcale nie będą potrzebowali projektu BOINC  XD
No good deed goes unpunished.

kotfryc

Cytat: Tobas w 11 Marzec 2011, 13:09
Google ma limity bo maniacy SEO wymyślali skrypty, które bombardowały wyszukiwarkę słowami kluczowymi,
nie wiem dokładnie o co chodzi, ale ludzie od SEO na pewno wiedzą..

W moim projekcie nie ma mowy o spamie, komercyjnym działaniu i odpytywaniu samego google, więc tutaj
bym nie szukał problemu.

Hmmm żeby być pewnym jeśli chodzi o politykę Googla najlepiej udać się do źródła i się zapytać czy takie działania nie zostaną odebrane jako spamowanie wyszukiwarki. Czyli poprosić jakiegoś przedstawiciela Google o opinię - pracownicy tej firmy są dostępni na sieci, wystarczy poszukać...  :)

Jeśli chodzi o wyszukiwarkę, to doskonale wiem jak można ją wkurzyć i gwarantuję że nie jest to tylko odpytywanie na jakąś określoną frazę x razy w ciągu dnia. Proponuję zaciągnąć więcej  informacji u SEO-wców.

Dodatkowo takie odpytywanie może wpłynąć na wiele aspektów użytkowania wyszukiwarki i innych usług przez osoby uczestniczące w programie, jak chociażby zaśmiecenie/zaspamowanie historii wyszukiwania.

Tobas

Dobrze wiedzieć.
Czyli trzeba klientom wysyłać osobną przeglądarkę stworzoną na potrzeby projektu, gdzie nie będą logowane na ich koncie poszukiwania, np. Lynx'a
albo rzeczywiście samemu przeczesywać sieć tzn. bez pomocy wyszukiwarek,
tak czy inaczej dzięki za uwagi - dużo wnoszą, nawet te z pozoru nieistotne i dzięki dla TJM za PM'a

TJM

Hehe widzę że ktoś wspomniał go google API. Otóż nie jest tu tak wesoło, ostatnio znajomy je studiował i zauważył coś ciekawego - otóż API zwraca linki, ale w losowej kolejności, więc jego użyteczność do niektórych celów jest zerowa.

W razie jakiejś pilniejszej sprawy - jestem często dostępny na kanale IRC B@P, na forum czasami zapominam zajrzeć lub nie mam czasu.

Agbar

Cytat: TJM w 26 Marzec 2011, 11:48
API zwraca linki, ale w losowej kolejności...

To jest cecha chyba wszystkich wyszukiwarek, bo użytkownik najczęściej sprawdza i tak kilka pierwszych - dla niego kolejność nie ma znaczenia. Tym bardziej, że google ocenia strony syntetycznie, a nie wg tego, czego oczekiwał user.

Cyfron

a w ogóle to co z tym projektem?
Coś idzie do przodu, czy zostało to zarzucone?

Tobas

Powolutku, ale do przodu..
Jak będzie konkret to oczywiście dam znać.
Oczywiście jak wszystkich, również nas obejmuje największy dylemat 21 wieku - chroniczny brak czasu :(

Cyfron

o widzisz - a myślałem, że wszystko zmarło i nie będzie nic :)

Miło mi słyszeć, że coś się dzieje. W takim wypadku czekamy na dalszy rozwój sytuacji i kolejne informacje.
Jak coś to pewnie coś pomożemy :)