Storj - Adaptive Storage - Open Compute Project

[Tobas]

Ja myślę, że za chwilę się odbije na co najmniej 0.00015 BTC

[Cyfron]

a coś się zapowiada? Bo śledząc kursy to jedyne podbicia były tylko w momencie, kiedy uruchamiali kolejne giełdy + największy w momencie ogłoszenia współpracy z FileZilla

[Tobas]

Za chwilę pewnie znowu coś ogłoszą.

[TJM]

Dorwałem starszego gatunku sprzęt, który może wziąć na klatę trochę dysków SATA. Ze względu na oszczędność zasobów przebiłem się przez tutorial storjshare w wersji command line i na gołym i wesołym debianie 9 odpaliłem 8 node po 8TB używając dysków które wypadły z różnych macierzy z takich czy innych względów. Przestrzeni mam nawet znacznie więcej ale limitem są wymagania sprzętowe samych node.

Node oczywiście na chwilę obecną stoją praktycznie puste, mam nadzieję, że to dlatego, że są nowe i mają niską, startową reputację.

W trakcie testów, odpalania i działania podłubałem też z ciekawości od strony klienta, testując jakieś command line klienty które tak trochę słabo według mnie wypadają + oczywiście FileZillę która działa dość nieźle. Transfery w obie strony są super i ogólnie nawet zaczynam się zastanawiać, czy samemu nie zacząć z tego korzystać do przechowywania chociażby jakichś mniej istotnych danych. Trafiłem jednak na parę dziwnych rzeczy:
- po dłuższej chwili testów zaczęło mi w logu wyrzucać mi komunikat, że używany klucz nie pasuje do części bucketów (nie wiem wtf bo od początku jest tylko jeden klucz, chyba że mam tam jakieś dane wrzucone dawno temu, których FileZilla nie widzi)
- uploadując plik jakoś za każdym razem wysyłany jest jakby dwa razy, a nawet nie wiem czy czasami i nie 3, bo przesyłane są strasznie duże ilości danych - trochę to ostudziło mój zapał jeśli chodzi o przechowywanie np. dużych snapshotów, bo nie dałbym rady ich raczej wysłać.
- początek uploadu każdego większego pliku zamraża na chwilę klienta, chyba liczy wtedy jakieś drzewo sum kontrolnych, ale mogłoby to wyglądać lepiej i z jakimś paskiem postępu, bo u mnie wygląda po prostu jakby się zwiesił
- plików większych niż kilka GB nie udało mi się wysłać, zawsze po chwili w logu waliło na czerwono jakimś błędem
- no i najciekawsze - w trakcie testów przesłałem grube kilkadziesiąt GB w obie strony i trochę to gdzieś w świecie poleżało, część jeszcze leży, tymczasem na moim koncie na stronie w polach bandwidth i storage mam <0.01. Ciekawe więc kto płaci za to tym co to przechowują i wysyłają  :ph34r:

[Cyfron]

może lagi w statystykach? Może za krótko przetrzymywane? O ile się nie mylę to w storj nie płaci się za przesył tylko za przechowywanie...

[TJM]

O lagu nie ma mowy bo nie pojawiło się do tej pory, jest tam zresztą podział na dni i w historii wstecz pusto. Prędzej jakiś błąd w zliczaniu albo coś o czym nie wiem. Co do płatności to chyba wyskakują też z jakiegoś grosza za wysyłanie danych (na pewno w teorii przechowujący dane buli za pobranie).

Póki co u mnie prawie pusto i z tego co wyczaiłem w różnych statystykach, za szybko się to nie zmieni. Jest tam w ścisłej czołówce gość co ma prawie 120 nodów a na nich łącznie ledwo 40TB danych, cała reszta to ma praktycznie jakieś ochłapy.

[Tobas]

@TJM, a bawiąc się command line nie mógłbyś obczaić jak zrobić prosty wrapper do BOINC
Postawilibyśmy serwer, który by hostował jakieś przestrzenie liczydłowych.

[TJM]

Moim zdaniem to chyba najprościej byłoby zrobić przez wysłanie gotowej wirtualnej maszyny, może z jakąś gołą konfiguracją która przy pierwszym uruchomieniu dokonfiguruje się jeszcze o nowy nodeid i ewentualne inne wymagane dane. To akurat według mnie byłoby spokojnie do oskryptowania, bo jak masz wirtualkę z preinstalowanymi zależnościami i stroj-share, to do uruchomienia demona i node wystarczy praktycznie adres portfela.

Pytanie tylko jak miałoby to potem działać, bo zadanie o nieskończonej długości raczej nie przejdzie (tym bardziej CPU intensive), a tu jeszcze wypadałoby zachowywać wszystkie dane (w tym przypadku całą wirtualkę/wirtualki) pomiędzy kolejnymi uruchamianymi zadaniami, inaczej nie miałoby to sensu. Do tego dochodzi kwestia uruchomienia i przechowywania równolegle tyle tych wirtualek, ile użytkownik chciałby na danym hoście odpalić. Jeśli udałoby się trzymać obrazy na dysku tak, żeby nie znikały i zrobić jakiś "starter" który z listy dostępnych lokalnie VMów brałby pierwszy lub losowy z nie uruchomionych, to już jest jakiś punkt zaczepienia do cyklicznego powtarzania (długich) zadań na hoście.

[krzyszp]

Postawilibyśmy serwer, który by hostował jakieś przestrzenie liczydłowych.

Mam to w notatniku na przyszły tydzień, ale nie w wersji TJM'a (maszyna wirtualna), ale z parametrem usera, ile chce tego dysku dać.

[AiDec]

Nie wiem czy na chwile obecna uda Wam sie naciagnac na tyle duzo danych zeby zapchac spore dyski.
Ja mam "ze starych" czasow 2TB danych, ale w ostatnich dwoch miesiacach zalapalem tylko 500GB nowych danych.
Moze na lepszym laczu/serwerze mozna dostac wiecej danych, ale na chwile obecna (prywatnie) uwazam ze stawianie duzego HDD/serwera do tego projektu nie ma sensu (ale to punkt widzenia prywatnego uzytkownika).

[TJM]

Wystarczy pogrzebać w różnych statystykach, żeby zobaczyć że faktycznie tak jest. Paru gości ma udostępnione setki jak nie tysiące TB a zajęte max kilka % z całości. U mnie na dyskach pustki aż echo słychać  :D
Na storjstat tylko 1 użytkownik przekracza avg/node 1TB a reszta ma max po kilkaset GB, więc dużo w jednym node na pewno nie opłaca się udostępniać póki co.

W ogóle testując trochę przechowywanie danych doszedłem do wniosku, że trochę bałbym się tam trzymać coś ważnego. Ostatnio wrzuciłem (przez Filezillę) 2 archiwa po ok. 1GB i ściągnąłem z powrotem, pierwsze zassało się ok a drugie po ściągnięciu było ok. 1,8x większe niż powinno i oczywiście nie dało się go otworzyć, a cały plik w środku wyglądał dość dziwnie - nigdzie nie było nagłówka archiwum więc cholera wie co to w ogóle były za dane. Po skasowaniu i zassaniu drugi raz było dobre, więc wtf ?

[goofyx]

Wystarczy pogrzebać w różnych statystykach, żeby zobaczyć że faktycznie tak jest. Paru gości ma udostępnione setki jak nie tysiące TB a zajęte max kilka % z całości. U mnie na dyskach pustki aż echo słychać  :D
Na storjstat tylko 1 użytkownik przekracza avg/node 1TB a reszta ma max po kilkaset GB, więc dużo w jednym node na pewno nie opłaca się udostępniać póki co.

W ogóle testując trochę przechowywanie danych doszedłem do wniosku, że trochę bałbym się tam trzymać coś ważnego. Ostatnio wrzuciłem (przez Filezillę) 2 archiwa po ok. 1GB i ściągnąłem z powrotem, pierwsze zassało się ok a drugie po ściągnięciu było ok. 1,8x większe niż powinno i oczywiście nie dało się go otworzyć, a cały plik w środku wyglądał dość dziwnie - nigdzie nie było nagłówka archiwum więc cholera wie co to w ogóle były za dane. Po skasowaniu i zassaniu drugi raz było dobre, więc wtf ?

Pisałem już na ten temat bardzo dawno. Miałem udostępnione w sumie 150TB i używane tylko 10 megabajtów.
Pisałem zapytanie o tą sytuację na forum storj.io i do jakiegoś admina projektu w odpowiedzi zostałem dosłownie wyśmiany. Admin stwierdził, że moje 150TB jest nic nie warte bo oni sami mają PetaBajty z priorytetem <- po tym zrezygnowałem ze storj, pokasowałem konta na forum itp

[TJM]

Te używane parę MB to prawie na bank jakiś problem z konfiguracją. Żeby to działało trzeba przeglądać logi i analizować co się dzieje i ponadto node musi być w miarę cały czas dostępny bez jakichś dużych faili. Każde zatrzymanie kiedy szybko sam nie wróci psuje mu staty tak ze później widzi dane jak świnia niebo. Dodatkowo host nie może być zbytnio przymulony bo to też się odbija na statystykach. Warto też pokombinować z portami bo domyślnie proponowany zakres zaczynający się od 4000 czasami coś źle działa (w moim przypadku od razu to widać bo liczba peerów jest niska rzedu np. 30 podczas gdy inny node ma 100++) i to jest bardzo dziwna sprawa, bo ten sam problem miałem w dwóch dość odległych od siebie lokalizacjach i na całkiem innych łączach.

U mnie teraz każdy node ma zajęte po kilkadziesiąt GB (stan z soboty) - nadal mało ale chociaż coś mi tam skapnie do portfela. Nie rozumiem jeszcze tylko czemu na storjstat pokazuje mi uparcie 0, ale możliwe że żeby pokazywało ile miejsca jest wykorzystane trzeba zainstalować share monitora, czego mi się nie chce robić.