Tworzenie projektu... czyli powstanie i ewolucja Enigma@Home

[TJM]

Dla trzeciej wiadomości oba przewidziane zakresy skończyły się i rozwiązanie nie zostało znalezione.
Moim zdaniem te zakresy i tak były co najmniej o połowę za długie, chyba lepiej wykonać wiele krótszych testów niż męczyć jedną możliwą 'hipotezę' zbyt długo.
No ale tak zostało ustawione na serwerze M4, więc nie miałem nic do gadania.

Aktualnie serwer M4 nie ma w ogóle dostępnych zadań, więc póki co serwer śmiga z jednym z ciphertextów dostępnych na cryptocellar.org. Jest ich tam więcej, oraz przy dodawaniu ich nie jestem ograniczony przez zewnętrzny serwer, więc można testować co tylko do głowy przyjdzie.
Tekst ten na pewno ma brakujące litery, ale przyjąłem pewną strategię. Ponieważ M3-keyspace zawiera tylko 60 workunitów o typowej dla projektu długości, do klienta z każdym workunitem wysyłany jest zmieniający się po każdym pełnym obiegu po WU tekst, w którym pierwsze trzy brakujące litery są zamieniane na kolejne litery alfabetu, zaczynając od lewej.
Daje to 26*26*26 kombinacji, co w połączeniu z 60 WU dla każdego tekstu daje 250k WU.
Czwartą literę która jest blisko końca pominąłem, brak jednej nie powinien mieć wpływu na wynik, o ile wiadomość jest do złamania przy użyciu tej metody.


Dlatego jeśli ktoś z was ma chęć się pobawić w historyka-kodołamacza, zapraszam do poczytania dostępnych opisów ataków na teksty enigmy i szukania sensownych możliwości kontynuacji poszukiwań na pozostałych tekstach. Serwer ma ogromne możliwości implementacji dodatkowych rozwiązań, praktycznie ograniczone tylko dostępnością softu (ewentualnie ktoś go musi napisać).

[TJM]

Pod koniec miesiąca, lub z początkiem następnego prawdopodobnie pojawią się przejściowe trudności z dostępem do serwera.

Wysłałem zapytanie do firmy hostingowej w celu zapoznania się z możliwością przeniesienia się na inną ofertę (niby nawet lepsza niż to co używam, a ta sama cena) - głównie ze względu na konieczność zaoszczędzenia kasiwa.
W aktualnej ofercie zaczyna brakować transferu, na wyższą mnie nie stać, a pojawiła się opcja typu wirtualna maszyna z 2x większymi zasobami (RAM, hdd) i ponad 3 razy wiekszym transferem od tego co mam, w tej samej cenie.
Jeśli przeniesienie nie będzie możliwe, to będę musiał pomyśleć o czymś innym.

Prawdopodobnie sam serwer sprzętowo też wkrótce wyemigruje do innej lokalizacji, znajomy zaoferował możliwość przechowania go u siebie w firmie, gdzie za prąd płacą ryczałtem. Zastanawiam się właśnie nad tą możliwością, gdyż z jednej strony odpadnie spora kwota z rachunku za elektryczność, z drugiej jednak dostęp do serwera nie będzie już taki łatwy i będzie ograniczony praktycznie do Pn-Pt + pół soboty, więc w razie awarii usunięcie będzie trwać dłużej.

[apohawk]

Downtimem się nie przejmuj. Jak sobie przypomnę na ilę czasu wysiadał Collatz, to wolnej niedzieli Ci nie pożałuję ;)

[TJM]

Jeśli przy okazji ewentualnej przeprowadzki adres IP się zmieni, to downtime najprawdopodobniej przekroczy 24h, z czego te pierwsze 24h będą musiały upłynąć zanim cokolwiek będę mógł dalej zrobić.
Póki co czekam na odpowiedź supportu, lepiej żeby okazało się, że taka zmiana jest możliwa.

[Hani]

Hmm.... Z rysiem chyba się znacie. :) Serwer goldbacha nie obsłży obydwu projektów?

[apohawk]

Jeśli przy okazji ewentualnej przeprowadzki adres IP się zmieni, to downtime najprawdopodobniej przekroczy 24h, z czego te pierwsze 24h będą musiały upłynąć zanim cokolwiek będę mógł dalej zrobić.
Póki co czekam na odpowiedź supportu, lepiej żeby okazało się, że taka zmiana jest możliwa.

Na starym IP postaw serwer proxujący do nowego IP. Jak się zmiana w DNSach rozpropaguje, to wyłączysz proxy i po problemie. Tak ostatnio przenosiliśmy serwer naszego klienta w firmie.

[TJM]

To nie tak łatwo, bo stare IP to wlaśnie proxy, poza tym przy ewentualnej zmianie od razu stracę dostęp - inaczej musiałbym opłacic jednocześnie stary i nowy serwer tylko po to, żeby ze starego korzystac parę dni, co mi się nie uśmiecha.
Z supportu dostałem jednak odpowiedź, że zamiana oferty jest bezproblemowa i od ręki a co więcej, może nawet obraz systemu aktualnej maszyny ruszy na wirtualnej. Tego niestety nie gwarantują, ale jakoś specjalnie mi na tym nie zależy. Najważniejsze, żeby przy zmianie zachowac aktualne IP.

[TJM]

Czekam na odpowiedź Stefana Kraha na pytanie, czy ma zamiar kontynuować swój projekt.
Jeśli się poddał lub zawiesił projekt na dłuższy czas, będę musiał poważnie przemyśleć kwestię kontynuowania dalszych poszukiwań na własną rękę.
Problemy na przyszłość widzę dwa - pierwszy to dalsze finansowanie projektu, nawet po zredukowaniu kosztów może przerosnąć moje obecne (i co gorsza, przyszłe tym bardziej) możliwości finansowe.
Druga sprawa to chroniczny brak czasu. Na samo utrzymanie działającego serwera i od biedy rozwój aplikacji czasu mi starczy, ale...
Na wszystkich tekstach które zostały obecnie do złamania ktoś sobie wcześniej połamał zęby, więc trzeba by się przekopać przez przeróżne materiały i przygotować jakąś alternatywną strategię ataku lub ustalić dlaczego wcześniejszy się nie powiódł. Bez dobrego pomysłu popartego dobrą teorią ataki na ślepo mogą się zakończyć złamaniem wiadomości chyba jedynie na zasadzie 'trafiło się ślepej kurze ziarno'.
Najlepiej gdyby jeszcze mieć możliwość skonsultowania się z jakimś historykiem lub chociaż osobą obeznaną trochę w temacie, a takich póki co nie widzę zbyt wiele. Na liście mailingowej M4 kilka osób się udzielało, ale nie wiem czy dałoby ich radę ściągnąć.

[Troll81]

Smutna to dla nas wielce wiadomość.......  :o

[Akira]

http://www.enigmaathome.net/results.php?hostid=23456

Fajny numerek hosta mi się trafił ;)

[TJM]

W tym tygodniu, prawdopodobnie w okolicach weekendu serwer zostanie wyłączony na kilka do kilkunastu godzin. Muszę go rozebrać 'na atomy' i przeczyścić, bo trochę kurzu się zebrało i na dodatek wiatrak w zasilaczu chwilami rzęzi niemiłosiernie.

[TJM]

Przed momentem w akompaniamencie fajerwerków, dymu i wrażeń zapachowych poszedł do piachu UPS podtrzymujący do tej pory serwer. Drugiego nie ma i nie będzie, więc do czasu naprawy (o ile da się naprawić, na razie nie mam czasu rozbierać) pozostaje mieć nadzieję, że pady prądu nie spowodują utraty danych.

Prawa Murphyego się uaktywniły i akurat na tabeli za którą najwięcej ludzi chciałoby ewentualnie głowę urwać, ale na razie wszystko wygląda ok

[Troll81]

 :fright:

[Peciak]

Przed momentem w akompaniamencie fajerwerków, dymu i wrażeń zapachowych poszedł do piachu UPS podtrzymujący do tej pory serwer. Drugiego nie ma i nie będzie, więc do czasu naprawy (o ile da się naprawić, na razie nie mam czasu rozbierać) pozostaje mieć nadzieję, że pady prądu nie spowodują utraty danych.

Prawa Murphyego się uaktywniły i akurat na tabeli za którą najwięcej ludzi chciałoby ewentualnie głowę urwać, ale na razie wszystko wygląda ok

A wiele trzeba na taki UPS, może zrzutka u kumpli od forum?

[sesef]

A wiele trzeba na taki UPS, może zrzutka u kumpli od forum?

2 akumulatory od kamaza, falownik, prostownik i TJM by coś tam pewnie z tego sklecił.

A i jeszcze zapomniałem trafo 1:20 ale to pewnie by szlo wymontować z poprzedniego UPSa

[Machloj]

2 akumulatory od kamaza, falownik, prostownik i TJM by coś tam pewnie z tego sklecił.

A i jeszcze zapomniałem trafo 1:20 ale to pewnie by szlo wymontować z poprzedniego UPSa

e tam :) damy wam pudełko zapałek i bilet cobyś do TJMa dojechał :) razem sobie poradzicie  ;D

[Troll81]

makgajwery.....

[TJM]

Akurat na trafie wywaliło jakieś przebicie, poszła sieć na uzwojenia które używane są jako pierwotne do pracy z baterii, elektronika zniszczona - nawet płytka do kasacji, została się obudowa, można od biedy używać jako rozgałęźnik po zmostkowaniu kabla sieciowego z wyjściem %)

Trafo mam z innego UPSa którego kiedyś rozebrałem, niby miał 300W ale trafo 100-150W więc ta moc całkowita coś szemrana musiała być.

Do serwera UPS wystarcza najmniejszy jaki da się znaleźć, ważne żeby miał komunikację z PC i soft pod linuksa - wtedy jak tylko wykryje się zanik zasilania można w ciągu kilku sekund zatrzymać kluczowe procesy, zatrzymać bazę danych i po prostu czekać, nawet nie zamykając systemu; jak braknie prądu nic się nie stanie o ile akurat nic nie będzie modyfikowane - linuksowe systemy plików są bardzo odporne na różne nieprzewidziane zdarzenia, zwłaszcza te, które były projektowane jako odporne.

[TJM]

Z cyklu problemów ciąg dalszy - coś się stało z proxy projektu, apacz umarł i nie ma chęci wystartować - unable to open logs, tak jakby nie miał uprawnień albo miejsca na dysku - tymczasem wszystko niby jest ok.

[apohawk]

"unable to open logs" - mój ulubiony  XD Żeby chociaż to pisało, z którym plikiem jest problem, ale po co ?  XD
Może zrobiłeś jakieś zmiany niedawno w konfiguracji i nie reloadowałeś do tej pory ?
Może jakiś update apache'a przeorał konfigurację ?
Może zepsuł się jakiś program (update ?), do którego przez pipe'a wysyłasz logi ?
Może jakiś program blokuje któryś log ? (lsof ?)
Może coś na filesystemie się popsuło i nikt poza rootem nie może nic z jakimś plikiem zrobić ? - to przy reiserfs tak parę razy miałem, prawa dostępu były, a dostępu nie było  ;D

Przejrzeć cały config i wyłączać logi po kolei, może coś to da.
Daj znać, co to było.  ;D

[TJM]

Nic w ogóle nie robiłem, po prostu rano wyłączył się apacz i tyle. Odpalić go już nie mogłem.
Problem sam minął, ale żebym pękł nie wiem co go powodowało. Mogę jedynie przypuszczać, że coś nie tak z macierzą z której host korzysta, zgłosiłem sysadminowi problem. Na wszelki wypadek zrobiłem snapshota, chociaż żadnych danych tam i tak nie ma.

[apohawk]

"Sam się wyłączył" to mógł np. być logrotate robiący reloada na apache'u po zrotowaniu logów. Błąd w konfiguracji, reload w środku nocy przez logrotate i błąd ujawnia się dopiero w nocy ;)
Lepiej wybadaj, co to było, bo się powtórzy, Murphy zawsze ma rację ;)

[TJM]

Nie ma żadnego rotate, to jest serwer skompilowany prawie w całości ze źródeł, bez bajerów które dodają się automatycznie.
Po prostu wygląda tak, jakby w pewnym momencie dysk znikł na chwilę, po czym pojawił się na jakiś czas w trybie read only.

[apohawk]

Heh, dobre, tego jeszcze nie miałem  XD

[Troll81]

A co na to system plików?? Co ty tam masz?

[TJM]

Journalised ext3, nawet nie mogę zmienić bo jest częścią składową obrazu systemu (systemy 'instaluje' się jednym kliknięciem w panelu).

[TJM]

Hm i dziś znów to samo. Serwer po sygnale zdalnego przeładowania (zmiana IP drugiego serwera) nie wstał, znów problem z logami. Dziś akurat stało się to praktycznie na moich oczach, więc się zalogowałem w kilka minut od zdarzenia. System plików niby w porządku, żadnych komunikatów o 'read only', tymczasem apacz do logów zapisywać nie mógł już od kilku godzin - z tego co widzę ostatnie wpisy są w okolicach 7 naszego czasu i potem cisza. Pachnie problemami z dyskiem, moja maszyna go fizycznie nie posiada (jakaś sieciowa macierz), więc wysłałem ticketa. Problem pewnie sam  by się rozwiązał bo w kolejce siedzi i tak przesiadka z 'sprzętowego sprzętu' na wirtualną maszynę, ale wszystkiego na raz zrobić nie da rady.

[apohawk]

Ext3 przynajmniej się nie psuje, w przeciwieństwie do reiserfs. Ma jeszcze jedną zaletę, którą zilustruję na przykładzie reiserfs  ;D
Swego czasu zespół programistów u nas w firmie postawił sobie jakiś pseudo serwer na OpenSuse (nie pamiętam czemu, może przez Oracle'a) na reiserfs właśnie (bo lider zespołu lubiał reiserfs). Pewnego pięknego dnia zrobili update systemu, w tym kernela, zrestartowali i tyle ten system widzieli. Okazało się, że OpenSuse postanowiło przestać wspierać reiserfs i wywalili z kernela.  XD
Trzeba było zrobić partycje ext3 i system przegrać przy pomocy livecd innej dystrybucji z reiserfs w kernelu.

[TJM]

A według mnie Reiser jest właśnie bardziej odporny na błędy od ext3. Przy tym w większości zastosowań wydajność jest także dużo większa - zwłaszcza z folderami gdzie są dziesiątki, albo nawet setki tysięcy plików ReiserFS radzi sobie dużo lepiej.
Chociaż ogólna wydajność zależy też zapewne od samego kernela.

[apohawk]

Może i wydajniejszy, ale generuje błędy i chyba został porzucony, jeśli dobrze pamiętam, więc część dystrybucji przestaje go wspierać.
Może to po prostu kwiestia gustu i doświadczeń ;) Ja z reiserem miałem złe doświadczenia.

[Troll81]

MOże pora na ZFS??

[TJM]

Jak dla mnie ZFS nie ma żadnych zalet, a już w szczególności nie na kompie gdzie gdyby nie logi system plików mógłby być read only.
Jeśli już wyskakiwać ponad domyślny ext3, to tylko ReiserFS lub XFS. Teraz muszę dokładnie przemyśleć tą kwestię w świetle nadchodzącego upgrade OSu serwera, bo bez UPSa może być ciężko. Do tej pory przy awariach (głównie pady zasilacza) Reiser dawał radę.

[apohawk]

Ext3 z journalingiem też przeżyje, nie martw się.

[sesef]

Ext3 z journalingiem też przeżyje, nie martw się.

Za to kiedyś czytałem, że Reiser powoduje najmniejsza fragmentację. Serwer jednak tworzy/kasuje sporo plików.

[TJM]

Niezły bug się trafił. Validator z jakiegoś powodu ignoruje -credit_from_wu.
To znaczy, że userzy z normalnymi klientami dostali mniej punktów niż powinni, MACowcy nie dostali nic (0CPU time), cheaterzy którzy się skapnęli w porę dostali więcej (claimed = granted).
Dobrze że mam skrypt na takie okazje, najpierw naprawię validator a później skrypt wyrówna kredyty  %)

[Troll81]

eh,,,,,

[buninek]

Zauważyłem zmianę przedwczoraj. Zastanawiałem się czym podyktowana była zmiana sposobu punktacji.
Na najbardziej niesprawiedliwy i w dodatku sprzyjający wszelkiej maści oszustom.
Dla zasady nie zamierzam liczyć żadnego projektu gdzie claimed = granted.

[TJM]

Znalazło się paru kolesi z klientami żądającymi po 80-90 kredytów ale nie przewidzieli chyba jak łatwo to poprawić:

http://www.youtube.com/watch?v=2KDz9a3dw6A

W całej akcji i tak chyba z 10 razy więcej kredytów dodałem (głównie 0->21 dla MACów) niż odjąłem.

[buninek]

Trafiło mi się zadanie z serii xfedt102_0..., to pewnie jakiś rodzynek. W tym wypadku punktacja jest bardzo niedoszacowana w stosunku do WU z serii yngzo50_0.
Na moim zabytku liczyło się około 2x dłużej a przyznane punkty nie wiele większe niż w przypadku xfedt102_0.

[TJM]

W normalnych warunkach punkty są bardziej normalne, ale skryptu już mi się nie chciało edytować dla zadań których w sumie jest tylko kilkanaście tysięcy, a na raz in progress pewnie 1-2 w chwili obecnej.