Aktualności:

Nowy polski projekt BOINC - Universe@Home

Menu główne

Open Source Backup

Zaczęty przez Troll81, 26 Luty 2010, 15:27

Troll81

Szukam jakiegoś fajnego rozwiązania do tworzenia i odtwarzania backupów

Koniecznie darmowe (najlepiej OpenSource) i do użytku komercyjnego. Czy którekolwiek z was ma doświadczenia z takimi systemami???

AiDec

Chodzi Ci o backupy OSow? Czy to ma dzialac online czy jak? Napisz cos wiecej.



Bo jest paru kumpli :),
Bo jest parę w życiu dobrych chwil...


Moja wizytowka i sygnaturka

Troll81

Bedzie docelowo stał w firmie serwer do robienia backupów :D być moze z macierzą byc może z dyskami w RAID. I tern serwerek ma robić backupy innych serwerów. Konfiguracji, systemów, baz danych itp badziewi. W razie w ma móc odtworzyć dane :D

TJM

rsync ma w tej kwestii niezłe możliwości, kiedyś nieco startowałem w tym kierunku ale nie dobrnąłem zbyt daleko - jak na moje wymagania i potrzeby zbyt skomplikowane.

W razie jakiejś pilniejszej sprawy - jestem często dostępny na kanale IRC B@P, na forum czasami zapominam zajrzeć lub nie mam czasu.

Troll81

jest bacula, amanda, zimbra.....

ma ktoś jakieś rozeznanie??

apohawk

Bacula jest zajefajna.
W robocie backupujemy tym ponad 20 serwerów, linuxy, openbsd, windows 2k3, pocztę, bazy danych postgresql, mssql, mysql, nawet oracle, ale oracle to nie moja działka. Co dusza zapragnie.
Mogę pomóc z konfiguracją baculi, jak będą niejasności.
No good deed goes unpunished.

Mchl

Ja sprawdzałem ostatnio rdiff-backup, ale coś długo trwały te jego backupy...

W nagłych wypadkach wzywać przez: mail: mchlpl[at]gmail.com | PM|mchl[a]boincatpoland.org

TJM

Z ciekawości luknąłem baculę, na linuksie wszystko ładnie pięknie, ale chciałbym docelowo robić backup na windowsową maszynę - tutaj wymiękłem %) Liczyłem na jakieś GUI, a zobaczyłem tylko konsolę.
Generalnie przed przejściem z ręcznego tworzenia kopii zapasowych na automat powstrzymuje mnie fakt, że nie wiem np. jakie są mechanizmy backupowania plików które ciągle się zmieniają, lub które są zależne jedne od drugich - gdyby np. backup złowił jeden plik bazy danych a następnie drugi o kilka sekund nowszy, jako całość może to być nic nie warte.


W razie jakiejś pilniejszej sprawy - jestem często dostępny na kanale IRC B@P, na forum czasami zapominam zajrzeć lub nie mam czasu.

apohawk

Na windowsie jest póki co tylko file daemon baculi. Czyli pliki z windowsa backupujesz na storage'u linuksowym.

@TJM
Zmieniające się pliki są backupowane jak leci. ALE: bacula może wywoływać polecenia lub skrypty przed rozpoczęciem backupu i po zakończeniu backupu, tak więc możesz zrobić, co zechcesz. Np. "przed" dump bazy do pliku, backup robi się tylko dumpa, a "po" kasujesz plik dumpa.
Nie wiem, na co ciekawszego pozwala mysql, więc podam przykład backupu baz postgresa na podstawie "continues archiving" (http://www.postgresql.org/docs/8.4/static/continuous-archiving.html).
pg_start_backup() robi checkpointa i powstrzymuje nowe instrukcje przed zapisem do plików bazy, zamiast tego zmiany zapisywane są w Write-Ahead Logach. Nie dość, że masz pliki bazy w stanie spójnym, co do czasu, to jeszcze co do transakcji. Odtwarzając taki backup, masz spójne pliki klastra ze stanem z momentu zakończenia się komendy pg_start_backup(). pg_stop_backup() pozwala zapisywać w bazie ponownie do filesystemu.
Mamy 10GB bazę i czas pomiędzy pg_start_backup a pg_stop_backup, to ok. 10 minut. Jak dokładniej robimy ten backup, to napiszę jeśli będziesz mieć dużą bazę postgresa do backupowania.

Podsumowując, wszystkie komendy które wywołujesz podczas ręcznych backupów, możesz wrzucić w skrypty "przed", "po", itp., a bacula automatycznie zrobi to za Ciebie.

Chętnie służę pomocą przy konfiguracji, dylematach i innych pytaniach o baculę.

P.S. GUI jest dla mięczaków  :P
No good deed goes unpunished.

TJM

No to u mnie już bacula odpada, bo docelową maszyną musi być Windows. Tu mam po prostu łatwiej z wymiennymi dyskami.
Poza tym do backupowania bazy danych nie mogę sobie pozwolić na skrypty start/stop - pełny backup trwa około godziny, czasami dłużej. Trzeba skopiować dziesiątki GB danych. Ponadto samo zatrzymanie i ponowny rozruch wszystkiego też nie jest błyskawiczne.

W razie jakiejś pilniejszej sprawy - jestem często dostępny na kanale IRC B@P, na forum czasami zapominam zajrzeć lub nie mam czasu.

Tomasz R. Gwiazda

panowie, a moze ktos zna cos Open na tyle dobrego co i Novella obskoczy .
Bo wiekszosc softu (najwieksza ilosc) to tylko WIn trzepie :)

apohawk

Lista OSów obsługiwanych przez Baculę:
http://bacula.org/en/dev-manual/Supported_Operating_Systems.html

@TJM:
Nie wiem jak z MySQLem, ale ten przykład z Postgresem właśnie polega na tym, że baza jest cały czas dostępna. Znaczy, zakładam, że masz problem z MySQLem, bo jak ktoś ma problem z bazą danych to zazwyczaj jest to MySQL albo Oracle XP
Właśnie próbowałem coś znaleźć w dokumentacji MySQLa, bajzel :P Mają chyba coś podobnego, do tego co opisywałem, http://dev.mysql.com/doc/refman/5.1/en/point-in-time-recovery.html Jakieś checkpointy też robią. Poszukaj mechanizmu w bazie, a nie w sofcie do backupów, bo z pustego to i Salomon nie naleje.
No chyba żebyś robił snapshot LVMem, albo coś w ten deseń, ale jeśli nie da się zrobić porządnego backupu bazy bez wyłączania lub blokowanie (jak w dumpie bazy), to oficjalnie uznaję taką bazę za syf :P
No good deed goes unpunished.

Tomasz R. Gwiazda

co do backupu baz sql to chyba nie glupia jest opcja zeby baza sama robila zrzut do pliku a potem sie backup tego pliku robi.

TJM

Jasne że da się robić backup w czasie rzeczywistym. Najprościej użyć drugiego serwera bazy danych w trybie Replication Slave, co więcej - może on też być wykorzystywany normalnie do read-only zapytań, ale wtedy wyklucza to automatycznie zastosowanie złomowatej maszyny (lub drugiego serwera na tej samej) - utrata wydajności.
Problem w tym, że ciężko mi znaleźć rozwiązanie które umożliwi kopiowanie plików 'na bezczelnego' - co trwa 10 razy krócej niż backup poprzez zrzut tabel. Nie mogę dopuścić do sytuacji, żeby jedna tabela była starsza lub nowsza od innych, lub co jeszcze gorsze - żeby zmieniła się w trakcie kopiowania.

W razie jakiejś pilniejszej sprawy - jestem często dostępny na kanale IRC B@P, na forum czasami zapominam zajrzeć lub nie mam czasu.

apohawk

Tomasz, taki dump sqlowy jest powolny i jeszcze robi locki na tabelach przed zapisem, z tego co pamiętam, a to tyle samo, co "nie działa" dla użytkowników. Spoko jak baza ma 50MB i zrzut trwa max. minutę. Tak do gigabajta, to może można się tak bawić. Jak więcej to chyba czas rozważyć alternatywy.

TJM, dlatego zastanawiam się jaka to baza, pewnie MySQL. W postgresie jest gotowe rozwiązanie dla takiego kopiowania "na bezczelnego", tak jak opisałem powyżej.
No good deed goes unpunished.

TJM

#15
Oczywiście MySQL, alternatyw nie ma - serwer BOINC, nic innego nie obsługuje lub obsługuje z kombinacjami 'jak koń pod górkę'.
Na nieobciążonej bazie zwykły zrzut wszystkich tabel po LANie nawet szybko leci, tabela na czas zrzutu jest lockowana ale ze względu na krótki czas operacji da się to przełknąć. Niestety przed zrzutem najlepiej zatrzymać wszystkie daemony - co prawda nic strasznego się w razie czego nie stanie, ale przy ewentualnym odtwarzaniu backupu zrobionego z pracującymi daemonami pozostaną w bazie wpisy-duchy rezultatów bez swoich WU, może nawet część błędnie zostanie wysłana jeszcze raz itp.

W razie jakiejś pilniejszej sprawy - jestem często dostępny na kanale IRC B@P, na forum czasami zapominam zajrzeć lub nie mam czasu.

Tomasz R. Gwiazda

hmm nie wiem czy rozwiazaniem na to nie sa magiczne slowa, mirror baz i logshipping

buninek

DRBD - RAID1 przez sieć w czasie rzeczywistym. W przypadku rozłączenia, synchronizują się tylko zmiany.
Nie wiem jak to wygląda w Debianowych kernelach w PLD jest to od dawna.
Od kerneli 2.6.33 wchodzi do gałęzi głównej.

TJM

Między kompami też da radę, od paru wersji jest LAN Sync.
Nadal jednak pliki wysyłane są na serwer, więc limit 3GB obowiązuje (wystarczy questa zrobić i zaprosić 3 osoby żeby mieć +1GB).
Synchronizować można nawet wszystkie dyski - przydają się dodatkowe programy do zmiany domyślnego dropbox patha i ewentualnie Junction do symbolicznych linków pod Win.

W razie jakiejś pilniejszej sprawy - jestem często dostępny na kanale IRC B@P, na forum czasami zapominam zajrzeć lub nie mam czasu.

Troll81

#19
SugarSync?

http://www.addictivetips.com/windows-tips/shoot-out-dropbox-vs-sugarsync/

Machloj

chciałbym zrobić backup wszystkich moich ważnych plików (zdjęcia, filmy dokumenty - w sumie około 30gb) - a że mam 3 kompy non stop podłączone do sieci to myślę to taki sposób backupu będzie dla mnie wystarczająco bezpieczny ;)

w ostateczności może znacie jakiś program który by nawet nie synchronizował, a dogrywał pliki do kilku folderów rozsianych po internecie?

TJM

Moim zdaniem jeśli masz dość kasy, wykup sobie dropboxa w wersji 50GB. Sam tak zrobiłem, wychodzi taniej niż kombinowanie z płytami. Oprócz tego korzystam z paru kont po 3GB pod shared foldery itp bajery.
A jak dysk pi*****nie odzyskanie danych ograniczone jest prędkością łącza. No i ta wygoda, że swoje dane możesz przeglądać wszędzie.

W razie jakiejś pilniejszej sprawy - jestem często dostępny na kanale IRC B@P, na forum czasami zapominam zajrzeć lub nie mam czasu.

buninek

Cytat: TJM w 28 Luty 2010, 15:55
Oczywiście MySQL, alternatyw nie ma - serwer BOINC, nic innego nie obsługuje lub obsługuje z kombinacjami 'jak koń pod górkę'.
Na nieobciążonej bazie zwykły zrzut wszystkich tabel po LANie nawet szybko leci, tabela na czas zrzutu jest lockowana ale ze względu na krótki czas operacji da się to przełknąć. Niestety przed zrzutem najlepiej zatrzymać wszystkie daemony - co prawda nic strasznego się w razie czego nie stanie, ale przy ewentualnym odtwarzaniu backupu zrobionego z pracującymi daemonami pozostaną w bazie wpisy-duchy rezultatów bez swoich WU, może nawet część błędnie zostanie wysłana jeszcze raz itp.

Bardzo fajne narzędzie do tworzenia migawek z których mamy możliwość robienia bezpiecznych i całkowicie jednolitych backupów na systemach pracujących on-line.
http://www.r1soft.com/tools/linux-hot-copy/

tu kilka przykładowych zastosowań
http://www.r1soft.com/tools/linux-hot-copy/hcp-tips/

Snapshoty robione są błyskawicznie. Na baaardzo starej maszynie ok 1-2s na 5GB danych.
Możemy bezpiecznie bawić się na takiej migawce do woli, ups do restartu. ;)

Minusy, nie jest to wolne oprogramowanie. Sposób instalacji  o ile nie ma już zbudowanego modułu do naszego jajka, instalator pakuje źródła, pliki nagłowkow i config kernela wysyła na serwer i przysyła gotowy moduł.