Open Source Backup

[Troll81]

Szukam jakiegoś fajnego rozwiązania do tworzenia i odtwarzania backupów

Koniecznie darmowe (najlepiej OpenSource) i do użytku komercyjnego. Czy którekolwiek z was ma doświadczenia z takimi systemami???

[AiDec]

Chodzi Ci o backupy OSow? Czy to ma dzialac online czy jak? Napisz cos wiecej.

[Troll81]

Bedzie docelowo stał w firmie serwer do robienia backupów :D być moze z macierzą byc może z dyskami w RAID. I tern serwerek ma robić backupy innych serwerów. Konfiguracji, systemów, baz danych itp badziewi. W razie w ma móc odtworzyć dane :D

[TJM]

rsync ma w tej kwestii niezłe możliwości, kiedyś nieco startowałem w tym kierunku ale nie dobrnąłem zbyt daleko - jak na moje wymagania i potrzeby zbyt skomplikowane.

[Troll81]

jest bacula, amanda, zimbra.....

ma ktoś jakieś rozeznanie??

[apohawk]

Bacula jest zajefajna.
W robocie backupujemy tym ponad 20 serwerów, linuxy, openbsd, windows 2k3, pocztę, bazy danych postgresql, mssql, mysql, nawet oracle, ale oracle to nie moja działka. Co dusza zapragnie.
Mogę pomóc z konfiguracją baculi, jak będą niejasności.

[Mchl]

Ja sprawdzałem ostatnio rdiff-backup, ale coś długo trwały te jego backupy...

[TJM]

Z ciekawości luknąłem baculę, na linuksie wszystko ładnie pięknie, ale chciałbym docelowo robić backup na windowsową maszynę - tutaj wymiękłem %) Liczyłem na jakieś GUI, a zobaczyłem tylko konsolę.
Generalnie przed przejściem z ręcznego tworzenia kopii zapasowych na automat powstrzymuje mnie fakt, że nie wiem np. jakie są mechanizmy backupowania plików które ciągle się zmieniają, lub które są zależne jedne od drugich - gdyby np. backup złowił jeden plik bazy danych a następnie drugi o kilka sekund nowszy, jako całość może to być nic nie warte.

[apohawk]

Na windowsie jest póki co tylko file daemon baculi. Czyli pliki z windowsa backupujesz na storage'u linuksowym.

@TJM
Zmieniające się pliki są backupowane jak leci. ALE: bacula może wywoływać polecenia lub skrypty przed rozpoczęciem backupu i po zakończeniu backupu, tak więc możesz zrobić, co zechcesz. Np. "przed" dump bazy do pliku, backup robi się tylko dumpa, a "po" kasujesz plik dumpa.
Nie wiem, na co ciekawszego pozwala mysql, więc podam przykład backupu baz postgresa na podstawie "continues archiving" (http://www.postgresql.org/docs/8.4/static/continuous-archiving.html).
pg_start_backup() robi checkpointa i powstrzymuje nowe instrukcje przed zapisem do plików bazy, zamiast tego zmiany zapisywane są w Write-Ahead Logach. Nie dość, że masz pliki bazy w stanie spójnym, co do czasu, to jeszcze co do transakcji. Odtwarzając taki backup, masz spójne pliki klastra ze stanem z momentu zakończenia się komendy pg_start_backup(). pg_stop_backup() pozwala zapisywać w bazie ponownie do filesystemu.
Mamy 10GB bazę i czas pomiędzy pg_start_backup a pg_stop_backup, to ok. 10 minut. Jak dokładniej robimy ten backup, to napiszę jeśli będziesz mieć dużą bazę postgresa do backupowania.

Podsumowując, wszystkie komendy które wywołujesz podczas ręcznych backupów, możesz wrzucić w skrypty "przed", "po", itp., a bacula automatycznie zrobi to za Ciebie.

Chętnie służę pomocą przy konfiguracji, dylematach i innych pytaniach o baculę.

P.S. GUI jest dla mięczaków  :P

[TJM]

No to u mnie już bacula odpada, bo docelową maszyną musi być Windows. Tu mam po prostu łatwiej z wymiennymi dyskami.
Poza tym do backupowania bazy danych nie mogę sobie pozwolić na skrypty start/stop - pełny backup trwa około godziny, czasami dłużej. Trzeba skopiować dziesiątki GB danych. Ponadto samo zatrzymanie i ponowny rozruch wszystkiego też nie jest błyskawiczne.

[Tomasz R. Gwiazda]

panowie, a moze ktos zna cos Open na tyle dobrego co i Novella obskoczy .
Bo wiekszosc softu (najwieksza ilosc) to tylko WIn trzepie :)

[apohawk]

Lista OSów obsługiwanych przez Baculę:
http://bacula.org/en/dev-manual/Supported_Operating_Systems.html

@TJM:
Nie wiem jak z MySQLem, ale ten przykład z Postgresem właśnie polega na tym, że baza jest cały czas dostępna. Znaczy, zakładam, że masz problem z MySQLem, bo jak ktoś ma problem z bazą danych to zazwyczaj jest to MySQL albo Oracle XP
Właśnie próbowałem coś znaleźć w dokumentacji MySQLa, bajzel :P Mają chyba coś podobnego, do tego co opisywałem, http://dev.mysql.com/doc/refman/5.1/en/point-in-time-recovery.html Jakieś checkpointy też robią. Poszukaj mechanizmu w bazie, a nie w sofcie do backupów, bo z pustego to i Salomon nie naleje.
No chyba żebyś robił snapshot LVMem, albo coś w ten deseń, ale jeśli nie da się zrobić porządnego backupu bazy bez wyłączania lub blokowanie (jak w dumpie bazy), to oficjalnie uznaję taką bazę za syf :P

[Tomasz R. Gwiazda]

co do backupu baz sql to chyba nie glupia jest opcja zeby baza sama robila zrzut do pliku a potem sie backup tego pliku robi.

[TJM]

Jasne że da się robić backup w czasie rzeczywistym. Najprościej użyć drugiego serwera bazy danych w trybie Replication Slave, co więcej - może on też być wykorzystywany normalnie do read-only zapytań, ale wtedy wyklucza to automatycznie zastosowanie złomowatej maszyny (lub drugiego serwera na tej samej) - utrata wydajności.
Problem w tym, że ciężko mi znaleźć rozwiązanie które umożliwi kopiowanie plików 'na bezczelnego' - co trwa 10 razy krócej niż backup poprzez zrzut tabel. Nie mogę dopuścić do sytuacji, żeby jedna tabela była starsza lub nowsza od innych, lub co jeszcze gorsze - żeby zmieniła się w trakcie kopiowania.

[apohawk]

Tomasz, taki dump sqlowy jest powolny i jeszcze robi locki na tabelach przed zapisem, z tego co pamiętam, a to tyle samo, co "nie działa" dla użytkowników. Spoko jak baza ma 50MB i zrzut trwa max. minutę. Tak do gigabajta, to może można się tak bawić. Jak więcej to chyba czas rozważyć alternatywy.

TJM, dlatego zastanawiam się jaka to baza, pewnie MySQL. W postgresie jest gotowe rozwiązanie dla takiego kopiowania "na bezczelnego", tak jak opisałem powyżej.

[TJM]

Oczywiście MySQL, alternatyw nie ma - serwer BOINC, nic innego nie obsługuje lub obsługuje z kombinacjami 'jak koń pod górkę'.
Na nieobciążonej bazie zwykły zrzut wszystkich tabel po LANie nawet szybko leci, tabela na czas zrzutu jest lockowana ale ze względu na krótki czas operacji da się to przełknąć. Niestety przed zrzutem najlepiej zatrzymać wszystkie daemony - co prawda nic strasznego się w razie czego nie stanie, ale przy ewentualnym odtwarzaniu backupu zrobionego z pracującymi daemonami pozostaną w bazie wpisy-duchy rezultatów bez swoich WU, może nawet część błędnie zostanie wysłana jeszcze raz itp.

[Tomasz R. Gwiazda]

hmm nie wiem czy rozwiazaniem na to nie sa magiczne slowa, mirror baz i logshipping

[buninek]

DRBD - RAID1 przez sieć w czasie rzeczywistym. W przypadku rozłączenia, synchronizują się tylko zmiany.
Nie wiem jak to wygląda w Debianowych kernelach w PLD jest to od dawna.
Od kerneli 2.6.33 wchodzi do gałęzi głównej.

[TJM]

Między kompami też da radę, od paru wersji jest LAN Sync.
Nadal jednak pliki wysyłane są na serwer, więc limit 3GB obowiązuje (wystarczy questa zrobić i zaprosić 3 osoby żeby mieć +1GB).
Synchronizować można nawet wszystkie dyski - przydają się dodatkowe programy do zmiany domyślnego dropbox patha i ewentualnie Junction do symbolicznych linków pod Win.

[Troll81]

SugarSync?

Kod [Zaznacz] Rozwiń

http://www.addictivetips.com/windows-tips/shoot-out-dropbox-vs-sugarsync/

[Machloj]

chciałbym zrobić backup wszystkich moich ważnych plików (zdjęcia, filmy dokumenty - w sumie około 30gb) - a że mam 3 kompy non stop podłączone do sieci to myślę to taki sposób backupu będzie dla mnie wystarczająco bezpieczny ;)

w ostateczności może znacie jakiś program który by nawet nie synchronizował, a dogrywał pliki do kilku folderów rozsianych po internecie?

[TJM]

Moim zdaniem jeśli masz dość kasy, wykup sobie dropboxa w wersji 50GB. Sam tak zrobiłem, wychodzi taniej niż kombinowanie z płytami. Oprócz tego korzystam z paru kont po 3GB pod shared foldery itp bajery.
A jak dysk pi*****nie odzyskanie danych ograniczone jest prędkością łącza. No i ta wygoda, że swoje dane możesz przeglądać wszędzie.

[buninek]

Oczywiście MySQL, alternatyw nie ma - serwer BOINC, nic innego nie obsługuje lub obsługuje z kombinacjami 'jak koń pod górkę'.
Na nieobciążonej bazie zwykły zrzut wszystkich tabel po LANie nawet szybko leci, tabela na czas zrzutu jest lockowana ale ze względu na krótki czas operacji da się to przełknąć. Niestety przed zrzutem najlepiej zatrzymać wszystkie daemony - co prawda nic strasznego się w razie czego nie stanie, ale przy ewentualnym odtwarzaniu backupu zrobionego z pracującymi daemonami pozostaną w bazie wpisy-duchy rezultatów bez swoich WU, może nawet część błędnie zostanie wysłana jeszcze raz itp.

Bardzo fajne narzędzie do tworzenia migawek z których mamy możliwość robienia bezpiecznych i całkowicie jednolitych backupów na systemach pracujących on-line.
http://www.r1soft.com/tools/linux-hot-copy/

tu kilka przykładowych zastosowań
http://www.r1soft.com/tools/linux-hot-copy/hcp-tips/

Snapshoty robione są błyskawicznie. Na baaardzo starej maszynie ok 1-2s na 5GB danych.
Możemy bezpiecznie bawić się na takiej migawce do woli, ups do restartu. ;)

Minusy, nie jest to wolne oprogramowanie. Sposób instalacji  o ile nie ma już zbudowanego modułu do naszego jajka, instalator pakuje źródła, pliki nagłowkow i config kernela wysyła na serwer i przysyła gotowy moduł.