Опять про бэкапы
Sep. 15th, 2014 12:44 amЯ тут писал как-то про разделение-разбиение файлов по папкам для более удобного бэкапа/синхронизации двух ноутбуков, с тех пор система несколько эволюционировала.
Я долго искал удобную утилиту бэкапа на удаленное хранилище, экспериментировал с различными сервисами (даже одно время безуспешно отлаживал поделку ребят Кима Доткома). В конце концов где-то полгода назад я остановился на проекте syncany, оупенсорсном, на джаве, после некоторой допилки .synignore которого вполне можно было бэкапить рабочие папки с горячими рабочими файлами фильтруя всякий треш типа .obj, .tmp, .opt, .ilk и прочего, чем обычно вижлстудия (и другие системы сборки) гадият в рабочих каталогах. Шифрование файлов происходит на клиенте, поддерживаются удаленные стораджи, от FTP и WebDav, до SFTP и амазоновских хранилищ. На удаленной стороне формируется нечто вроде файловой системы из динамического количества чанков определенной длины, которыми можно достаточно удобно удаленно манипулировать, обеспечивая обновление файлов без лишнего оверхеда. До отправки производится полная дедупликация и сжатие. Бонусом является хранение версий файлов, которые несколько геморройно вытаскивать, но сам факт радует. Работает оно из консоли, интерфейсом очень напоминает svn (от которого отличается наличием сравнительно простой процедуры удаления старых копий файлов из хранилища).
Короче говоря, я так жил какое-то время, само хранилище хостил у себя на VPS-ке где-то в Германии (в сжатом дедуплицированном виде получалось около 20 ГБ), но паранойя и ценовые воины за место между дропбоксом, эпплом и майкрософтом привели к мысли что пора бы это дело более надежно организовать. Готового нового решения я пока не нашел, но требования вырисовываются такие:
-- хранить одну репу syncany на удаленном своем сервере, использовать для синка между тачками (т.е. заливать-сливать может несколько машин, мастер-мастер, как сейчас). это праймари сайт, дальше идут бэкапы
-- опционально эта репа с удаленного сервера должна миррориться на проприетарный клауд-сторадж1 (мастер-слейв), на всякий случай
-- должен существовать отдельный от syncany механизм дублирования, который должен миррорить файлики на проприетарный клауд-сторадж2 и на флешку воткнутую в машину, обеспечивая шифрование (это мастер-слейв, без возможности синка с другими тачками)
Если с первыми двумя все понятно, то с третьим не совсем. Кроме как засунуть все в трукрипт-контейнер (копируя в него изменения), а его уже засунуть в уандрайв и миррорить на флешку, идей пока не нашлось.
Я долго искал удобную утилиту бэкапа на удаленное хранилище, экспериментировал с различными сервисами (даже одно время безуспешно отлаживал поделку ребят Кима Доткома). В конце концов где-то полгода назад я остановился на проекте syncany, оупенсорсном, на джаве, после некоторой допилки .synignore которого вполне можно было бэкапить рабочие папки с горячими рабочими файлами фильтруя всякий треш типа .obj, .tmp, .opt, .ilk и прочего, чем обычно вижлстудия (и другие системы сборки) гадият в рабочих каталогах. Шифрование файлов происходит на клиенте, поддерживаются удаленные стораджи, от FTP и WebDav, до SFTP и амазоновских хранилищ. На удаленной стороне формируется нечто вроде файловой системы из динамического количества чанков определенной длины, которыми можно достаточно удобно удаленно манипулировать, обеспечивая обновление файлов без лишнего оверхеда. До отправки производится полная дедупликация и сжатие. Бонусом является хранение версий файлов, которые несколько геморройно вытаскивать, но сам факт радует. Работает оно из консоли, интерфейсом очень напоминает svn (от которого отличается наличием сравнительно простой процедуры удаления старых копий файлов из хранилища).
Короче говоря, я так жил какое-то время, само хранилище хостил у себя на VPS-ке где-то в Германии (в сжатом дедуплицированном виде получалось около 20 ГБ), но паранойя и ценовые воины за место между дропбоксом, эпплом и майкрософтом привели к мысли что пора бы это дело более надежно организовать. Готового нового решения я пока не нашел, но требования вырисовываются такие:
-- хранить одну репу syncany на удаленном своем сервере, использовать для синка между тачками (т.е. заливать-сливать может несколько машин, мастер-мастер, как сейчас). это праймари сайт, дальше идут бэкапы
-- опционально эта репа с удаленного сервера должна миррориться на проприетарный клауд-сторадж1 (мастер-слейв), на всякий случай
-- должен существовать отдельный от syncany механизм дублирования, который должен миррорить файлики на проприетарный клауд-сторадж2 и на флешку воткнутую в машину, обеспечивая шифрование (это мастер-слейв, без возможности синка с другими тачками)
Если с первыми двумя все понятно, то с третьим не совсем. Кроме как засунуть все в трукрипт-контейнер (копируя в него изменения), а его уже засунуть в уандрайв и миррорить на флешку, идей пока не нашлось.