Резервное копирование файлового сервера и резервное копирование NAS

Время резервного копирования

Для того чтобы правильно планировать резервное копирование, необходимо рассчитать два показателя: RPO и RTO.

RPO (recovery point objective) – это максимальный период времени, за который могут быть потеряны данные в результате аварии. Например, у нас есть информационная система, и если произойдет авария, и мы готовы ее восстановить за один час. Это значит, что за этот час новые данные не будут поступать в нашу информационную систему, и RPO равняется часу. Эти данные невозможно восстановить из резервной копии, потому что они не поступали в информационную систему. Показатель RPO  говорит нам, как часто делать резервные копии нашей системы. На основании RPO мы можем выбрать нужную систему резервного копирования и какие технологии применять, чтобы вписаться в этот промежуток времени. Можно ли свести его к нулю? Можно, если использовать два хранилища, которые работают зеркально.

RTO (recovery time objective) – это промежуток времени, в течение которого система может оставаться недоступной в случае аварии. Например, в серверной произошла авария, и мы хотим, чтобы система была снова доступна через час. Это и есть значение RTO. Мы должны создать такой план аварийного восстановления, чтобы за этот час восстановить работоспособность информационной системы на резервном оборудовании или площадки.

Мало рассчитать это время, еще необходимо убедиться в том, что и система резервного копирования, и план аварийного восстановления позволяют достигнуть этих значений. То есть необходимо произвести тестовое восстановление на копии реальных данных.

Дифференциальное копирование

Дифференциальное создание резервной копии – это копирование только тех файлов, которые были изменены с момента последнего полного копирования. Это позволяет уменьшить объем данных на резервном носителе и при необходимости ускорить процесс восстановления данных. Так как дифференциальное копирование обычно производится гораздо чаще, чем полное, оно очень эффективно, так как позволяет восстанавливать те данные, которые подвергались изменению совсем недавно, и отслеживать изменения файлов с момента полного копирования.

Снэпшоты в виртуальных машинах

Виртуальная машина – это файл. Такой файл содержит описание конфигурации виртуальной машины на языке, понятной гипервизору, а также содержимое виртуального жесткого диска, памяти и регистров процессора.  Таким образом, с виртуальными машинами можно обходиться точно также, как и с обычными файлами – делать их копии, или создавать с них снимки. Как только создается снимок виртуальной машины, то на диск будет записана копия этого файла. Все, что в виртуальной машине будет изменяться, будет записываться в другой файл. Дальнейшая работа виртуальной машины ведет к модификации этого файла с изменений. В любой момент можно создать новый снимок виртуальной машины, тогда будет создан еще один файл, содержащий изменения. Можно также вернуться назад, на один из сделанных файлов изменений.

• Снэпшоты сохраняются рядом с виртуальными дисками, на основе которых создаются снимки.
• Снэпшоты быстро растут и могут превысить размер исходных виртуальных дисков, особенно быстро это проихсходит на высоконагруженных серверах и серверах баз данных.
• Файлы снэпштотов всегда резервируются динамически, а это негативно отражается на общей производительности, особенно в случае высоконагруженных систем.
• Несмотря на то, что теоретически можно создать цепочки из 32 снимков для одной виртуальной машины, не рекомендуется создавать более трех снэпшотов для сохранения производительности и стабильности работы виртуальной машины.
• Продолжительность жизни одного снимка не должен превышать 72-х часов. В противном случае, его размер станет очень большой, а виртуальная машина будет работать очень медленно.

Такие гипервизоры, как Hyper-V или Wmware vSphere содержат встроенные средства создания снэпшотов. Использование СХД для размещения виртуальных машин и их снэпшотов позволяет снизить влияние снимков на производительность виртуальных машин, благодаря особенному устройству дисковых массивов.

Если вы используете виртуальные машины, размещенные в облаке провайдера, то для создания снимков необходимо в панели управления ввести имя снэпшота, и нажать на кнопку «Сделать снимок».

Файловые службы

В современных версиях Windows перезапись или удаление файла можно откатить благодаря наличию теневой копии.

В теневых копиях (VSS) содержатся записи об изменениях файлов. Копии делаются автоматически каждый час – по умолчанию Windows хранит 64 копии файла. Использовать копии можно без прав администратору.

Вот важные особенности теневых копий:

• Под теневое копирование выделяется 10% емкости раздела, это значение можно изменить.
• Теневое копирование включается для тома целиком, и включить его для отдельного каталога нельзя.
• Microsoft не рекомендует создавать снимки чаще, чем раз в час.
• По умолчанию максимально хранимых снимков для диска – 64. При превышении этого значения служба VSS начинает циклическую перезапись теневых копий и удаляет самые ранние снимки.

В UNIX-системах можно использовать файловую систему ZFS, которая предоставляет широкие возможности по созданию и управлению снимками файловой системы.

Снимки могут быть сделаны одноразовыми или запланированными как задание cron. В любой момент вся файловая система может быть отброшена до последнего моментального снимка. Старые снимки могут быть клонированы и доступны для восстановления данных из этой версии файловой системы.

Handy Backup

Поддерживаемые СУБД:Oracle, MySQL, IBM DB2 (7–9.5) и MS SQL Server

Одна из самых мощных систем управления реляционными базами данных — IBM DB2, имеющая уникальные функции по масштабированию и поддерживающая множество платформ. Поставляется в нескольких редакциях, которые построены на одной базе и отличаются функционально. Архитектура баз данных DB2 позволяет управлять практически всеми типами данных: документами, XML, медиафайлами и так далее. Особо популярна бесплатная DB2 Express-C. Бэкап очень прост:

db2 backup db sample

Или снапшот, использующий функцию Advanced Copy Services (ACS):

db2 backup db sample use snapshot

Но нужно помнить, что в случае снимков мы не можем восстанавливать (db2 recover db) отдельные таблицы. Есть и возможности по автоматическому бэкапу, и многое другое. Продукты хорошо документированы, хотя в русскоязычном интернете руководства встречаются редко. Также далеко не во всех специальных решениях можно найти поддержку DB2.

Например, Handy Backup позволяет выполнять бэкап нескольких типов серверов баз данных и сохранять файлы практически на любой носитель (жесткий диск, CD/DVD, облачное и сетевое хранилище, FTP/S, WebDAV и другие). Возможен бэкап баз данных через ODBC (только таблицы). Это одно из немногих решений, поддерживающих DB2, и к тому же имеет логотип «Ready for IBM DB2 Data Server Software». Вся процедура выполняется при помощи обычного мастера, в котором необходимо лишь выбрать нужный пункт и сформировать задачу. Сам процесс настройки настолько прост, что разобраться сможет и новичок. Можно создать несколько заданий, которые будут запускаться по расписанию. Результат фиксируется в журнале и отправляется по email. Во время работы задания остановка сервиса не требуется. Архив автоматически сжимается и шифруется, что гарантирует его безопасность.

Работа мастера создания нового задания в Handy Backup

Работу с DB2 поддерживают две версии Handy Backup — Office Expert (локальный) и Server Network (сетевой). Работает на компьютерах под управлением Win8/7/Vista/XP или 2012/2008/2003. Сам процесс развертывания несложен для любого админа.

Бесплатные и платные программы резервного копирования

Существует множество бесплатных и платных программ резервного копирования, которые можно легко найти в интернете. Большинство из них копируют файлы и каталоги, некоторые из них позволяют произвести резервное копирование виртуальных машин и осуществить посекторное копирование носителей.

Главное – это перед использованием на реальных данных проверить на тестовой копии тех же самых данных. Кроме того, необходимо проверить можно или восстановить данные из архива.

Виды бэкапов баз данных

Для начала разберемся с тем, какие вообще бывают бэкапы. Сервер баз данных не является обычным десктопным приложением, и, чтобы обеспечить выполнение всех свойств ACID (Atomic, Consistency, Isolated, Durable), используется ряд технологий, а поэтому создание и восстановление БД из архива имеет свои особенности. Существуют три различных подхода к резервному копированию данных, каждый из которых имеет свои плюсы и минусы.

При логическом, или SQL, бэкапе (pg_dump, mysqldump, SQLCMD) создается мгновенный снимок содержимого базы с учетом транзакционной целостности и сохраняется в виде файла с SQL-командами (можно выбрать всю базу или отдельные таблицы), при помощи которого можно воссоздать базу данных на другом сервере. На это требуется время (особенно для больших баз) для сохранения и восстановления, поэтому очень часто эту операцию выполнять нельзя и ее производят во время минимальной нагрузки (например, ночью). При восстановлении администратору необходимо будет выполнить несколько команд, чтобы подготовить все необходимое (создать пустую базу данных, учетные записи и прочее).

Физический бэкап (уровня файловой системы) — копирование файлов, которые СУБД использует для хранения данных в базе данных. Но при простом копировании игнорируются блокировки и транзакции, которые, скорее всего, будут неправильно сохранены и нарушены. При попытке присоединить этот файл он будет в несогласованном состоянии и приведет к ошибкам. Чтобы получить актуальный бэкап, базу данных нужно остановить (можно уменьшить время простоя, использовав два раза rsync — вначале на работающей, потом на остановленной). Недостаток этого метода очевиден — нельзя восстановить определенные данные, только всю базу данных. При старте БД, восстановленной из архива файловой системы, нужно будет провести проверку на целостность. Здесь используются разные вспомогательные технологии. Например, в PostgreSQL логи упреждающей журнализации WAL (Write Ahead Logs) и специальная функция (Point in Time Recovery — PITR), позволяющая вернуться к определенному состоянию базы. С их помощью легко реализуется третий сценарий, когда бэкап уровня файловой системы объединяется с резервной копией WAL-файлов. Вначале восстанавливаем файлы резервной копии файловой системы, а затем при помощи WAL база приводится к актуальному состоянию. Это чуть более сложный подход для администрирования, но зато нет проблем с целостностью БД и восстановлением баз до определенного времени.

Логический бэкап используется в тех случаях, когда необходимо одноразово сделать полную копию базы или в повседневной эксплуатации для создания копии не потребуется много времени или места. Когда же выгрузка баз занимает много времени, следует обратить внимание на физическое архивирование.

Возможности UrBackup

UrBackup — простая в использовании клиент-серверная система резервного копирования, работающая под управлением Windows и Linux. Распространяется по условиям GPLv3. Позволяет создавать инкрементные и полные резервные копии как целых разделов, так и отдельных каталогов, с возможностью выбора файлов, которые попадут в архив, и делать снапшоты разделов жесткого диска (только для Win). Клиенты могут находиться в локальной сети или подключаться к серверу через интернет. Это удобно для резервирования данных, находящихся на ноутбуках мобильных сотрудников. Для ускорения резервирования клиент UrBackup постоянно отслеживает изменения в каталогах, позволяя быстро найти отличия от предыдущих резервных копий. В итоге сохраняются только новые изменения файлов. Если изменений нет, сервер получает сообщение об их отсутствии.

Поддерживается резервирование открытых файлов, в определенный момент просто снимается образ. Реализована дедупликация на уровне файлов, когда одинаковый файл, полученный с нескольких клиентов, сохраняется один раз, это экономит место на сервере. Если файловая система на сервере поддерживает дедупликацию на уровне блоков, это также будет дополнительным плюсом. Соединение между сервером и клиентом шифруется. Аутентификация производится по оригинальному идентификатору сервера и пары ключей. Локализованный веб-интерфейс упрощает настройку заданий резервного копирования и восстановления данных, позволяет легко оценить свободное место на диске, смотреть статистику, проверять состояние клиентов и журналов. Отчеты о резервных копиях можно отправлять по email пользователям или администраторам.

Клиенты также могут настраиваться при помощи пользовательского интерфейса, хотя этот способ скорее дополнительный и большинство собранных пакетов изначально не поддерживают GUI. Есть возможность управлять настройками сервера нескольким администраторам. Кроме того, менять установки конкретной клиентской системы через веб-интерфейс могут пользователи. Для этого на сервере создается учетная запись, в пункте «Права» которой выбирается подключенный ПК.

Файлы могут быть восстановлены при помощи веб-интерфейса или Windows Explorer, bare metal восстановление из образов дисков доступно при помощи загрузочного компакт-диска или USB-накопителя. Снапшот раздела диска хранится одним VHD- или VHDZ-файлом, такой файл можно подключить в качестве виртуального диска в Win 7+ и извлечь данные. При сборке сервера с —with-mountvhd можно монтировать такие образы и в Linux:

$ start_urbackup_server —mountvhd /path/to/image.vhdz —mountpoint /media/image

Есть и ограничения. При резервном копировании не поддерживается Windows и POSIX ACL, альтернативные потоки данных, а также не учитываются разрешения. Для снятия снапшота разделы должны быть первичными, динамические тома не поддерживаются (зеркальные динамические тома работают).

Серверная часть пойдет в Windows, Linux и FreeBSD. Для установки в Red Hat, CentOS, Fedora, Arch Linux, Debian и Ubuntu предлагаются пакеты. Остальным придется использовать исходные тексты. В некоторых дистрибутивах для организации сервера NAS (FreeNAS, QNAP NAS, Thecus NAS) есть пакет/плагин для установки серверной части UrBackup. В зависимости от выбранной ОС и файловой системы возможны ограничения. Например, сжатие будет работать на NTFS, ReiserFS (обычно требует пересборки ядра) и в ZFS. Дедупликация поддерживается только в ZFS и Btrfs. Бэкап хранится одним VHD- или VHDZ-файлом, поэтому файловая система сервера должна поддерживать большие файлы.

Клиентская часть доступна для Windows и Linux. Пакеты есть для Red Hat, CentOS, Fedora, Arch Linux. Клиенты на BSD-системах официально не поддерживаются, и работать с ними UrBackup не будет.

В Google Play есть пакет для Android, с его помощью ты можешь получить доступ к своим файлам на сервере.

Barman

Лицензия: GNU GPL

Поддерживаемые СУБД: PostgreSQL

PostgreSQL поддерживает возможности физического и логического бэкапа, добавляя к ним еще один уровень WAL (см. врезку), который можно назвать непрерывным копированием. Но управлять при помощи штатных инструментов несколькими серверами не очень удобно даже админу со стажем, а в случае сбоя счет идет на секунды.

Barman (backup and recovery manager) — внутренняя разработка компании 2ndQuadrant, предоставляющей услуги на базе PostgreSQL. Предназначен для физического бэкапа PostgreSQL (логический не поддерживает), архивирования WAL и быстрого восстановления после сбоев. Поддерживаются удаленный бэкап и восстановление нескольких серверов, функции point-in-time-recovery (PITR), управление WAL. Для копирования и подачи команд на удаленный узел используется SSH, синхронизация и бэкап при помощи rsync позволяет сократить трафик. Также Barman интегрируется со стандартными утилитами bzip2, gzip, tar и подобными. В принципе, можно использовать любую программу сжатия и архивирования, интеграция не займет много времени. Реализованы различные сервисные и диагностические функции, позволяющие контролировать состояние сервисов и регулировать полосу пропускания. Поддерживаются Pre/Post-скрипты.

Конфигурационный файл Barman

Barman написан на Python, управление политиками резервного копирования производится при помощи понятного INI-файла barman.conf, который может находиться в /etc или домашнем каталоге пользователя. В поставке идет готовый шаблон с подробными комментариями внутри. Работает только на *nix-системах. Для установки в RHEL, CentOS и Scientific Linux следует подключить EPEL — репозиторий, в котором содержатся дополнительные пакеты. В распоряжении пользователей Debian/Ubuntu официальный репозиторий:

$ sudo apt-get install barman

В репозитории не всегда последняя версия, для ее установки придется обратиться к исходным текстам. Зависимостей немного, и разобраться в процессе несложно.

Виды резервного копирования

Существует несколько видов резервного копирования.

Sypex Dumper

Поддерживаемые СУБД: MySQL

Вместе с MySQL поставляются утилиты mysqldump, mysqlhotcopy, позволяющие легко создать дамп базы данных, они хорошо документированы, и в интернете можно найти большое количество готовых примеров и фронтендов. Последние позволяют новичку быстро приступить к работе. Sypex Dumper представляет собой PHP-скрипт, позволяющий легко создать и восстановить копию базы данных MySQL. Создавался для работы с большими базами данных, работает очень быстро, понятен и удобен в использовании. Умеет работать с объектами MySQL — представлениями, процедурами, функциями, триггерами и событиями.

Еще один плюс, в отличие от других инструментов, при экспорте производящих перекодирование в UTF-8, — в Dumper экспорт производится в родной кодировке. Результирующий файл занимает меньше места, а сам процесс происходит быстрее. В одном дампе могут быть объекты с разными кодировками. Причем легко импорт/экспорт произвести в несколько этапов, останавливая процесс во время нагрузки. При возобновлении процедура начнется с места остановки. При восстановлении поддерживается четыре варианта:

• CREATE + INSERT — стандартный режим восстановления;
• TRUNCATE + INSERT — меньше времени на создание таблиц;
• REPLACE — восстанавливаем в рабочей базе старые данные, не затирая новые;
• INSERT IGNORE — добавляем в базу удаленные или новые данные, не трогая существующие.

Поддерживается сжатие копии (gzip или bzip2), автоудаление старых бэкапов, реализован просмотр содержимого дамп-файла, восстановление только структуры таблиц. Имеются и сервисные функции по управлению БД (создание, удаление, проверка, восстановление БД, оптимизация, очистка таблиц, работа с индексами и другое), а также файл-менеджер, позволяющий копировать файлы на сервер.

Управление производится при помощи веб-браузера, интерфейс с использование AJAX локализован из коробки и создает впечатление работы с настольным приложением. Также возможно запускать задания из консоли и по расписанию (через cron).

Есть две редакции: Sypex Dumper (бесплатно) и Pro (10 долларов). Вторая имеет больше возможностей, все отличия приведены на сайте.

Shapshot – снимки системы

Бывают ситуации, когда требуется быстро и полностью вернуть виртуальную машину или отдельный файл в то состояние, в котором виртуальная машина или файл находился на определенный момент, например, до обновления операционной системы, установки нового программного обеспечения или внесения ошибочного изменения.

Такую возможность дает технология создания снимков, или снэпшотов (snapshot). При наличии такого снимка можно быстро и полностью «откатить» компьютер или файл в то состояние, в котором он находился в момент создания снимка.

Суть этой технологии состоит в следующем. В момент создания снимка файла или виртуальной машины прекращается запись на диск, создавая таким образом снимок диска, а все последующие дисковые операции производятся в отдельном файле.

Затем, чтобы получить данные с диска, сначала нужно прочить содержимое снимка диска, а затем учесть все связанные с файлом или виртуальной машиной дисковые операции, записанные в отдельном файле. При записи новых или измененных данных на диск достаточно записать эти данных в отдельные  файлы.

Если возникнет необходимость вернуть файл или виртуальную машину в исходное состояние, достаточно удалить файлы с изменениями, и продолжить использовать диск с момента создания снимка.

Если возможность отката к предыдущем состоянию уже не будет требоваться, накопленные изменения дисков нужно внести в созданный снимок диска, и продолжить использовать этот диск с новыми данными в обычном режиме.

Рассмотрим виды создания снэпшотов.

Настройка системы архивации windows server

• Расписание архивации
• Однократная архивация
• Восстановление

Нажимаю расписание архивации, у вас появится окно мастера настройки, на первом шаге у вас будет выбор, забэкапить весь сервер или настраиваемый бэкап. Я всегда советую делать Настраиваемый вариант, так как вы явно укажете, что нужно резервировать, а что нет.

в окне объекты архивации, система архивации данных windows server попросит вас добавить элементы с помощью соответствующей кнопки.

Среди элементов у вас будет:

• Восстановление исходного состояния системы
• Состояние системы
• Локальные диски
• Роль Hyper-V, если установлена.

В итоге объекты для архивации будут добавлены в список, хочу отметить, что если нажать кнопку Дополнительные параметры, то можно задать параметры VSS:

Для примера если вы используете Exchange или MS SQL, то выберите пункт копировать архив VSS для нормального взаимодействия со службой теневого копирования.

Так же на вкладке исключения, вы сможете добавить папки, которые не нужно копировать, в них например могут быть временные файлы, удобно когда вы до этого добавили полное копирование диска С:.

Теперь, чтобы осуществить резервное копирование windows server, нужно задать расписание, тут либо раз в день, либо чаще, задаем на свое усмотрение.

Далее нужно задать место назначения, как я и писал выше тут три варианта:

Если выбрать Архивация на жесткий диск для архивов, то на следующем шаге от вас потребуют указать диск, который будет отдан под резервное копирование windows server.

С моей точки зрения у вас должен быть локальный бэкап системы и бэкап на ISCSI диски, не привязанные к физическому серверу

Если выбрать архивация в общую сетевую папку, то у вас появится окно с предупреждением, что при указании удаленной общей папки в качестве назначения для архивации по расписанию будет доступен только последний архив, если простым языком, то будет просто постоянная перезапись, удобно для быстрого бэкапа, чтобы был на удаленном хранилище.

Далее задаем UNC путь к папке в формате \папка

Если выбрать Архивация на том, то вам нужно указать том назначения, на который будет выполнено резервное копирование windows server.

Смотрим сводную информацию и подтверждаем расписание.

Видим, что система архивации windows server успешно создала расписание.

Восстановление Windows Server 2012 R2

После того, как у вас появилась резервная копия, давайте рассмотрим ситуацию при которой вам нужно будет произвести процедуру восстановления Windows Server 2012 R2. Во первых вы можете посмотреть детали резервного копирования Windows Server (размер, дату)

Как восстановить отдельный файл или папку

Если вам нужно восстановить, например, отдельный файл, то нет смысла восстанавливать его через оснастку, так как резервная копия это виртуальный диск, который можно подцепить к системе. Давайте посмотрим, саму структуру файлов, лежат они в папке WindowsImageBackup.

Пот пример моего виртуального диска, кликнув по нему правым кликом, вы можете нажать Подключить.

Вас предупредят, что образ диска не инициализирован, содержит нераспознаваемые разделы или тома, которым не назначены буквы дисков. С помощью оснастки «Управление дисками» убедитесь, что диски, разделы и тома пригодны для использования.

Тут все просто идем в оснастку Управление дисками, через правый клик мыши по кнопке пуск.

Видим наш под монтированный диск, щелкаем по нему правым кликом и выбираем изменить букву диска или путь к диску.

Назначаем нужную букву, у меня это буква Е.

Все открываем мой компьютер и видим, новый локальный диск.

Когда закончите работу с диском, через оснастку управление дисками, от монтируйте его. Как видите виртуальные диски очень полезная вещь.

Восстановление в случае поломки операционной системы

Никто не застрахован от такого, я много раз встречал в своей практике, что система Windows Server выходила из строя, и для ее восстановления без наличия бэкапа, уходило куда больше времени, чем просто переустановка системы и дальнейшая перенастройка, примером может быть служить ошибка an error occurred while attempting to read the boot configuration data. Поэтому пару раз, когда вы обожжетесь, вы поймете, что система архивации данных windows server 2012 r2 шикарная вещь, позволяющая в считанные минуты сделать резервное копирование windows server и в нужный момент восстановиться из него.

Заходим в систему архивации windows server и в правом углу выбираем пункт Восстановление. У вас на выбор будет два пункта:

Для начала давайте выберем второй пункт «Архив находится в другом расположении»

Тут два варианта, либо вы подсовываете cd-rom или внешний диск, либо указываете UNC путь в формате \папка

Главное, чтобы у системы были права на ее чтение.

Если в начале выбрать пункт Этот сервер, то у вас покажется список доступных резервных копий Windows Server, вам лишь нужно выбрать дату отката.

Далее мастер восстановления Windows Server 2012 r2 даст вам вот такой выбор:

• Файлы и папки
• Hyper-V
• Тома
• Приложения
• Состояние системы

Выбрав первый вариант «Файлы и папки» вы можете восстановить отдельные файлы или папки из бэкапа.

Если выбрать Hyper-V, то вам предложат:

• Восстановить в другое расположение
• Скопировать в папку

Пункт приложения, немного специфичный, так как он работает не для всех приложений, а для тех, кто умеет работать с API службы архивации и поддерживать VSS. Ну и восстановление системы:

Будет подсчитано, сколько файлов подлежат восстановлению и начнется сам процесс.

После перезагрузки вы увидите сообщение:

Операция восстановления состояния системы, начатая в 08.02.2017, успешно завершена

Альтернативой восстановления состояния системы может служить восстановление на уровне тома, при этом все данные будут уничтожены и том будет приведен в состояние, в котором он находился на указанную дату. Это может оказаться полезным в случае вирусного инцидента, когда вы хотите быть уверенным, что в системе не осталось закладок вредоносного ПО, а также в случаях, когда исходный том был поврежден. Вообще сам инструмент очень хороший и не уступает конкурентам, тот же Acronis, так что используйте и упрощайте себе жизнь.

Где будем хранить бэкапы

Прежде чем выбирать софт, нужно определиться, где будем хранить бэкап. Сам понимаешь, DVD-R мало годится для резервного копирования. Во-первых, небольшой объем, во-вторых, медленно, в-третьих — шумно. А поскольку я уже очень давно перешел на ноутбуки и стационарники не признаю вообще (хотя в хозяйстве они имеются), то пришлось покупать несколько внешних дисков. Сначала на 250 Гб, потом и большего объема.

Облако я не рассматривал по одной простой причине — мало места:

Сравнительная таблица дискового пространства облачных сервисов

Сам понимаешь, даже 15 Гб маловато, особенно если минимальный размер внешнего винта, имеющегося в хозяйстве — 250 Гб. Дополнительное пространство? Можно, конечно, было бы и отдать 2 доллара в месяц за 100 Гб на Google Drive или 10 долларов за дополнительный 1 Тб, но 100 Гб меня не спасут, а 1 Тб — дороговато. В идеале подошло бы 500 Гб за 2-3 доллара в месяц 🙂

Позже в семье появилось два Android-смартфона и один планшет, с которых тоже время от времени делались бэкапы на внешний винт, по старинке (ведь я привык именно к такому процессу). Здесь можно было бы смело использовать облако, но привычка — штука сильная.

О цене

Все мы знаем, что Acronis никогда не был бесплатным. Однако цены меня тоже приятно удивили: на официальном сайте есть калькулятор, позволяющий узнать, во сколько тебе обойдется Acronis.

Разовая лицензия на 1 комп (количество мобильных устройств неограниченно) обойдется в 1700 рублей (примерно 27$ по текущему курсу). Но выгоднее купить подписку: в этом случае тебе достанется и сама программа, и 500 Гб облачного хранилища. Стоимость подписки на год обойдется в 1400 р. (~22$), на два года — всего 2000 р (~32$), это примерно 1.83$ или 1.33$ в месяц. За такие деньги можно купить разве что 100 Гб на Google Диск! А здесь я получил отличное средство для бэкапа + 500 Гб в облаке.

Если посчитать более реальную конфигурацию: 3 компа и 1 Тб в облаке — то подписка на год будет стоить 2400 р., а на 2 года — 3600 р. Всего 150 рублей в месяц по сравнению с 600 рублей за 1 Тб на Google Диск! Как по мне, вывод был очевиден. 150 рублей — сумма вполне доступная для домашнего пользователя, такая не ударит по семейному бюджету.

Установка UrBackup в Ubuntu 14. 04 LTS

$ sudo add-apt-repository ppa:uroni/urbackup
$ sudo apt-get update
$ sudo apt-get install urbackup-server

При установке пакета будет запрошен путь, куда сохранять архивы, в последующем его легко можно изменить через веб-интерфейс — правда, в этом случае понадобится создать такой каталог и установить права доступа. По мере подключения клиентов здесь будут появляться подкаталоги. Во время установки создается init-скрипт для запуска /etc/init.d/urbackup_srv и конфигурационный файл /etc/default/urbackup_srv. Сам сервис будет запускаться при старте системы. Можно для верности выполнить update-rc.d urbackup_srv defaults.

Интерфейс прост, назначение вкладок должно быть понятным. Пока клиентов у нас нет, поэтому следует познакомиться с настройками. Переходим в одноименный подраздел. Здесь два меню. В верхнем выбирается, что будем настраивать. Сейчас здесь три пункта: «Сервер», «Почта» и «Пользователи». После появления клиентов добавится четвертый, позволяющий настраивать клиенты на удаленных системах. Чуть ниже восемь вкладок, в которых определяются установки работы сервера: путь к файлам бэкапа, расписание очистки, количество одновременных бэкапов, ограничение скорости, интервал создания бэкапов и прочие. Назначение большинства установок должно быть понятно из названия, достаточно установить флажок и сохранить изменения.

В меню «Файловый бэкап» следует обратить внимание на возможность исключения или, наоборот, включения файлов в архив по маске и каталоги по умолчанию. Например, чтобы убрать из бэкапа медийные файлы, пишем в поле «Исключить из бэкапа (по маске)»:

Настройка клиента через веб-интерфейс

Mon-Fri/18:00-19:00 или 1-5/18:00-19:00

Подобные сокращения используются и для установки времени очистки архивов.

К серверу пока могут подключаться только клиенты из LAN. Интернет-режим по умолчанию отключен. Чтобы активировать возможность бэкапа через интернет, переходим во вкладку «Интернет», ставим флажок в поле «Активировать интернет-режим» и указываем в соответствующем поле имя сервера или IP.

Полное резервное копирование

Во время полного резервного копирования сохраняются все данные. Когда старые бэкапы теряют актуальность, они удаляются целиком, чтобы освободить место. Такое резервное копирование требует много дискового пространства на носителе для резервной копии. Полное резервное копирование занимает много времени и, и поэтому проводится в нерабочее время. Такой способ позволяет сохранить важную информацию, но из-за больших сроков копирования он не очень подходит для восстановления быстро меняющихся данных. Полное резервное копирование для больших объемов рекомендуется сочетать с другими видами создания бэкапов: дифференциальным и инкрементным копированием

О недостатках

У всего есть свои недостатки. Надеюсь, разработчики Acronis прислушаются к критике. Лично мне не понравились в программе два момента.

Первый — отсутствие поддержки Linux. Данные, которые хранятся в Linux, придется делать по старинке: или путем копирования, или с помощью Clonezilla посредством создания образа раздела с данными (благо /home у меня по привычке на отдельном разделе).

Инструменты резервного копирования

Все инструменты резервного копирования можно поделить на следующие группы:

• Встроенные инструменты
• Бесплатные программы
• Коммерческие системы
• Облачное резервное копирование

Особенности бэкапа MS SQL Server

Создание резервной копии и восстановление СУБД имеет свои отличия, которые нужно учитывать, особенно их много при переносе архива на другой сервер. Для примера разберем некоторые нюансы MS SQL Server. Для архивирования при помощи Transact-SQL следует использовать команду BACKUP DATABASE (есть и разностная DIFFERENTIAL) и журнал транзакций BACKUP LOG.

Если резервная копия разворачивается на другом сервере, нужно убедиться, что присутствуют те же самые логические диски. Как вариант — можно вручную прописать правильные пути для файлов базы данных, используя опцию WITH MOVE команды RESTORE DATABASE.

Простая ситуация — бэкап и перенос баз на другие версии SQL Server. Эта операция поддерживается, но в случае SQL Server будет работать, если версия сервера, на которой разворачивается копия, такая же или новее, чем та, на которой она создавалась. Причем есть ограничение: новее не более чем на две версии. После восстановления БД будет находиться в режиме совместимости с той версией, с которой осуществлялся переход, то есть новые функции будут недоступны. Это легко поправить, изменив COMPATIBILITY_LEVEL. Можно это сделать при помощи GUI или SQL.

Определить, на какой версии была создана копия, можно, просмотрев заголовок файла архива. Чтобы не экспериментировать, при переходе на новую версию SQL Server следует запустить бесплатную утилиту Microsoft Upgrade Advisor.

Поиск софта для бэкапа

Вот мы подошли к самому интересному. Чем делать бэкап?

В принципе, можно использовать бесплатную Clonezilla. Возможности этой программы если не впечатляют, то по крайней мере довольно неплохие. Вот некоторые из них, которые я считаю самыми важными:

• поддержка файловых систем Linux/macOS/Windows: от ext2 до ext4, xfs, jfs, FAT16, FAT32, NTFS, HFS (macOS);
• поддержка MBR и GPT;
• поддержка шифрования данных (AES 256);
• возможность развернуть один образ на несколько локальных устройств;
• поддержка SSH, Samba, WebDAV и NFS.

Если нужно сделать бэкап в корпоративной среде какого-нибудь сервера, да еще и на шару — лучшего варианта не найти. Для клонирования систем в случае разворачивания одной операционки на множество машин с одинаковой конфигурацией самое оно: завезли парк компов, поставили ось на один из них, все настроили, сделали ее образ и развернули его на остальные компы. Мечта админа!

С продуктами Acronis тоже был знаком давно, но в основном с серверными версиями. Сравнивать их с Clonezilla сейчас не стану, поскольку речь идет о домашнем бэкапе: дома ведь есть один-два компа и несколько Android-устройств, образы всех этих устройств постоянно делать не нужно. В общем, для дома CloneZilla подходит плохо. Один раз, помню, делал ею бэкап дома, когда менял системный диск на диск большего размера и лень было переустанавливать все системы. Тогда меня эта программа, конечно же, спасла.

CloneZilla — хорошая программа, но на дворе 2016-ый год и хочется чего-то более современного, а она застряла в прошлом. Хочется какой-то автоматизации, управления резервным копированием со всех устройств, в том числе и с мобильных, хочется копировать фотографии со своего профиля в социальных сетях, хочется осуществлять поиск внутри резервной копии с целью найти нужный файл. Много всего хочется. Иногда даже подумываю о покупке NAS именно для хранения резервных копий.

Собственно, я начал поиски идеального для себя софта. Наткнулся в свое время на функцию «История файлов» в Windows 8/10. «Восьмерку» я как-то пропустил, а «десятка» установлена только на одном компе. Хотя «История файлов» создавалась по образу и подобию Apple Time Machine и должна быть удобной, на практике использовать ее оказалось не совсем удобно, к тому же с компами под управлением «семерки» и смартфонами Android она не совместима.

Если кому интересно, то пока я искал нужный софт, все это время я делал бэкапы с помощью Total Commander путем обычного копирования файлов. Но это очень неудобно. Во-первых, никакой автоматизации: нужно подойти к каждому компу с внешним винтом и сделать бэкап. Во-вторых, нерациональное использование пространства. Сжатие я не использовал. Почему? Да потому что мне периодически нужен поиск информации по бэкапу. А ты пробовал что-то искать в архиве размером несколько Гб?

Совершенно случайно я вспомнил об Acronis True Image и обнаружил, что вышла версия 2017. Посмотрим, что она теперь умеет:

• резервное копирование полных образов в облако и в локальное хранилище;
• хранение файлов и папок в облаке;
• резервное копирование на локальный диск, в NAS и облако;
• возможность точного клонирования дисков для переноса на аналогичный или больший по размеру диск (как это я когда-то делал с помощью Clonezilla);
• архивация файлов для экономии места на локальном диске в облако, NAS и в локальное хранилище;
• фоновая синхронизация файлов с данными в облаке;
• дистанционное управление резервным копированием, что позволяет управлять бэкапом, не отрываясь от своего компа;
• резервное копирование данных с мобилок на компы под управлением Windows;
• быстрый поиск данных внутри резервных копий.

Во-первых, экономия места на винтах, которые используются для резервного копирования. Бэкап делается в сжатом виде, но Acronis позволяет производить поиск внутри бэкапа.

Acronis True Images 2017 — поиск по бэкапу

Во-вторых, теперь я могу не волноваться за данные на мобильных устройствах. За прошедшие два года вышли из строя две microSD-карточки: одна на телефоне жены, другая на планшете. С одной фотографии удалось спасти хотя бы частично, со второй — нет, она «умерла» полностью. Acronis True Image 2017 позволяет выполнить бэкап неограниченного количества мобильных устройств Android/iOS на локальный комп.

В-третьих, можно (как я уже отмечал) дистанционно управлять бэкапом на всех домашних девайсах. Используя веб-панель, можно проверить состояние бэкапов и настроить защиту данных в реальном времени.

Наконец, ориентация на облако. Я не мог себе даже представить, что в Acronis появилась такая мощная поддержка облака: купив подписку, ты получаешь 500 Гб облачного пространства! Этого объема мне вполне достаточно в домашних целях (если, конечно, не выкладывать в облако образы жестких дисков целиком, хотя Acronis и это позволяет).

Архивация windows server 2012 r2

Как вы уже наверно догадались, резервное копирование windows server систем, осуществляется с помощью встроенного компонента система архивации данных windows server 2012 r2. Хочу сразу отметить, что она есть и в 2008 R2, но я буду рассказывать на примере более современной версии, хотя все изложенное подойдет и для предыдущей версии. Если вы еще застали времена Windows Server 2003, то наверняка знакомы с компонентом NTBackup, именно им все делали бэкап системы, и она даже умела писать на ленты. Затем пришел на смену 2008, без R2 и показал убогий и переработанный компонент архивация windows, у которого убрали кучу функционала, до сих пор мне не понятна логика людей, выпустивших тогда этот компонент в таком виде. Прошел год и вышел R2, который уже вернул большую часть функций, которые были в NTBackup и сделал резервное копирование windows server, очень простым и удобным.

Если кто не в курсе, то в отличии от клиентских версий виндоус, у серверных нет по умолчанию механизма защиты системы и в случае повреждения загрузчика или еще каких, то системных файлов, быстро восстановиться из предыдущей версии не получиться, а все дело в архитектуре серверной ОС, так как в ней по умолчанию идет всего по минимуму, для большей защиты и уменьшения нагрузки. Системный администратор сам решит, что ему нужно и это правильно, но вот защиту могли бы и включить.

Расскажу пример из жизни, как и у всех администраторов большая часть серверного парка уже давно это виртуальные машины, хотя есть небольшая часть серверов, которая не виртуализована, просто потому, что не рационально и не даст выхлопа, я говорю про сервера с 300 гб оперативной памяти и MS SQL сервером. В один прекрасный день был сбой по электричеству и UPS все не выдержал. В итоге сервера выключились, не совсем правильно. Восстанавливая сервисы один из серверов не загружался и у него была ошибка an error occurred while attempting при загрузке Windows. Ее получилось победить, но через 5-6 часов, что согласитесь не очень быстро, а вот если бы была резервная копия системы и средство восстановления, то все прошло бы за пару минут.

По возможности всегда бэкапте ОС у физических серверов, потом сэкономите кучу времени и сил

Если вы зайдете в Свойства системы, то вкладку Защита системы, вы не найдете на Windows Server 2012 R2.

Почему именно система архивации данных windows server 2012 r2

Я прекрасно понимаю, что существует некое количество других программных продуктов по резервному копирования серверных ОС, например от:

• Veeam
• Acronis

Но система архивации данных windows server 2012 r2, уже идет под капотом в самой системе и самый большой шок, то что большинство системных администраторов, просто о нем не знают, поэтому вынуждены использовать сторонние продукты. Кто-то мне говорил, что он не понимает, как это все работает, что натолкнуло меня на написание данной статьи, чтобы люди, увидели все это на практике.

Куда можно делать резервную копию

Система архивации данных windows server может создавать резервные копии на такие хранилища:

• В идеале для системы должен быть отдельный диск, который размечает система архивации и скрывает от пользователя, для дальнейшего создания точек восстановления. Сама Microsoft рекомендует именно этот вариант. Кстати, если кто-то знаком с Microsoft System Center Data Protection Manager, то там так и работала система резервного копирования.
• Можно использовать уже размеченные разделы
• Сетевые папки
• ISCSI диски

Система архивации данных windows server 2012 R2 умеет создавать полную копию и дифференциальную (добавочную), сама управляет сроком хранения. У нее принцип работы очень простой, она будет записывать и хранить столько копий, сколько ей позволяет дисковое пространство, затем будет циклическое перезаписывание, более нового на более старое, очень похоже на видео наблюдение.

Так что после настройки хранилища резервных копий, служба архивации Windows Server, сама все сделает и организует пространство хранения данных. В этом кроется огромный плюс для начинающих системных администраторов, так как не все сразу способны оценить нужный объем хранилища и объем данных, многие не знают, что данные в резервных копиях сжимаются, а если вы знаете еще такое слово как дедупликация Windows, то сможете выжать из дискового пространства максимум.

Давайте немного поговорим про сам механизм работы системы архивации windows server, тут нового ничего нету, она использует службу теневого копирования тома (VSS), ее задачей является дать средству архивирования работать с открытыми и системными файлами, и не просто работать, а еще и не мешать системе работать, служба просто делает некий слепок состояния, это очень похоже на снапшот у виртуальных машин. На движке Windows Server 2012 R2, вы можете таким образом архивировать виртуальные машины на Hyper-V 3.0, не прекращая их работы.

Возможности VSS так же распространяются и на базы данных, могу со сто процентной уверенностью сказать, что проблем с Exchange или MS SQL у вас не возникнет, а вот PostgreSQL может создать определенные трудности. Если мы говорим про MS SQL, то она прекрасно понимает службу VSS и переводит БД перед моментом создания теневой копии к непротиворечивому состоянию, сама VSS не думает даже проверять логическую целостность данных, ей это не нужно, так как ее задача — это сделать снимок. Если, например, таким образом сделать резервную копию PostgreSQL, то при восстановлении мы получим срез базы на определенное состояние времени в противоречивом состоянии и в ней не будет всех незавершенных транзакций на момент создания бэкапа. Так, что есть некая такая проприетарность к своим продуктам.

Куда лучше копировать

Ответить на этот вопрос не просто, так как у всех ситуации по резервному копированию разные и инфраструктура разная. Давайте рассмотрим плюсы и минусы разных хранилищ. Напоминаю их у нас их несколько. Во-первых, если вы кладете резервную копию локально на сервер, то вы быстрее ее сделаете и быстрее сможете восстановиться при необходимости, а с другой стороны сервер может сломаться локально, а еще хуже если это будет RAID, то тут все будет печально. Второй пример вы делаете бэкап на ISCSI диски, хорошо, что хранится удаленно от сервера, можно быстро пере подключить к другому серверу при необходимости, но медленней скорость создания бэкапа и скорость восстановления, и так же могут выйти из строя сервера и диски с которых вы делаете ISCSI диски. Подведя итог, у вас в идеале должны быть копии в нескольких местах, понятно что не всегда это возможно, но стремиться к этому нужно, тут надо понять критичность данных и реализовать систему исходя из этого.

Встроенные инструменты резервного копирования

Современные операционные системы уже включают в себя инструменты резервного копирования. Например, для Windows, начиная с Microsoft Vista, доступна программа Windows Backup And Restore (Архивация и Восстановление). Эта программа позволяет создавать полный бэкап операционной системы с возможностью инкрементного копирования. Windows Backup And Restore позволяет создавать автоматический полный бекап на сменный носитель, оптические диски или в специальное место на удаленном сервере.

Для копирования небольшого количества файлов и каталогов часто используется команда xcopy. Эту команду можно использовать с планировщиком Windows.

Для UNIX-систем самой популярной программой резервного копирования файлов является утилита rsync. Оно обладает богатыми возможностями, включая инкрементное резервное копирование, обновление всего дерева каталогов и файловой системы, как локальных, так и удаленных резервных копий, сохранение прав доступа к файлам, ссылок и многое другое.

Также имеет графический пользовательский интерфейс Grsync, но главное преимущество с Rsync заключается в том, что резервные копии могут быть автоматизированы с использованием сценариев и заданий cron системными администраторами прямо в командной строке.

Установка клиента

Сборка клиента не представляет особых сложностей. Ставим нужные для сборки пакеты:

$ sudo apt-get install build-essential g++ libwxgtk3.0-dev libcrypto++-dev

Скачиваем архив и ставим:

$ wget -c http://hndl.urbackup.org/Client/1.4.9.1/urbackup-client-1.4.9.1.tar.gz
$ tar xzf urbackup-client-1.4.9.1.tar.gz
$ cd urbackup-client-1.4.9.1
$ ./configure
$ make
$ sudo make install

Для данных будет создан каталог /usr/local/var/urbackup, сперва он пуст, при подключении клиента к серверу будут изменены права доступа и внутри появится несколько новых файлов. Запускаем пока в консоли, чтобы видеть отладочную информацию.

$ sudo start_urbackup_client —loglevel info —no_daemon

Убеждаемся, что ошибок нет, и можем проверить появление нового клиента во вкладке «Статус». Для подключения используется TCP/35621, UDP/35622 и TCP/35623, они должны быть открыты в брандмауэре. В случае если установлен клиент с GUI, можно использовать команду urbackup_client_gui. В дальнейшем следует обеспечить их автозагрузку.

При первом подключении к серверу в файл server_idents.txt автоматически приписывается его публичный ключ, и впоследствии клиент может работать только с ним. Если возникает необходимость работы с двумя серверами UrBackup или в процессе переустановки UrBackup был изменен ключ и идентификатор, следует отредактировать этот файл вручную, внеся нужные данные.

Клиент из LAN автоматически подхватывается сервером и отображается в «Статус», после чего им можно управлять. Если сервер по какой-то причине не нашел клиента, то указываем его IP или имя в поле «Дополнительные клиенты» и нажимаем «Добавить». Первоначально бэкап можно произвести вручную, отметив флажком клиент, выбрав тип бэкапа (full file backup) и нажав ссылку «Начать бэкап выделенных». Далее бэкап будет производиться на основании общих установок. Их можно переопределить на самом клиенте, если он установлен с GUI, или выбрав «Настройки», затем имя клиента в меню вверху и установив флажок «Отдельные настройки для данного клиента».

GUI на клиенте и статус бэкапа в веб-интерфейсе

Не забываем отличие Linux и Win. Для возможности бэкапа через интернет следует разрешить его в соответствующей вкладке. Здесь в Internet auth key будет указан ключ для авторизации. Остальные вкладки интерфейса позволяют получить информацию о ходе бэкапа и ошибках.

Информация о ходе бэкапа

Инкрементное копирование

Этот вид копирования отличается от дифференциального тем, что при первом запуске инкрементного копирования происходит создание резервных копий только тех файлов, которые были изменены с тем пор, как в последний раз выполнялся полный или дифференциальный бэкап. Последующие процессы инкрементного копирования добавляют только те файлы, которые подверглись изменению с момента предыдущего резервирования. При этом изменившиеся или новые файлы не замещают старые, а добавляются на резервный носитель отдельно. Конечно, в этом случае процесс восстановления занимает больше времени, так как нужно последовательно восстановить всю историю изменений файлов.

Установка системы архивации windows server

оставляем пункт установка ролей и компонентов

Пропускаем роли и жмем далее.

Выбираем пункт Система архивации Windows Server

и жмем установить.

Через пару мгновений, у вас установится нужный компонент.

Облачное резервное копирование

Существуют решения, которые позволяют копировать в облако не только данные, но и целые виртуальные машины. Так

Такие системы, как CommVault или Veeam позволяют делать резервные копии в облако для:

• образов виртуальных машин,
• конфигураций операционных систем,
• баз данных,
• файлов, размещенных на  серверах и рабочих станциях.

При резервном копировании в облако через сеть Интернет особенно важно учитывать значения RPO и RTO, так как каналы с Интернет обычно достаточно медленные.

Если ваша виртуальная инфраструктура размещена в облаке, то облачный провайдер может предложить услугу резервного копирования. В таком случае потребителям не потребуется искать, выбирать, покупать и устанавливать программное обеспечение.

Для резервного копирования достаточно в панели управлении включить услугу в разделе Backup, затем выбрать период хранения резервных копий и нажать на кнопку Изменить.