в backup, docker, mysql

Percona Server и Percona XtraBackup в docker-контейнере


Со стремительным ростом популярности docker-контейнеров уже никого не удивить, например, запуском Percona Server в docker’е. Однако на просторах Интернета не так уж много подробных инструкций о том, как делать резервные копии (и восстанавливаться из них), если ваш MySQL-сервер запущен в docker-контейнере.

Давайте разберемся с запуском Percona Server в docker’е и рассмотрим вариант создания бекапов с помощью утилиты Percona XtraBackup!

Итак, нам понадобятся два docker-контейнера — один непосредственно для MySQL-сервера, второй — для создания резервных копий. В качестве MySQL-сервера будем использовать Percona Server 5.7, контейнеры будем собирать самостоятельно — это несложно.

Создадим каталог, в котором будет находиться все необходимое для основного контейнера (назовем его percona):

mkdir /percona

В данном каталоге у нас будут находится инструкции по сборке контейнера (Dockerfile), конфигурационный файл для MySQL-сервера (my.cnf), файл docker-compose.yml для запуска контейнера (не люблю вводить длиннющие команды вида docker run ...) и файл с переменными окружения, которые будут использоваться при запуске контейнера (.env).

Давайте рассмотрим содержимое данных файлов, Dockerfile выглядит так:

FROM percona:5.7

RUN chown -R mysql:mysql /var/lib/mysql/

ADD my.cnf /etc/mysql/conf.d/my.cnf

CMD ["mysqld"]

EXPOSE 3306

Содержимое файла с настройками MySQL-сервера в моем случае такое (разумеется, для вашего случая подберите эти параметры индивидуально):

[client]
socket                                      = /var/run/mysqld/mysqld.sock

[mysqld]
socket                                      = /var/run/mysqld/mysqld.sock
pid-file                                    = /var/run/mysqld/mysqld.pid
user                                        = mysql
basedir                                     = /usr
datadir                                     = /var/lib/mysql
tmpdir                                      = /var/lib/mysql-tmp
sql-mode                                    = "STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION"
sysdate-is-now                              = 0
transaction-isolation                       = REPEATABLE-READ
default-storage-engine                      = InnoDB
event-scheduler                             = OFF
performance_schema                          = 0
collation-server                            = utf8_general_ci
character-set-server                        = utf8

### Percona specific general options
expand_fast_index_creation                  = OFF
userstat                                    = OFF
thread_statistics                           = OFF

### Connectivity options
port                                        = 3306
max_user_connections                        = 400
secure-auth                                 = ON
back_log                                    = 2048
skip-name-resolve                           = 0
max_connect_errors                          = 1000000
read_only                                   = OFF
bind-address                                = ::
max_allowed_packet                          = 16777216
wait_timeout                                = 14400
max_connections                             = 500
thread_cache_size                           = 64
net_write_timeout                           = 60
net_read_timeout                            = 30
safe-user-create                            = 1
interactive_timeout                         = 14400

### General caches
key_buffer_size                             = 16777216
query_cache_size                            = 0
tmp_table_size                              = 16777216
max_heap_table_size                         = 16777216
table_open_cache                            = 8192
query_cache_type                            = 0

### InnoDB options
innodb_buffer_pool_size                     = 512M
innodb_open_files                           = 1024
innodb_flush_method                         = O_DIRECT
innodb_log_file_size                        = 64M
innodb_read_io_threads                      = 4
innodb_file_format                          = Barracuda
innodb_old_blocks_time                      = 1000
innodb_autoinc_lock_mode                    = 2
innodb_io_capacity                          = 200
innodb_log_buffer_size                      = 8M
innodb_stats_on_metadata                    = OFF
innodb_thread_concurrency                   = 0
innodb_support_xa                           = ON
innodb_buffer_pool_instances                = 1
innodb_concurrency_tickets                  = 10000
innodb_write_io_threads                     = 4
innodb                                      = force
innodb_file_per_table                       = ON
innodb_flush_log_at_trx_commit              = 2

### Logging options
general_log_file                            = /var/log/mysql/mysql_general.log
log-error                                   = /var/log/mysql/mysql_error.log
slow_query_log_file                         = /var/log/mysql/mysql_slow.log
log-warnings                                = 1
log-queries-not-using-indexes               = ON
long_query_time                             = 2
log-slow-admin-statements                   = 1
log-slow-slave-statements                   = 1
general-log                                 = OFF
slow-query-log                              = ON

### Percona specific logging options
log_slow_rate_type                          = session
slow_query_log_use_global_control           = log_slow_filter,log_slow_rate_limit,log_slow_verbosity,long_query_time,min_examined_row_limit
log_slow_sp_statements                      = ON
log_slow_filter                             = ''
log_slow_verbosity                          = microtime,query_plan
log_slow_rate_limit                         = 1
slow_query_log_always_write_time            = 10

[mysqld_safe]
log-error                                   = /var/log/mysql/mysql_error.log

Файл с переменными окружения может выглядеть, например, так:

### Data Path for all storage systems.
DATA_SAVE_PATH=/srv
### Percona ############################################################################################################
PERCONA_DATABASE=test_db
PERCONA_USER=testuser
PERCONA_PASSWORD=testpassword
PERCONA_PORT=3306
PERCONA_ROOT_PASSWORD=rootpassword

И, наконец, docker-compose.yml содержит такие строки:

version: '2'
services:
### Percona Container ########################################
    percona:
        container_name: percona
        image: my-percona-test:latest
        environment:
            - MYSQL_DATABASE=${PERCONA_DATABASE}
            - MYSQL_USER=${PERCONA_USER}
            - MYSQL_PASSWORD=${PERCONA_PASSWORD}
            - MYSQL_ROOT_PASSWORD=${PERCONA_ROOT_PASSWORD}
        volumes:
            - ${DATA_SAVE_PATH}/percona:/var/lib/mysql
        ports:
            - "${PERCONA_PORT}:3306"

Для сборки образа, находясь в каталоге /percona, запускаем команду:

docker build -t my-percona-test:latest .

После успешной сборки контейнер можно запустить командой:

docker-compose up -d

Приступим к второму docker-контейнеру, с помощью которого мы будем делать резервные копии и восстанавливаться из них. Создадим каталог для него (назовем его xtrabackup):

mkdir /xtrabackup

В данном каталоге у нас будут находиться инструкции по сборке контейнера (Dockerfile) и два скрипта — один для создания бекапа (make_backup.sh), второй для восстановления данных (make_backup.sh).

Содержимое Dockerfile следующее:

FROM percona:5.7

RUN apt-get update && \
    apt-get install -y --no-install-suggests pigz percona-xtrabackup-24 && \
    rm -rf /var/lib/apt/lists/*

RUN mkdir -p /backups

ADD make_backup.sh /make_backup.sh
ADD restore_backup.sh /restore_backup.sh

VOLUME ["/backups"]

Содержимое скрипта создания бекапа:


BACKUP="/usr/bin/innobackupex" workdir="/backups/" OPTIONS="--host=percona --port=3306 --user=root --password=rootpassword" dump="mysql.tar" # при распаковке использовать ключ -i, например tar -ixvf backup.tar $BACKUP $OPTIONS --stream=tar ./ | pigz -p 5 > ${workdir}${dump}.gz

Скрипт для восстановления данных из резервной копии выглядит так:

backupdir="/backups/"
archive="mysql.tar.gz"
mysqldir="/var/lib/mysql/"

cd $mysqldir && rm -rf *
cd $backupdir && tar -ixvf $archive -C $mysqldir
cd $mysqldir && innobackupex --apply-log --ibbackup=xtrabackup ./
chown -R 999:999 $mysqldir

Собираем контейнер (находясь в каталоге с Dokerfile) командой:

docker build -t my-xtrabackup:latest .

После всех проделанных действий для создания резерной копии баз данных достаточно запустить следующую команду:

docker run -it --net=docker_default --link percona:percona --name=xtrabackup -v /srv/percona:/var/lib/mysql -v /srv/backups:/backups --rm my-xtrabackup:latest sh -c 'exec /make_backup.sh'

Даная команда запускает контейнер из собранного нами образа (my-xtrabackup:latest), присваивает ему имя xtrabackup, назначает ему такую же локальную сеть, как и в запущенного ранее контейнера с Percona Server, связывает контейнеры с помощью опции --link, пробрасывает внутрь контейнера каталоги /srv/percona и /srv/backups с хост-машины (в одном находятся БД, второй используется для хранения бекапов) и выполняет скрипт make_backup.sh. После после выполнения скрипта (когда бекап будет создан) контейнер будет удален, благодаря использованию опции --rm.

Чтобы восстановить данные из резервной копии, следует использовать такую команду (контейнер с Percona Server должен быть выключен во избежание возможных конфликтов):

docker run -it --name=xtrabackup -v /srv/percona:/var/lib/mysql -v /srv/backups:/backups --rm my-xtrabackup:latest sh -c 'exec /restore_backup.sh'

Данная команда очень похожа на предыдущую, разница лишь в выполняемом скрипте и в отсутствии параметров --net=docker_default --link percona:percona — они нам не нужны, так как контейнер с MySQL-сервером выключен.

Добавить комментарий