в docker, graylog2

Docker: перенаправление логов в Graylog2


Мы уже упоминали о Graylog2 — централизованном хранилище логов и рассматривали вариант сбора и анализа логов от популярного веб-сервера Nginx. В данной статье настроим отправку логов в Graylog2 от docker-контейнеров — давайте разберемся!

Docker поддерживает более десятка различных механизмов логирования, которые позволяют получать информацию от запущенных контейнеров и сервисов. Эти механизмы называются logging drivers, ознакомиться с их полным списком можно здесь. Из данного списка нас больше всего интересует драйвер под названием gelf — остановимся на нем подробнее.

GELF — сокращение от Graylog Extended Log Format — специального формата логов, разработанного для Graylog. Этот формат получил широкое распространение и сейчас внедрен в множество других систем сбора, хранения и обработки логов (самые известные — Logstash и Fluentd).

Согласно стандарту GELF, в каждом лог-сообщении существует следующий набор полей:

  • версия;
  • хост (откуда пришло сообщение);
  • время (timestamp);
  • сокращенный и полный вариант сообщения;
  • другие поля, настроенные самостоятельно.

Иначе говоря, строка из лога:

127.0.0.1 - frank [10/Oct/2010:11:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326

В GELF-формате может выглядеть, например, как структурированный json-объект (что в свою очередь значительно облегчает хранение и обработку логов):

{
  "client": "127.0.0.1",
  "user": "frank",
  "timestamp": "2010-10-10 11:55:36 -0700",
  "method": "GET",
  "uri": "/apache_pb.gif",
  "protocol": "HTTP/1.0",
  "status": 200,
  "size": 2326
}

Для использования gelf как драйвера по умолчанию в системе (параметр будет применен ко всем docker-контейнерам на этом хосте) необходимо в конфигурационном файле /etc/docker/daemon.json (в Windows это C:\ProgramData\docker\config\daemon.json) добавить следующие строки:

{
  "log-driver": "gelf",
  "log-opts": {
    "gelf-address": "udp://1.2.3.4:12201"
  }
}

Примечание. Вместо 1.2.3.4 конечно же нужно вставить реальный адрес вашего сервера Graylog.

И перезапустить docker для применения изменений:

service docker restart

Применить драйвер gelf только для одного конкретного контейнера при его запуске можно так:

docker run \
      --log-driver gelf –-log-opt gelf-address=udp://1.2.3.4:12201 \
      alpine echo hello world

При выполнении данной команды произойдет следующее:

  • Docker Engine скачает образ alpine из реджистри (если его нет локально);
  • Docker Engine создаст и запустит контейнер из образа alpine;
  • в запущенном контейнере выполнится команда echo с аргументом hello world;
  • процесс внутри контейнера напишет hello world в stdout;
  • сообщение hello world будет перехвачено Docker Engine и отправлено драйверу логирования (logging driver);
  • gelf драйвер переведет сообщение в GELF-формат (кроме строки hello world добавит недостающие поля host, timestamp и набор информации о контейнере — его ID и имя, имя и ID образа с которого запускался контейнер, переменные окружения и т.д.);
  • сообщение в GELF-формате будет отправлено по протоколу UDP на ip-адрес 1.2.3.4 порт 12201;
  • скорее всего (это же UDP) сообщение будет доставлено на сервер Graylog2, где с ним можно будет работать.

Если вы описываете несколько контейнеров в файле docker-compose.yml, то настройка драйвера логирования для определенного контейнера будет выглядеть так:

...
### Sphinxsearch Container ##################################
  sphinxsearch:
    container_name: sphinxsearch
    image: sphinx:latest
    volumes:
      - ./sphinx/sphinx.conf:/etc/sphinxsearch/sphinx.conf
      - sphinx:/var/lib/sphinxsearch/data
    logging:
      driver: gelf
      options:
        gelf-address: "udp://${GRAYLOG_ADDR:-graylog.lc}:12201"
        tag: "sphinxsearch"
...

Для тех, кому важно подтверждение доставки (TCP) логов от docker-контейнеров в централизованную систему хранения у меня плохие новости:

Unfortunately, the GELF logging driver in Docker only supports UDP.

Однако из других приложений сделать это можно легко и непринужденно. Протестировать отправку логов в Graylog2 из консоли можно так:

echo -e \
    '{
        "version": "1.1",
        "host":"example.org",
        "short_message":"A short message that helps you identify what is going on",
        "full_message":"Backtrace here\n\nmore stuff",
        "level":1,
        "_user_id":9001,
        "_some_info":"foo",
        "_some_env_var":"bar"
    }\0' | nc -w 1 graylog.lc 12202

Подробнее о всех доступных опциях драйвера логирования gelf можно почитать здесь.

Добавить комментарий

    • Всегда пожалуйста! )))
      Там есть еще масса «вкусных» плюшек — дашборды, анализ, уведомления при аномалиях — с помощью плагинов можно решить практически любую задачу!