Zabbix графики в телеграмм

В предыдущих статьях серии про Zabbix мы рассказывали о том, как контролировать различное оборудование и сервисы. Однако не менее важно настроить оповещения о событиях, требующих реакции со стороны системного администратора.

В этой статье мы расскажем о том, как настроить отправку сообщений о срабатывании триггеров Zabbix по электронной почте, через SMS и Телеграм. Вы также научите свой Zabbix звонить администратору по телефону и сообщать о критических событиях синтезированным голосом с помощью сервиса голосовых рассылок Звонобот.

Отправка сообщений по электронной почте

Для того чтобы Zabbix мог отправлять сообщения по электронной почте, необходимо сделать следующее:

• настроить способы оповещений Media Types;

• назначить Media с типом Email пользователю Zabbix;

• добавить действие при срабатывании триггера Trigger Action

Расскажем об этом подробнее.

Настройка способов оповещений Media Types

Мы будем использовать готовые способы оповещений Email
и Telegram
, а также создадим собственные — p1sms.ru

(для отправки SMS) и Zvonobot
(для голосовых сообщений по телефону).

Если вы находитесь там, где есть интернет, то сможете получать сообщения через Email и Telegram. Но бывает и так, что доступны только SMS и голосовые звонки. Чтобы не пропустить важные сообщения от Zabbix, пригодятся все эти способы.

Чтобы настроить отправку электронной почты, щелкните на странице Media Types
строку Email
. Далее вам нужно будет заполнить форму, указав в ней параметры исходящего почтового сервера (рис. 2).

В ответственных случаях безопаснее использовать собственный почтовый сервер, который находится под вашим контролем. При необходимости можно настроить отправку почты и через публичные почтовые сервисы, такие как Google Mail или Яндекс Почту. Помимо официальной документации в интернете есть инструкции по настройке, например, здесь
.

Настроив способ оповещения  Email, выполните проверку с помощью ссылки Test
, расположенной справа напротив Email в списке способов оповещений, показанном на рис. 1.

Щелкните эту ссылку и заполните форму, указав в ней адрес получателя Send to
, тему сообщения Subject
и текст сообщения Message
. Затем щелкните кнопку Test
(рис. 3).

Если настройки почтового сервера указаны правильно, вы получите сообщение на указанный адрес электронной почты.

На вкладке Message Templates
можно изменить стандартные шаблоны сообщений, отправляемых по электронной почте. 

Назначение Media с типом Email пользователю Zabbix

Для добавления способа оповещения Email щелкните ссылку Add
. В списке Type
выберите строку Email
.

В поле Send to
укажите адрес электронной почты, по которому должно отправляться оповещение. С помощью поля When active
можно ограничить дни и часы отправки сообщений.

Набор флажков Use if severity
позволяет задать уровни серьезности триггеров, при срабатывании которых необходимо отправить сообщение по указанному адресу (рис. 5).

В нашем случае сообщения отправляются по электронной почте круглосуточно, причем при срабатывании триггера с любым уровнем серьезности.

Если нужно отредактировать или удалить способ оповещения, воспользуйтесь ссылкой Edit
или Remove
, соответственно (рис. 4). 

Добавление действий при срабатывании триггера Trigger Actions

Теперь нужно добавить действие при срабатывании триггера. Для этого в меню Configuration
выберите меню Action
, а из него — строку Trigger Actions
.

На рис. 6 показан уже сформированный список действий для различных способов оповещений.

Здесь действие zabbix03 action
, заключающееся в отправке сообщения по электронной почте, выполняется для всех уровней серьезности, кроме Disaster. Действие SMS Notify
выполняется при срабатывании триггеров с уровнем серьезности High и Disaster. И, наконец, действие DISASTER_ALERT_Phone_CALL
определено для звонков по телефону при срабатывании триггеров уровня Disaster.

Чтобы создать новое действие, воспользуйтесь кнопкой Create action
на странице Trigger Actions
. Вам будет предложено добавить действие на вкладке Action
(рис. 7). 

Задайте имя действия, а затем щелкните ссылку Add
, чтобы добавить операцию. При добавлении выберите в списке Type
уровень серьезности триггера Trigger severity
. Чтобы сообщение электронной почты отправлялось для любого уровня серьезности, кроме Disaster, выберите значения полей Operator
и Severity
, как это показано на рис. 8.

Далее для добавленного действия на вкладке Operations
необходимо добавить операции. На рис. 9 три операции уже добавлены.

Для добавления операции воспользуйтесь ссылкой Add
. Здесь можно добавить операции, которые будут выполнены при срабатывании триггера, при восстановлении его состояния (поле Recovery operations
), а также при обновлении состояния (поле Update operations
).

На рис. 10 мы показали форму редактирования уже добавленной операции.

Вы также можете отредактировать шаблон темы сообщения Subject
и шаблон сообщения Message
, отметив флажок Custom message
. Если этого не сделать, будут использованы шаблоны сообщения по умолчанию, определенные в способе оповещения Email. 

Официальная документация, имеющая отношение к настройке отправки сообщений по электронной почте, находится здесь:

Отправка сообщений в Telegram

Мы расскажем о том, как настроить отправку персональных сообщений. Если нужно отправлять сообщения в группу Telegram, то соответствующий способ настройки описан в официальной документации Telegram webhook
, а также в статье
.

Создание бота

Результат показан на рис. 11 (имена и токен приведены только для примера).

Для настройки отправки сообщений в Telegram вам потребуется токен HTTP API, выделенный на рис. 11 рамкой красного цвета, а также идентификатор пользователя Telegram, который будет получать оповещения из Zabbix.

Получение идентификатора пользователя Telegram

Запустите этот бот и введите ему команду «/getid». В ответ вы получите собственный идентификатор (рис. 12, идентификатор показан только для примера).

Запуск бота

Получив идентификатор, подключитесь к боту, созданному на предыдущей шаге, и выдайте ему команду «/start». Это необходимо, чтобы бот смог отправлять вам сообщения.

Добавление способа оповещений Telegram

Добавив способ оповещения, протестируйте его с помощью ссылки Test
.

Если все будет хорошо, вы увидите сообщение об успешном тестировании (рис. 14).

Вы также получите тестовое сообщение в Telegram (рис. 15).

Если все в порядке, можно переходить к назначению настроенного способа оповещения Telegram пользователю Zabbix, а также к добавлению этого способа к существующему или новому действию.

Назначение типа оповещения Telegram пользователю

С помощью флажков Use if severity
укажите серьезность триггеров, при срабатывании которых нужно отправлять сообщения в Telegram. На рис. 16 показана установка флажков для случая, когда в Telegram требуется отправка для уровней от средней ( Average
) до катастрофической ( Disaster
).

Добавление оповещения в Telegram для действия при срабатывании триггера

На следующем шаге в меню Configuration
выберите меню Action
, а потом из него — строку Trigger Actions
. Затем откройте вкладку Operations
(рис. 17).

Теперь при выполнении действия вы получите сообщение о срабатывании триггера (а также о восстановлении его состояния) в мессенджер Telegram.

Красивые сообщения в Telegram с использованием Emoji

Вы можете «оживить» сообщения, отправляемые сервером Zabbix в Telegram с помощью символов Emoji (рис. 19).

Чтобы это сделать, добавьте символы Emoji в тему Subject
для шаблонов сообщений способа оповещений Telegram, доступных на вкладке Message templates
(рис. 20).

Символы Emoji можно скопировать через буфер обмена Clipboard со страницы https://apps.timwhitlock.info/emoji/tables/unicode

, а затем вставить их в нужное место шаблона (рис. 21).

Символы Emoji полезны, так как привлекут ваше внимание к важным сообщениям.

Отправка SMS из Zabbix

В сервере Zabbix среди встроенных способов оповещений Media Types есть отправка SMS. Однако этот способ требует наличия GSM модема, подключенного к последовательному порту сервера Zabbix, о чем написано в документации
.

У нас не было желания искать совместимый GSM модем, приобретать его и размещать в дата-центре. Поэтому мы решили использовать для отправки SMS один из многочисленных онлайн-сервисов, специализирующихся на решении этой задачи.

Выбор сервиса для отправки SMS

Как оказалось, отправка SMS через онлайн-сервисы стоит заметных денег, причем для некоторых операторов мобильной связи есть еще и ежемесячная абонентская плата. Стоимость отправки SMS на момент написания этой статьи составляла от 5 руб. до 20 руб. за одно сообщение. 

Некоторые сервисы допускают отправку SMS без абонентской платы, однако не для всех операторов мобильной связи (например, https://sms.ru/

)
.

В итоге был выбран сервис P1SMS https://p1sms.ru/

. После настройки шаблона сообщений удалось отключить модерацию и отравлять сообщения по цене 5 руб. за штуку. Если в вашей информационной системе критичные ошибки не идут большим потоком, то это может быть разумным выбором.

Как мы уже говорили, доставка оповещений через SMS будет работать даже в том случае, если в зоне нахождения вашего смартфона нет интернета (или он очень дорогой), но есть мобильная связь.

Скрипт отправки SMS через P1SMS

Zabbix позволяет вам создавать собственные способы оповещения, основанные на вызове скриптов. Это описано в документации
( на русском языке
для версии 6.0).

Для отправки SMS мы подготовили скрипт, которой требует небольшого редактирования. Вам потребуется изменить в нем АПИ-ключ и номер телефона, на который будут отправляться сообщения от Zabbix.

Далее создайте на сервере Zabbix каталог /usr/lib/zabbix/alertscripts
для скриптов добавляемых способов оповещения. Отредактируйте файл /etc/zabbix/zabbix_server.conf
, удалив символ комментария со строки:

   AlertScriptsPath=/usr/lib/zabbix/alertscripts  
  

Затем сохраните файл конфигурации zabbix_server.conf, перезапустите сервис Zabbix и убедитесь, что он работает:

   # systemctl restart zabbix-server
# systemctl status zabbix-server  
  

Переименуйте его в p1sms.pl
и запишите в каталог /usr/lib/zabbix/alertscripts
.

Сделайте владельцем скрипта пользователя zabbix и разрешите запуск скрипта:

   # chown zabbix:zabbix /usr/lib/zabbix/alertscripts/p1sms.pl
# chmod +x /usr/lib/zabbix/alertscripts/p1sms.pl  
  

Проверьте, что владелец и права установлены правильно:

   # ls -lh /usr/lib/zabbix/alertscripts/p1sms.pl
-rwxr-xr-x 1 zabbix zabbix 2.1K Oct 18 13:06 /usr/lib/zabbix/alertscripts/p1sms.pl  
  

Найдите в скрипте p1sms.pl
функцию sendp1sms и отредактируйте в ней две строки:

   my $api_key = '*************';
my $phone_number = '';  
  

Укажите здесь свой API-ключ сервиса P1SMS и номер мобильного телефона для отправки SMS в формате 7хххххххххх.

Добавление способа оповещения p1sms.ru

В поле Name
введите название способа оповещения p1sms.ru

, а затем выберите из списка Type
строку Script
. Укажите имя скрипта p1sms.pl

в поле Script name
.

Добавление шаблона сообщений SMS

Мы будем отправлять SMS при недоступности контролируемых серверов с помощью шаблона ICMP Ping
, который есть среди готовых шаблонов Zabbix. Вам нужно добавить этот шаблон ко всем серверам, которые вы собираетесь контролировать. Установите в этом шаблоне для метрики Unavailable by ICMP ping
уровень серьезности Disaster
.

Для добавления шаблона на сервис P1SMS откройте раздел редактирования шаблонов без модерации
. Он доступен в разделе Управление
, строка Шаблоны без модерации
.

Добавьте здесь такой шаблон с помощью кнопки СОЗДАТЬ ШАБЛОН
:

   ICMP ping %w Down (0)  
  

Добавленный шаблон показан на рис. 23.

Инструкция по составлению шаблонов появится на странице добавления шаблона после того, как вы щелкните кнопку СОЗДАТЬ ШАБЛОН
.

Шаблоны без модерации нужны для ускорения отправки SMS через сервис P1SMS. Если таких шаблонов нет, или если отправляемое сообщение не будет соответствовать шаблону, SMS попадет на модерацию и может быть задержано на время до 10 минут. Так как нам нужно узнать о проблеме как можно скорее, придется использовать шаблоны.

После добавления шаблона дождитесь, когда он пройдет модерацию. При необходимости вы можете связаться со службой поддержки через онлайн-чат на сайте P1SMS.

Состояние отправки SMS вы можете узнать на сайте P1SMS в разделе Отчеты
, выбрав из меню строку Отправленные СМС
.

Назначение типа оповещения p1sms.ru пользователю

Добавление действия для отправки SMS

Также не забудьте добавить действие для отправки SMS. Для этого в меню Configuration
выберите меню Action
, и далее строку Trigger Actions
.

Щелкните кнопку Create action
, а затем добавьте действие SMS Notify
, как это показано на рис. 25.

Добавьте операцию на вкладке Operations
(рис. 26).

Для того чтобы отправляемое сообщение соответствовало шаблону без модерации, настройте операцию с помощью ссылки Edit
.

   {ITEM.NAME1} ({HOST.NAME1}:{ITEM.KEY1}): {ITEM.VALUE1}  
  

Настроенная операция показана на рис. 27.

Тестирование отправки SMS при недоступности сервера

Для тестирования используйте какой-нибудь некритичный сервер, например, виртуальную машину, которую можно безопасно останавливать и запускать заново. Добавьте ее в узлы на сервере Zabbix и подключите шаблон ICMP Ping
. Установите в этом шаблоне для метрики Unavailable by ICMP ping
уровень серьезности Disaster
.

Теперь, если вы завершите работу этой машины, то получите сообщение SMS (рис. 28).

SMS выглядят не так красиво, как сообщения в Telegram, однако они придут туда, где нет интернета.

Оповещение от Zabbix по телефону

Сообщение SMS легко пропустить, а вот на вызов по телефону вы скорее всего отреагируете (конечно, если в смартфоне не отключен звук).

Для повышения вероятности реагирования настроим отправку оповещений о катастрофических проблемах уровня Disaster голосовым звонком на телефон с использованием сервиса Звонобот
.

Настройка голосовых звонков аналогична только что рассмотренной настройке для SMS, поэтому мы остановимся только на основных моментах.

Прежде всего, мы сделаем так, чтобы звонок поступал не сразу после обнаружения аварии, а через 10 минут. Дело в том, что часто недоступность сервера может быть кратковременной, после чего все восстанавливается само по себе, и звонить будет уже не нужно. Так бывает, например, при возникновении непродолжительных проблем в сети или при временной потере связности дата-центров.

Кроме того, если становятся недоступными сразу несколько серверов, нам достаточно получить только один звонок по телефону. И еще не повредит повторный звонок через полчаса, если в первый раз дозвониться не удалось.

Добавление способа оповещения Zvonobot

Добавьте в Media types
новый способ оповещения Zvonobot
, аналогично тому, как мы добавляли способ p1sms.ru

(рис. 29).

Выберите в списке Type
строку Script
, а в поле Script name
введите имя скрипта zvonobot.pl
. Кроме того, добавьте параметры, как это показано на рис. 29.

Не забудьте переименовать скрипт перед его размещением в каталоге /usr/lib/zabbix/alertscripts
.

Сделайте владельцем скрипта пользователя zabbix и разрешите запуск скрипта:

   # chown zabbix:zabbix /usr/lib/zabbix/alertscripts/zvonobot.pl
# chmod +x /usr/lib/zabbix/alertscripts/zvonobot.pl  
  

Проверьте, что владелец и права установлены правильно:

   ls -lh /usr/lib/zabbix/alertscripts/zvonobot.pl
-rwxr-xr-x 1 zabbix zabbix 4.8K Oct 17 15:40 /usr/lib/zabbix/alertscripts/zvonobot.pl  
  

Отредактируйте в скрипте три строки:

   my $api_key = '';
my $phone_number  = '';
my $outgoingPhone = '';  
  

Ключ $api_key можно получить по адресу: https://lk.zvonobot.ru/panel/profile

в личном кабинете после регистрации в сервисе Звонобот.

Для работы скрипта  zvonobot.pl
нужно установить на сервер Zabbix memcached, а также необходимые модули Perl:

Вам также потребуется два номера телефона. В переменную $phone_number запишите номер телефона, на который будет звонить Zabbix при обнаружении катастрофической проблемы (в формате 7*****).

Второй номер телефона запишите в переменную $outgoingPhone. Телефон с этим номером потребуется вам всего один раз для получения SMS от сервиса Звонобот. Звонки будут поступать именно от этого исходящего номера, поэтому вам их будет легко идентифицировать. Исходящий номер должен быть добавлен как личный и подтвержден в разделе ДРУГОЕ
— Номера телефонов
личного кабинета https://lk.zvonobot.ru/panel/phones

.

После добавления способа оповещения Zvonobot протестируйте его с помощью ссылки Test
. В поле Send to
укажите номер телефона, на который должны приходить звонки от Zabbix (рис. 30).

При успешном тестировании вы получите звонок, и робот произнесет синтезированным голосом текст сообщения Message
, а также тему Subject
.

Назначение способа оповещения Zvonobot пользователю Zabbix

В поле Use if severity
отметьте флажок Disaster
, чтобы звонки поступали только при самых серьезных проблемах.

Добавление типа оповещения в действия

Добавьте действия для способа Zvonobot. Как и раньше, в меню Configuration
выберите меню Action
, далее строку Trigger Actions
, а затем щелкните кнопку Create action
.

Мы создали действие DISASTER_ALERT_Phone_CALL, определив для него сразу две операции, имеющие отношение к способу Zvonobot (рис. 31).

Обратите внимание, что в поле Steps
мы указали шаг эскалации 2-2, а в поле Step duration
(длительность шага эскалации) — значение 20 минут (рис. 32). 

На рис. 31 видно, что сразу после возникновения проблемы категории Disaster сообщение отправляется в Telegram, затем на электронную почту (шаг эскалации 1-1). Еще через 10 минут выполняется звонок через сервис Звонобот (шаг 2-2), который потом повторяется через 30 минут (шаг 3-3).

Когда сработают все шаги эскалации, на основной панели Zabbix Global View можно будет увидеть время и результат завершения каждого шага (рис. 33).

Применение эскалации описано в документации
(для версии 6.0 на русском языке
).

Исключение повторных звонков

Чтобы исключить повторные звонки, которые могут поступить при одновременном отказе нескольких контролируемых хостов, в скрипте zvonobot.pl
вызывается функция not_recently_called:

   if(not_recently_called(20*60))
{
  phone_call_zvonobot($api_url, $api_key, $phone_number, $outgoingPhone, $message);
}
  
  

Она создает в memcached ключ “Zabbix_phone_monitor” со значением “Phone was called”, который будет автоматически удален по истечении заданного времени (в нашем случае через 20 минут).

   /start  
  

   /newbot  
  

   Zabbix internet-lab.ru  
  

   zabbix_internet_lab_ru_bot  
  

  1.  Register bot: send "/newbot" to @BotFather and follow instructions
2.  Copy and paste the obtained token into the "Token" field above
3.  If you want to send personal notifications, you need to get chat id of the user you want to send messages to:
 3.1.  Send "/getid" to "@myidbot" in Telegram messenger
 3.2.  Copy returned chat id and save it in the "Telegram Webhook" media for the user
 3.3.  Ask the user to send "/start" to your bot (Telegram bot won't send anything to the user without it)
4.  If you want to send group notifications, you need to get group id of the group you want to send messages to:
 4.1.  Add "@myidbot" to your group
 4.2.  Send "/getgroupid@myidbot" in your group
 4.3.  Copy returned group id save it in the "Telegram Webhook" media for the user you created for group notifications
 4.4.  Send "/start@your_bot_name_here" in your group (Telegram bot won't send anything to the group without it)  

   /getid  
  

   /start  
  

   /getgroupid@myidbot  
  

   https://oauth.vk.com/authorize?client_id=appid&scope=notify,photos,friends,audio,video,notes,pages,docs,status,questions,offers,wall,groups,**messages**,notifications,stats,ads,offline&redirect_uri=http://api.vk.com/blank.html&display=page&response_type=token  
  

   var dataJSON = JSON.stringify(params);
        var re = /\\u([0-9A-F]{4})/g;
        data = dataJSON.replace(re, 'u$1');