Работа с Grafana

Управление учетными записями и авторизация

Web-интерфейс Grafana доступен по адресу: http://<your_ip>:3000/

Изменение пароля администратора

  • Для авторизации в систему мониторинга используется стандартный логин и пароль администратора admin/admin. При авторизации система предложит изменить пароль учетной записи.

grafana login
grafana password

  • Можно изменить пароль учетной записи администратора или пропустить этот шаг нажав на кнопку «Skip». В дальнейшем, пароль от учетной записи можно поменять под авторизованным в системе пользователем наведя курсором мышки на лого пользователя в левом нижнем углу экрана и выбрав пункт «Change password».

    change password

Создание новых пользователей

В Grafana создание новых пользователей происходит в меню «Server admin» (пиктограмма щита в левом нижнем углу экрана), пункте «Users».

server admin
server admin users

  • По кнопке «New user» можно создать нового пользователя, указав необходимые данные и пароль на открывшейся странице.

    server admin new user

Панели мониторинга (dashboards)

Для мониторинга серверов в Grafana предустановлен набор типовых панелей с настроенными графиками для отслеживания состояния серверов и приложений. Функциональность мониторинга может быть расширена за счет настройки дополнительных панелей для контроля состояния кластера и его узлов, а так же различных компонентов платформы (профилей, коннекторов, сервисов).

gr all dashboards

  • General

    • ActiveMQ - панель с графиками, отображающими состояние сообщений принятых/отправленных в брокере;

    • Apache Camel - панель с графиками, отображающими состояние пакетов и их прохождение;

    • Java - панель с графиками, отображающими состояние виртуальной машины Java;

    • Node Exporter Full - панель с графиками, отображающими состояние виртуальной машины (CPU, RAM, Memory и т.д.);

  • Cluster

    • Entaxy environment services - панель агрегирующая состояния по сервисам ОС, используемым в среде Entaxy;

    • Karaf cluster - панель мониторинга общего состояния кластера Apache Karaf;

    • Karaf node status - панель мониторинга узла кластера Apache Karaf, объединяющая данные по его состоянию, подключенным системам, коннекторам и сервисам;

  • Logs

    • Transactions - журнал транзакций, проходящих на шине и маркированных процессов;

    • Process Log - детализированная информация по логам из журнала транзакций;

Описания панелей мониторинга

General

Apache Camel

Панель с графиками, отображающими состояние пакетов и их прохождение (кол-во). Прямая ссылка на панель: http://<your_ip>:3000/d/sHSIELIWz/camel

В панели имеются следующие графики:

  1. Complited Exchanges (Отправленные пакеты) - индикатор, отображающий долю успешно отправленных пакетов от общего количества отправленных пакетов в процентах.

  2. Exchanges Total (Общее количество пакетов) - отображает суммарное количество отправленных пакетов с разделением по маршрутам, в которых произошел обмен этими пакетами. Все новые маршруты динамически (автоматически) добавляются в график.

  3. Error exchanges (Пакеты с ошибками) - отображает долю отправленных пакетов, в ходе обработки которых возникли программные или системные ошибки, от общего количества отправленных пакетов в процентах.

  4. Exchanges Complited (Пакетов отправлено) - отображает количество успешно отправленных пакетов с разделением по маршрутам, в которых произошел обмен этими пакетами. Все новые маршруты динамически (автоматически) добавляются в график.

  5. Exchanges Failed (Обмены прерванные в связи с ошибкой) - отображает количество не отправленных пакетов с разделением по маршрутам, в которых произошел сбой при обмене этими пакетами. Все новые маршруты динамически (автоматически) добавляются в график.

  6. Exchanges In Flight (Пакетов в обработке) - отображает количество пакетов, находящихся в обработке с разделением по маршрутам, в которых происходит обработка этих пакетов. Все новые маршруты динамически (автоматически) добавляются в график.

  7. Average processing time (Среднее время обработки пакетов) - отображает среднее время затраченное на обработку одного пакета с разделением по узлам и маршрутам, в которых произошел обмен этими пакетами.

  8. Logs (Логи) – Логи узлов ИШ Entaxy ION.

    Любой из графиков можно приблизить, наведя на него курсором и нажав кнопку «V».
    general camel
    apache v

ActiveMQ

Панель с графиками, отображающими состояние сообщений принятых/отправленных в брокере. Прямая ссылка на панель: http://<your_ip>:3000/d/Flk6mRNWk/activemq

В панели имеются следующие графики:

  1. Queue dynamics (Динамика поступления и вычитывания сообщений) - отображает время поступления и вычитывания сообщений в брокере с распределением по очередям.

  2. Message Status (Статус сообщений) - отображающая текущее распределение и количество сообщений в разрезе каждой конкретной очереди брокера.

  3. Incoming message count (Количество входящих сообщений) - отображает общее количество поступивших сообщений в разрезе каждой конкретной очереди брокера.

  4. Message Killed (Удаленные или заблокированные сообщения) - отображает количество сообщений, которые были принудительно удалены, заблокированы или перемещены в DLQ из-за превышения лимита очереди или исчерпания допустимого количества попыток доставки.

  5. Message Expired (Сообщения с истекшим сроком жизни) - отображает количество сообщений с истекшим сроком жизни (TTL) до момента их доставки получателю.

  6. Queue Size (Размер очередей) - отображает график текущей загруженности очереди, показывающий объем памяти, занимаемый сообщениями, которые находятся в очередях брокера в данный момент.

  7. Message Count (Количество сообщений) - отображает изменение количества сообщений во времени в разрезе адресов и связанных с ними очередей брокера.

  8. Unrouted Message Count (Количество не доставленных сообщений) - отображает количество сообщений, которые брокер не смог направить в очереди, с разделением по целевым адресам назначения. Все новые адреса динамически (автоматически) добавляются в график.

  9. Routed Message Count (Количество доставленных сообщений) - отображает количество успешно распределенных по очередям сообщений в разрезе адресов назначения. Все новые адреса динамически (автоматически) добавляются в график.

  10. Logs (Логи) – Логи брокера сообщений ActiveMQ Artemis.

    Любой из графиков можно приблизить, наведя на него курсором и нажав кнопку «V».
    general activemq

Java

Панель с графиками, отображающими состояние виртуальной машины, приложения которой используют Java. Прямая ссылка на панель: http://<your_ip>:3000/d/7622/java

В панели имеются следующие графики:

  1. CPU Usage (Использование ЦПУ) – Отображает в процентном соотношении использование ядер ЦПУ java-приложением.

  2. Memory Heap/NON Heap (Память в куче/не в куче) – Отображает часть активно используемой памяти с объектами и ссылками. Требует активного мониторинга.

  3. Class loading (Классов загружено) – Количество загруженных классов java-приложением.

  4. Threads used (Потоков задействовано) – Количество активных потоков в java-приложении.

  5. Open File Descriptors (Файловый дескриптор) - Количество открытых соединений с файловой системой и сокетов.

  6. GC time/1 min. rate (Время работы сборщика мусора) – Время работы сборки мусора в java-приложении.

  7. GC count (Количество сборок мусора) – Количество произведенных сборок мусора.

    Любой из графиков можно приблизить, наведя на него курсором и нажав кнопку «V».
    general java

Node Exporter Full

Панель с графиками, отображающими состояние виртуальной машины (CPU, RAM, Memory и т.д.) Прямая ссылка на панель: http://<your_ip>:3000/d/lXqnWBGZz/node-exporter-full

В панели имеются следующие графики, на которые стоит обратить наибольшее внимание:

  1. CPU Busy (Нагрузка ЦПУ) – Нагрузка на ядра центрального процессора сервера

  2. Used RAM Memory (Использование ОЗУ) – Общее количество использованной оперативной памяти на сервере

  3. Used SWAP (Использование свопа) – Количество дополнительной памяти на жёстком диске, которая была использована в случае исчерпания гарантированного объема оперативной памяти

  4. Used Root FS (Использование корневого раздела) – Количество памяти на жёстком диске, которое занято корневым разделом сервера

  5. CPU System Load (1 min avg) (Нагрузка ЦПУ задачами за минуту) – Нагрузка на ЦПУ сервера в процентном соотношении по активным задачам за минуту

  6. CPU System Load (5 min avg) (Нагрузка ЦПУ задачами за 5 минут) – Нагрузка на ЦПУ сервера в процентном соотношении по активным задачам за 5 минут

    Любой из графиков можно приблизить наведя на него курсором и нажав кнопку «V».
    node explorer

Cluster

Entaxy environment services

Панель агрегирующая состояния по сервисам ОС, используемым в среде Entaxy.

В панели имеются следующие данные:

  1. Сервера текущего окружения

  2. Systemd State Count - Отображает сводную статистику по состоянию объектов, управляемых systemd:

    1. Unit State Count - Отображает график распределения юнитов по текущим статусам

    2. Normal units - Отображает информацию и статус юнитов, зарегистрированных в системе

gr entaxy envoronment services

Karaf cluster

Панель мониторинга общего состояния кластера Apache Karaf.

В панели имеются следующие данные:

  1. Количество узлов кластера - Отображает статус соответствующий числу запущенных узлов кластера:

    1. OK — запущено как минимум 2 узла кластера

    2. WARN — запущен всего 1 узел кластера

    3. STOP — кластер остановлен

  2. Состояние активных узлов - Отображает статус функционирующих узлов кластера

  3. Проверка состояния - Отображает статусы проверки модулей платформы и целостности данных

gr karaf cluster

Karaf node status

Панель мониторинга узла кластера Apache Karaf, объединяющая данные по его состоянию, подключенным системам, коннекторам и сервисам.

В панели имеются следующие данные:

  1. Системы - Отображает список профилей систем, включая описание, наименование, номер и состояние соответствующих бандлов

  2. Коннекторы - Отображает список коннекторов, подключенных к выбранному профилю и информацию о соответствующих бандлах

  3. Сервисы - Отображает список сервисов, развернутых на платформе, включая описание, наименование, номер и состояние соответствующих бандлов

gr karaf node status

Logs

gr db logs

Transactions

Панель мониторинга для просмотра журнала транзакций, проходящих на шине и маркированных процессов.

В панели отображаются следующие данные:

В описании приведены значения по умолчанию. Используя тег set-log-key значения для параметров: Отправитель, Получатель, Сервис, Операция и Параметр можно переназначить.

  • Статус - Отображает итоговый результат выполнения транзакции.

  • Время - Точное время последнего события в транзакции.

  • Запрос - Уникальный идентификатор транзакции, позволяющий объединять логи всех этапов маршрута в единую цепочку.

  • Отправитель - Для коннектора - система владелец коннектора. Для сервиса - логин пользователя, если определен.

  • Получатель - Наименование системы получателя при отправке с помощью тега set-destination.

  • Сервис - Значение параметра displayName сервиса/коннектора.

  • Операция - Только для сервисов. Наименование http метода.

  • Объект - Внутренний идентификатор пакета/сообщения.

  • Описание - Кастомный текст или данные сообщения, настроенные для вывода в лог.

  • Параметр - Содержит пользовательские данные, например дополнительный идентификатор.

gr log transactions

Process Log

Панель мониторинга для просмотра детализированной информации по логам из журнала транзакций.

В панели отображаются следующие данные:

В описании приведены значения по умолчанию. Используя тег set-log-key значения для параметров: Отправитель, Получатель, Сервис, Операция и Параметр можно переназначить.

  • Уровень - Уровень логирования события.

  • Время - Точное время фиксации транзакции на шине.

  • Запрос - Уникальный идентификатор транзакции, позволяющий объединять логи всех этапов маршрута в единую цепочку.

  • Отправитель - Для коннектора - система владелец коннектора. Для сервиса - логин пользователя, если определен.

  • Получатель - Наименование системы получателя при отправке с помощью тега set-destination.

  • Сервис - Значение параметра displayName сервиса/коннектора.

  • Операция - Только для сервисов. Наименование http метода.

  • Объект - Внутренний идентификатор пакета/сообщения.

  • Описание - Кастомный текст или данные сообщения, настроенные для вывода в лог.

  • Параметр - Содержит пользовательские данные, например дополнительный идентификатор.

gr process log

Сбор и анализ журналов

Бизнес мониторинг

Для мониторинга интеграций предусмотрена панель Transactions, агрегирующая статусы обработанных сообщений, для зарегистрированных интеграций сервисов.

  • Из панели Transactions возможен переход на трассировку сообщения на панели Process, на которой выводится вся записанная в лог информация по процессу.

Grafana: Explore

Фильтрация логов осуществляется через раздел Explore в Grafana. С помощью конструктора запросов устанавливаются параметры фильтрации логов, возможен полнотекстный поиск, поиск по уровню записи и дате. Так же возможна агрегация и статистическая обработка записей.

Оповещения

  • Для уведомлений по нештатным ситуациям используется функциональность Alerting сервера Grafana;

  • Alert rules раздел правил срабатывания оповещений;

  • Contact points группы адресов и каналы для уведомления;

  • Notification policies установка соответствия уведомлений и групп ответственных для оповещения.

grafana alert