EN Связаться
MON / 06 из 09 · Мониторинг

Мониторинг, который сообщает о сбое раньше пользователя

Настраиваем наблюдаемость от целей сервиса, а не от списка метрик. Каждое оповещение должно требовать действия.

Когда нас зовут
  • 01Дежурные отключили звук у оповещений
  • 02О сбое узнают из звонка пользователя
  • 03Панели есть, но на вопрос «что сломалось» они не отвечают
  • 04Мониторинг упал вместе с тем, за чем следил
+Мониторинг: иллюстрация тушью
ALR / 412 оповещений за ночь, ни одного действия
DEP / мониторинг стоит на кластере, за которым следит
MON / 06Находки условные
+
Первый день

Что проверяем сначала

  • Определяем, что для сервиса значит «работает», и измеряем это
  • Разбираем оповещения за месяц: сколько потребовали действия
  • Проверяем независимость мониторинга от наблюдаемой инфраструктуры
  • Смотрим, покрыты ли зависимости: DNS, сертификаты, хранилище
Инструмент

Бюджет ошибок и пороги оповещений

Множители 14,4 и 6 взяты из практики SRE: расход 2% бюджета за час и 5% за шесть часов.

+
Типовые отказы

Где это обычно ломается

A

Шум вместо сигнала

Порог на каждую метрику. Оповещений сотни, реагировать перестают, настоящий сбой теряется среди них.

B

Зелёные метрики, мёртвый сервис

Процессор и память в норме, а пользователь не может войти. Измеряют ресурсы, а не результат.

C

Наблюдатель внутри

Мониторинг живёт на том же кластере и хранилище. При аварии он гаснет первым.

+
Результат

Что остаётся у вас

  • Цели сервиса и бюджет ошибок для ключевых систем
  • Оповещения, каждое из которых привязано к действию
  • Панели для дежурного и для руководителя
← BKP

Резервное копирование

DC →

ЦОД

+
Связь

Опишите задачу

Напишите, что происходит и что уже пробовали. Ответит инженер, который будет заниматься вопросом.