Real time monitoring web applications for highload

Real-time мониторинг событий

Евгений Пальчевскийme@evgen.in

Над чем работал

• 2009-2011: Курировал разработку проекта–Аналитика для сайтов–Работа с 20-ю сторонними сервисами–Рост до 1M uniq/day –Top 500 Alexa

• Занимаюсь развитием своих продуктов

О чем поговорим

• Критерии мониторинга• Типы мониторинга• Анализ метрик и функционала• Система уведомлений

“Вы не можете контролировать то, что не можете измерить”

Том ДеМарко

Критерии мониторинга

• Простая интеграция с сервисами

Критерии мониторинга

• Простая интеграция с сервисами• Простые данные (event: value)

Критерии мониторинга

• Простая интеграция с сервисами• Простые данные (event: value)• Группировка метрик

Критерии мониторинга

• Простая интеграция с сервисами• Простые данные (event: value)• Группировка метрик• Удобный анализ состояния метрик

Критерии мониторинга

• Простая интеграция с сервисами• Простые данные (event: value)• Группировка метрик• Удобный анализ состояния метрик• Уведомления при проблемах

Типы мониторинга

• Проактивный• Активный• Пассивный

Проактивный мониторинг

• Предсказать поведение системы

• Прогнозировать появление узких мест

Активный мониторинг

• Периодический опрос сервисов

Пассивный мониторинг

• Реагирует на внешние сообщения

Дальше

Мониторинг• Анализ метрик и функционала• Система уведомлений

Анализ метрик

• Таблица сопряженности

Анализ метрик

• Таблица сопряженности

Анализ метрик

• Таблица сопряженности

Много метрик

Как посылаем метрики

• Асинхронно Hit::async ($id, $value);

Сохраняет в Redis Раз в 30 сек сервер аналитики

забирает данные по серверам

Как посылаем с метрики

• СинхронноGET hitsmetric.com/hits/send/$id/$value

• JSvar loader = new Image();loader.src =

http://hitsmetric.com/hits/send/$id/$value

Что внутри

Зоопарк–Symfony–Redis–ACL: MySQL

Статистика> 17 проектов> 500 метрик> 6M req/day

Дальше

МониторингАнализ метрик и функционала

• Система уведомлений

Первый мониторинг

Сообщение в скайп

Правило сложнее

http://notify.ninja/

Спасибо!

• Задайте вопросы

• Письма: me@evgen.in• Skype: dzenmail