[11] System Design - Проектируем Prometheus

Разбираем архитектуру платформы мониторинга метрик уровня Prometheus, Grafana и Datadog — на масштабе 500 000 серверов и 5 миллионов метрик в секунду. В этом видео: — Back-of-the-envelope расчёты: 5M метрик/сек, 1 ГБ/сек raw, 86 ТБ/день — Core Entities: Metric, Label, Series и проблема cardinality — Streaming алерты на Flink vs polling-подход — Pre-computation, rollups, downsampling для быстрых дашбордов — Cardinality explosion и как с этим бороться — High Availability, out-of-order data, watermarks — Meta-monitoring: как мониторить саму систему мониторинга ━━━ Таймкоды ━━━ 00:00 Введение 00:20 Требования 02:20 Высокоуровневая архитектура 32:55 Deep Dive — Low-Latency Queries 41:40 Deep Dive — Alert Latency 44:36 Deep Dive — High Availability 48:09 Deep Dive — Cardinality explosion 52:49 Deep Dive — Meta-monitoring ━━━━━━━━━━━━ #prometheus #grafana #systemdesign #архитектура