Apache Airflow: от установки до составного DAG за 72 минуты

Новые видео, статьи и полезности в Telegram: https://t.me/+AvtWabJB1ms5NmE6 Файлы и инструкции: https://directprobi.ru/platform/apache-airflow-osnovy/ Таймкоды: [00:00:00] Введение в Apache Airflow [00:00:50] Airflow как дирижер в оркестре данных [00:01:47] Сравнение работы с Airflow и без него [00:04:10] Установка Airflow с помощью Docker [00:04:31] Скачивание и настройка Docker Compose [00:05:54] Быстрая установка дополнительных Python пакетов [00:07:06] Инициализация и запуск сервисов [00:08:43] Ключевые концепции и терминология [00:09:44] Понятие DAG, расписание и интервалы запуска [00:11:00] Типы операторов и использование сенсоров [00:11:34] Механизм XCom для обмена данными [00:12:00] Хуки, подключения и переменные [00:14:19] Создание и тестирование первого DAG [00:15:42] Использование контекста и шаблонов Jinja [00:17:15] Управление запусками через интерфейс [00:18:36] Автоматизация сбора данных из Яндекс.Метрики [00:19:03] Настройка подключений в веб-интерфейсе [00:23:26] Написание кода DAG для ClickHouse [00:29:45] Запуск и проверка результата в базе [00:31:45] Рекомендации по настройке и оптимизации Airflow [00:33:42] Управление логикой запуска через Trigger Rules [00:34:34] Очистка метаданных и хранение логов [00:36:31] Обзор интерфейса Airflow 3 [00:50:20] Продвинутые возможности автоматизации [00:51:15] Создание собственных кастомных операторов [00:52:41] Динамическое ветвление задач и TriggerDagRun [00:53:50] Управление пайплайнами через REST API [00:54:35] Комплексный кейс: сбор данных и уведомления [00:55:54] Разработка оператора для подсчета визитов [00:58:43] Отправка сводных отчетов в Telegram [01:06:08] Архитектура и внутреннее устройство системы [01:06:36] Роль Scheduler, Executor и Worker [01:09:16] Вспомогательные сервисы в Docker Compose [01:10:55] Полезные советы для стабильной работы Другие интересные видео: Инструкции по загрузке в CH: https://youtu.be/OHwtIrQyF68 Загрузка в Google Sheets: https://youtu.be/KvuaLI8mGDU Power Query полный курс: https://youtu.be/pAn4FLC5nEU Получение из Clickhouse: https://youtu.be/1t_PrAuSoL8