Airflow: Backfill (Как работают данные: практические кейсы) #6

15 подписчиков

12+
12+

2 просмотра

15 дней назад

ПожаловатьсяНарушение авторских прав

15 подписчиков

12+
12+

2 просмотра

15 дней назад

ПожаловатьсяНарушение авторских прав
12+
12+

2 просмотра

15 дней назад

Это шестое видео из серии про Airflow. Сегодня в повестке дня - Backfill Забыли запустить DAG пару дней назад? Добавили новую таску и надо прогнать её по старым данным? **Backfill – наш "Доктор Кто" в мире Airflow!** Это команда, которая позволяет запустить ваш DAG на нужном вам историческом периоде. Мощно, но есть детали использования! 🔥 В видео разбираем: * Что такое Backfill и зачем он вообще? * Как им пользоваться (немного магии внутри! ) * Подводные камни - "а что, если...?" Подписывайтесь на телеграмм: Telegram https://t.me/marat_notes Материалы по видео (используемая реализация backfill): https://github.com/MaratNotes/marat_notes/tree/master/how_data_works-practice_cases/airflow_backfill Видео из цикла - Как работают данные: практические кейсы. Если Вы когда-нибудь задумывались или хотите узнать как данные перемещаются внутри реальных продуктов, как строятся пайплайны, отслеживается их состояние и обеспечивается надёжная передача информации между системами - то этот цикл видео для Вас! Этот курс — гид в мир современных data-технологий. Я не буду просто теоретизировать, в результате мы вместе построим настоящую инфраструктуру обработки данных с нуля. - - - 00:00 Приветственное слово 00:13 Backfill: Теория 4:42 Backfill: Практика 14:04 Заключительное слово #DataEngineering #ApacheAirflow #ETL #TechTutorial #DataInfrastructure #HandsOnTutorial #YoutubeEducation

Название:

Airflow: Backfill (Как работают данные: практические кейсы) #6

Категория:

Разное