Оптимизация работы с данными для Data Warehouse Analyst //Курс «Data Warehouse Analyst»

На уроке вы узнаете: основные принципы при оптимизации работы с данными, ключевые моменты которые необходимо учитывать при работе с данными и выборе стратегии построения корпоративного хранилища данных. В результате рассмотрим: - Методы и инструменты для сбора и обработки данных - Проектирование и оптимизация структуры хранилища данных - Разработка и оптимизация ETL-процессов - Мониторинг и обеспечение качества данных Кому подойдёт: junior +\ middle DWH analyst «Data Warehouse Analyst» - https://otus.pw/cj41/ Преподаватель: Анатолий Борзилов - главный архитектор данных "Иннотех" Пройдите опрос по итогам мероприятия - https://otus.pw/5scW/ Эпизоды: 00:00 - Начало трансляции 00:54 - Знакомство с лектором Борзиловым Анатолием, главным архитектором данных Иннотех 08:46 - Карта курса 17:30 - В чем отличие TCP систем от UDP 19:00 - Свойства источников 20:42 - Пара слов о Self-managed data pipelines (arrbyte, singer, apache airflow, dagster, meltano) 21:15 - В чем разница пассивных и активных источников 22:23 - Структурные / неструктурные данные 23:26 - Бинарные (Thrift, Avro, MsgPack) VS текстовые форматы данных (CSV, JSON, XML) 25:13 - Требования при проектировании и оптимизации структур хранилищ корпоративных данных (DWH). Типовые кейсы и требования. 28:48 - Логические слои DWH 30:11 - Подход Bill Inmon 30:39 - Подход Ralph Kimball 32:07 - Data Vault 33:42 - Anchor Modeling + Code Generation 35:50 -Об облачных ETL-решениях 43:20 - Подробнее о Self-managed data pipelines (arrbyte, singer, apache airflow, dagster, meltano) 51:30 - Качество данных и мониторинг с примерами 55:50 - Как не надо проверять качество данных 1:00:00 - Про процесс обучения на курсе DWH в Otus 1:04:05 - Карьерная информация по DWH Следите за новостями проекта: - Telegram: https://t.me/Otusjava - ВКонтакте: https://otus.pw/850t - LinkedIn: https://otus.pw/yQwQ/ - Хабр: https://otus.pw/S0nM/