01.Современные аналитические СУБД. Modern Analytical Database Systems

12+
12+

7 просмотров

9 часов назад

ПожаловатьсяНарушение авторских прав
12+
12+

7 просмотров

9 часов назад

ПожаловатьсяНарушение авторских прав
12+
12+

7 просмотров

9 часов назад

Lecture #01: Modern Analytical Database Systems Краткое содержание: Анализ эволюции архитектур аналитических систем (OLAP) за последние десятилетия и формирование современной парадигмы Lakehouse: - Историческая ретроспектива развития аналитических хранилищ: - 1990-е годы: Data Cubes и многомерные массивы предварительно вычисленных агрегатов поверх строковых транзакционных СУБД. - 2000-е годы: появление специализированных колоночных shared-nothing систем (Vertica, Greenplum, MonetDB), оптимизированных под чтение больших массивов данных. - 2010-е годы: переход к разделению вычислений и дискового пространства (Shared-Disk / Cloud Data Warehouses) и расцвет распределённых систем вроде Hadoop и Spark. - 2020-е годы: становление систем Lakehouse, объединяющих гибкость Data Lake и строгую семантику традиционных Data Warehouse. - Ключевые принципы платформ Lakehouse: - Изоляция и разделение вычислений и объектного хранилища (S3, GCS, Azure Blob). - Поддержка транзакций ACID и версионирования поверх открытых форматов файлов через лог изменений. - Преодоление барьеров между SQL-аналитикой, сложным процедурным кодом и задачами машинного обучения (ML/AI). - Манифест компонуемых систем управления данными (Composable Data Management): - Распад монолитных СУБД на независимые открытые модули: стандартизированное промежуточное представление запросов (Substrait), колоночные структуры в памяти (Apache Arrow), автономные библиотеки исполнения (Velox, DataFusion) и встраиваемые движки. Дата лекции: 22 January 2024 Слайды: https://15721.courses.cs.cmu.edu/spring2024/slides/01-modernolap.pdf Конспект: https://15721.courses.cs.cmu.edu/spring2024/notes/01-modernolap.pdf Статьи: - https://15721.courses.cs.cmu.edu/spring2024/papers/01-modern/armbrust-cidr21.pdf - https://15721.courses.cs.cmu.edu/spring2024/papers/01-modern/p2679-pedreira.pdf Rutube плейлист: https://rutube.ru/plst/1923067 Автор: Andy Pavlo (https://www.cs.cmu.edu/~pavlo/) Курс: CMU Advanced Database Systems (15-721 / Spring 2024) https://15721.courses.cs.cmu.edu/spring2024/ YouTube_Playlist: https://youtube.com/playlist?list=PLSE8ODhjZXjYa_zX-KeMJui7pcN1rIaIJ&si=_JzW6pE0nsACv-Zo YouTube: https://www.youtube.com/watch?v=5J-I8Mj8tss 00:00:00 — Введение в курс: современные аналитические СУБД и план семестра. 00:03:00 — Различие между OLTP и OLAP‑системами: назначение и ключевые задачи. 00:06:00 — Монолитные системы баз данных (Sclite, DuckDB, MySQL, Postgres) и их эволюция. 00:10:00 — Развитие аналитических нагрузок: от строкового хранилища к кубам данных (материализованным представлениям). 00:15:00 — Появление специализированных хранилищ данных в середине 2000‑х (пример — Redshift). 00:20:00 — Архитектура без общих ресурсов: каждый узел имеет собственные диск, память и процессор. 00:25:00 — Переход к системам с общим диском: передача управления хранением данных сервису (например, S3). 00:30:00 — Современные системы с объектным хранилищем: оптимизация вычислительного уровня (пример — Snowflake). 00:35:00 — Понятие «озера данных» (Data Lake) и подход Lake House: автоматизация работы с данными. 00:40:00 — Структура планировщика: каталог, оптимизатор, модель затрат, получение информации о таблицах. 00:45:00 — Процесс выполнения запроса: служба ввода‑вывода, извлечение данных, вычисления, возврат ответа. 00:50:00 — Особенности распределённых систем: горизонтально масштабируемые базы данных («Снежинка», «Красное смещение»). 00:55:00 — Распределение данных: хеширование ключа секционирования, передача данных между узлами. 01:00:00 — Отличие планировщика и координатора от оркестраторов (Kubernetes): управление выполнением запросов vs проверка работоспособности. 01:05:00 — Форматы данных и архитектура хранения: JSON, Parquet; постоянные данные vs недолговечные артефакты. 01:10:00 — Проблемы масштабирования и преимущества архитектуры с общим диском. 01:15:00 — Кэширование: снижение задержек при доступе к данным в облачных хранилищах. 01:20:00 — История развития систем с общим диском: идеи 1980‑х, популярность 2010‑х; пример — Oracle Exadata. 01:25:00 — Столбцовый формат хранения данных: разделение таблицы на группы строк/блоки. 01:30:00 — Планы на семестр: фокус на выполнении запросов на центральных процессорах, обсуждение форматов Parquet и ORC.

Название:

01.Современные аналитические СУБД. Modern Analytical Database Systems