Как дешевый S3 разделил Storage и Compute (и изменил базы данных)

Расскажу, почему возникли аналитические базы данных (они же OLAP или Data Warehouse) и почему они могут быстро читать и агрегировать большое кол-во данных. Приведу пример самых известных data warehouse-ов (BigQuery, Snowflake, Clickhouse), расскажу про проблему с ними и как эта проблема решалась с помощью разделения storage и compute. И в конце расскажу, как S3 сделал хранение данных дешевым, про репликацию через кодирование Рида-Соломона и другие архитектурные решения. Обсужу следующие технологии: Big Query Snowflake Clickhouse Apache Iceberg, Apache Hudi, Delta lake Spark/Trino S3 (погружусь в детали❗) Канал в телеграме: https://t.me/distributed_system_design Платный курс с роадмапом: https://t.me/tribute/app?startapp=sUJx 1-1 консультация / мок-собеседование: ser.sysd.channel@gmail.com По другим вопросам: ser.sysd.channel@gmail.com Тайм-коды: 00:00 Введение 00:36 OLTP (транзакционные) базы данных, точечные запросы 01:20 OLAP (аналитически) базы данных 02:35 Главные особенности OLAP баз данных. Колоночное хранение 04:29 Главные особенности OLAP баз данных. Низкая гранулярность индексации и сжатие данных 06:37 Главные особенности OLAP баз данных. Вывод 07:12 Date warehouse, OLAP бд, аналитическая бд - одно и тоже с практической точки зрения 09:18 Первые известные date warehouses: BigQuery, Snowflake, Clickhouse 10:48 Проблемы с data warehouse-ами. Разделение storage и compute ❗️ 12:23 S3 провоцирует разделение storage и compute 13:24 Data lake 15:12 Проблемы data lake. Открытые форматы таблиц: Iceberg, Hudi, Deltalake 17:12 Преимущества открытых форматов таблиц над классическими date warehouse-ами 20:31 Главный вывод по существуюшим технологиям (далее опционально, немного математики) 21:59 Как S3 удается дешево хранить данные. Код Рида-Соломона Канал в телеграмме (есть чат): https://t.me/distributed_system_design