05.Выполнение и обработка запросов II. Query Execution & Processing II

12+
12+

1 просмотр

9 часов назад

ПожаловатьсяНарушение авторских прав
12+
12+

1 просмотр

9 часов назад

ПожаловатьсяНарушение авторских прав
12+
12+

1 просмотр

9 часов назад

Lecture #05: Query Execution & Processing II Краткое содержание: Архитектура универсальных автономных движков исполнения аналитических запросов на примере библиотеки Meta Velox: - Концепция автономных библиотек исполнения: - Отказ от написания СУБД с нуля в пользу переиспользуемых модулей исполнения на C++ или Rust (Velox, DataFusion, Polars). - Движок не содержит собственного SQL-парсера, каталога и оптимизатора стоимости, принимая на вход готовый физический план (DAG операторов). - Архитектурное устройство Meta Velox: - Push-модель обработки данных векторными пакетами. - Прекомпилированные вычислительные примитивы и оптимизированные операторы (хеш-соединения, агрегации, сортировки). - Система коннекторов к объектным хранилищам (S3, HDFS) и адаптеров к форматам файлов (Parquet, ORC/DWRF). - Векторные структуры данных и расширение Apache Arrow: - Представление коротких и длинных строк в немецком стиле (German-style string layout): 4 байта длины, 4 байта префикса строки (для быстрого сравнения без разыменования указателя) и 8 байт полезной нагрузки либо указателя. - Вычисление выражений (Expression Evaluation): - Представление условий WHERE в виде деревьев выражений. - Оптимизации: свертка констант (constant folding), устранение общих подвыражений (Common Subexpression Elimination) и адаптивный порядок применения фильтров. Дата лекции: 07 February 2024 Слайды: https://15721.courses.cs.cmu.edu/spring2024/slides/05-execution2.pdf Конспект: https://15721.courses.cs.cmu.edu/spring2024/notes/05-execution2.pdf Статьи: - https://15721.courses.cs.cmu.edu/spring2024/papers/05-execution2/p3372-pedreira.pdf - https://15721.courses.cs.cmu.edu/spring2024/papers/05-execution2/p77-chattopadhyay.pdf Rutube плейлист: https://rutube.ru/plst/1923067 Автор: Andy Pavlo (https://www.cs.cmu.edu/~pavlo/) Курс: CMU Advanced Database Systems (15-721 / Spring 2024) https://15721.courses.cs.cmu.edu/spring2024/ YouTube_Playlist: https://youtube.com/playlist?list=PLSE8ODhjZXjYa_zX-KeMJui7pcN1rIaIJ&si=_JzW6pE0nsACv-Zo YouTube: https://www.youtube.com/watch?v=et54i_Rplik

Название:

05.Выполнение и обработка запросов II. Query Execution & Processing II