22.Разбор системы Amazon Redshift. System Analysis (Amazon Redshift)

12+
12+

1 просмотр

8 часов назад

ПожаловатьсяНарушение авторских прав
12+
12+

1 просмотр

8 часов назад

ПожаловатьсяНарушение авторских прав
12+
12+

1 просмотр

8 часов назад

Lecture #22: System Analysis (Amazon Redshift) Краткое содержание: Эволюция архитектуры Amazon Redshift от специализированного аппаратно-программного комплекса до современного бессерверного облачного хранилища: - Исторические корни и переработка: - Изначальная кодовая база ParAccel/PostgreSQL и трансформация в распределенное облачное хранилище AWS. - Переход к архитектуре Redshift Managed Storage (RMS) с разделением вычислений и хранилища поверх Amazon S3. - Движок выполнения и гибридная компиляция: - Push-модель векторизованного исполнения с поздней материализацией кортежей. - Компиляция запросов: сочетание прекомпилированных примитивов и генерации C++ кода. - Облачный сервис компиляции (Compilation-as-a-Service, CaaS) с двухуровневым кэшированием бинарных модулей (локальный кэш кластера и глобальный кэш всего флота клиентов). - Аппаратное ускорение и адаптивность: - Аппаратный ускоритель AQUA (Advanced Query Accelerator): параллельная фильтрация и агрегация данных на специализированных процессорах AWS и FPGA рядом с хранилищем. - Ручная векторизация SIMD с интринсиками AVX2 и программная предвыборка данных (prefetching) в цикле сканирования. Дата лекции: 24 April 2024 Слайды: https://15721.courses.cs.cmu.edu/spring2024/slides/22-redshift.pdf Конспект: https://15721.courses.cs.cmu.edu/spring2024/notes/22-redshift.pdf Статьи: - https://15721.courses.cs.cmu.edu/spring2024/papers/22-redshift/redshift-sigmod2022.pdf - https://15721.courses.cs.cmu.edu/spring2024/papers/22-redshift/p1917-gupta.pdf Rutube плейлист: https://rutube.ru/plst/1923067 Автор: Andy Pavlo (https://www.cs.cmu.edu/~pavlo/) Курс: CMU Advanced Database Systems (15-721 / Spring 2024) https://15721.courses.cs.cmu.edu/spring2024/ YouTube_Playlist: https://youtube.com/playlist?list=PLSE8ODhjZXjYa_zX-KeMJui7pcN1rIaIJ&si=_JzW6pE0nsACv-Zo YouTube: https://www.youtube.com/watch?v=T9-MM8oHzsM

Название:

22.Разбор системы Amazon Redshift. System Analysis (Amazon Redshift)