12.Сетевые протоколы СУБД. Database Networking Protocols

12+
12+

1 просмотр

8 часов назад

ПожаловатьсяНарушение авторских прав
12+
12+

1 просмотр

8 часов назад

ПожаловатьсяНарушение авторских прав
12+
12+

1 просмотр

8 часов назад

Lecture #12: Networking Protocols Краткое содержание: Сетевые клиент-серверные протоколы баз данных и устранение бутылочных горлышек передачи аналитических данных: - Ограничения устаревших сетевых протоколов: - Протоколы вроде PostgreSQL wire protocol и стандартные интерфейсы ODBC/JDBC строились в расчёте на передачу отдельных строк (OLTP). - При выгрузке миллионов строк в клиентские приложения (Python, Pandas, R, Spark) до 80% времени уходит на сериализацию, десериализацию и парсинг текстовых представлений. - Векторизованные и колоночные сетевые протоколы: - Apache Arrow Flight и стандарт ADBC (Arrow Database Connectivity): прямая передача данных по сети в бинарном колоночном представлении без дополнительных трансформаций (zero-copy). - Ускорители передачи данных: - Проект ConnectorX: многопоточная параллельная выгрузка партиций данных с прямой конвертацией в память целевого DataFrame. - Архитектура Tigger: специализированные прокси-серверы и оптимизация протоколов. - Аппаратное ускорение сети: - Использование технологии RDMA (Remote Direct Memory Access) для прямой передачи страниц данных между узлами кластера минуя стек ОС и CPU. Дата лекции: 13 March 2024 Слайды: https://15721.courses.cs.cmu.edu/spring2024/slides/12-networking.pdf Конспект: https://15721.courses.cs.cmu.edu/spring2024/notes/12-networking.pdf Статьи: - https://15721.courses.cs.cmu.edu/spring2024/papers/12-networking/p1022-muehleisen.pdf - https://15721.courses.cs.cmu.edu/spring2024/papers/12-networking/p2994-wang.pdf - https://15721.courses.cs.cmu.edu/spring2024/papers/12-networking/p3335-butrovich.pdf - https://15721.courses.cs.cmu.edu/spring2024/papers/12-networking/li-sigmod2016.pdf - https://15721.courses.cs.cmu.edu/spring2024/papers/12-networking/binnig-vldb2016.pdf Rutube плейлист: https://rutube.ru/plst/1923067 Автор: Andy Pavlo (https://www.cs.cmu.edu/~pavlo/) Курс: CMU Advanced Database Systems (15-721 / Spring 2024) https://15721.courses.cs.cmu.edu/spring2024/ YouTube_Playlist: https://youtube.com/playlist?list=PLSE8ODhjZXjYa_zX-KeMJui7pcN1rIaIJ&si=_JzW6pE0nsACv-Zo YouTube: https://www.youtube.com/watch?v=0tfDldfzlR8

Название:

12.Сетевые протоколы СУБД. Database Networking Protocols