08.Планирование и координация. Scheduling & Coordination
Lecture #08: Scheduling & Coordination Краткое содержание: Параллельное планирование задач и координация выполнения запросов на многоядерных NUMA-системах и в облаке: - Проблемы традиционного статического секционирования (Exchange Operators): - Негибкое разделение данных на фиксированные фрагменты приводит к простою потоков при перекосе данных (data skew). - Парадигма Morsel-Driven Parallelism (HyPer): - Разбиение входных данных на небольшие порции фиксированного размера (morsels, напр. 10 000 строк). - Централизованный диспетчер задач и динамический разбор порций свободными рабочими потоками (worker threads). - Учёт топологии NUMA: привязка потоков к ядрам, локализация выделения памяти под morsels и приоритет локальным узлам. - Кража работы (Work Stealing) и балансировка нагрузки: - Механизмы бесконфликтного перехвата задач отстающих потоков без деградации пропускной способности шины памяти. - Планирование в облачных бессерверных средах: - Разделение вычислительного состояния по требованию (on-demand state separation), эластичное масштабирование пула исполнителей и координация шаффлов. Дата лекции: 19 February 2024 Слайды: https://15721.courses.cs.cmu.edu/spring2024/slides/08-scheduling.pdf Конспект: https://15721.courses.cs.cmu.edu/spring2024/notes/08-scheduling.pdf Статьи: - https://15721.courses.cs.cmu.edu/spring2024/papers/08-scheduling/p743-leis.pdf - https://15721.courses.cs.cmu.edu/spring2024/papers/08-scheduling/p1442-psaroudakis.pdf - https://15721.courses.cs.cmu.edu/spring2024/papers/08-scheduling/p2966-winter.pdf - https://15721.courses.cs.cmu.edu/spring2024/papers/08-scheduling/wagner-sigmod21.pdf Rutube плейлист: https://rutube.ru/plst/1923067 Автор: Andy Pavlo (https://www.cs.cmu.edu/~pavlo/) Курс: CMU Advanced Database Systems (15-721 / Spring 2024) https://15721.courses.cs.cmu.edu/spring2024/ YouTube_Playlist: https://youtube.com/playlist?list=PLSE8ODhjZXjYa_zX-KeMJui7pcN1rIaIJ&si=_JzW6pE0nsACv-Zo YouTube: https://www.youtube.com/watch?v=VZjzKVfU46k
Название:
08.Планирование и координация. Scheduling & Coordination
Категория:
Технологии и интернет