Nvidia Triton Inference Server: строим production ML без разработчиков / Антон Алексеев

Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем Saint HighLoad++ 2026 Подробнее: https://clck.ru/3QZHTb Июнь, 2026. Санкт-Петербург, DESIGN DISTRICT DAA in SPB  -------- Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем HighLoad++ 2024 2 и 3 декабря 2024. Москва, Кампус СКОЛКОВО Презентация и тезисы: https://highload.ru/moscow/2024/abstracts/13369 В докладе я поделюсь опытом разработки и внедрения инференс-платформы на базе Triton Inference Server и Kubernetes. С какими проблемами мы столкнулись в Seldon и почему отказались от него. Как мы обеспечили канареечный деплой инференсов с помощью Istio. ... -------- Нашли ошибку в видео? Пишите нам на support@ontico.ru