Инференс приватных языковых моделей в Kubernetes: опыт AWS и Selectel

На Selectel ТехноДень Александр Маникайнен, ведущий системный администратор PaaS-продуктов, рассказал, как запустить большую языковую модель в Kubernetes и не утонуть в проблемах при масштабировании. Развернуть модель для теста несложно, а вот удержать ее в продакшене под реальной нагрузкой — уже задача для инфраструктуры. В докладе разбираем инференс-кластер по частям. Отдельное внимание уделяем тому, как подготовить систему к росту нагрузки. А в финале Александр делится готовым репозиторием манифестов, с которым можно поднять собственный эндпоинт без долгой подготовки. ИИ-платформа Selectel — https://slc.tl/wfdkl