Как подобрать инфраструктуру для LLM? От выбора железа до работы в Kubernetes 💥

Ефим Головин, старший менеджер MLOps в Selectel показал, как на практике решить проблемы с инференсом LLM. На Selectel Tech Day 2025 поговорили, что делать бизнесу с нехваткой GPU, высокими требованиями к ресурсам и дорогим автоскейлингом Kubernetes. А в качестве бонуса Ефим разобрал квантизацию, оптимизацию образов, кеширование весов и узкие места автоскейлинга. Смотрите доклад в удобное время 👀 Официальный сайт Selectel — https://slc.tl/hbJ0Q Подписывайтесь на Selectel в социальных сетях: Telegram — https://t.me/selectel VK — https://vk.com/selectel Подписывайтесь на блоги Selectel: Хабр — https://habr.com/ru/company/selectel/ vc.ru — https://vc.ru/selectel Не пропускайте мероприятия, которые Selectel проводит сам и вместе с партнерами: https://slc.tl/khiyk Телеграм-канал с вакансиями: https://t.me/selectelcareers