Михаил Михайлов. Triton-rs: инференс на Rust

Михаил Михайлов Системный программист, Криптонит Машинное обучение сегодня невероятно популярно и находит применение в самых разных областях. Помимо вопросов подготовки тестовых данных и обучения моделей на них, остро стоит вопрос интеграции ML-моделей в приложения, обрабатывающие большие потоки данных в реальном времени. Вы нашли или создали идеальную модель машинного обучения, но не знаете, как эффективно встроить её в своё приложение? Данный доклад посвящён ответу на этот вопрос. Я поделюсь нашим опытом поиска оптимального решения по использованию ML-моделей в приложениях на rust, как в сервисах, так и нагруженных пайплайнах. В докладе будут освещены различные подходы к использованию моделей в приложении, а также представлено созданное нами решение - библиотека triton-rs, которая позволяет с минимальными усилиями запускать любую ML-модель, максимально эффективно используя ресурсы системы. Конференция RustCon: https://rustcon.ru/