Как контролировать стоимость AI-системы в production

7 подписчиков

12+
12+

2 просмотра

20 дней назад

ПожаловатьсяНарушение авторских прав

7 подписчиков

12+
12+

2 просмотра

20 дней назад

ПожаловатьсяНарушение авторских прав
12+
12+

2 просмотра

20 дней назад

Разбираем, где AI-фича начинает терять деньги после запуска: лишний контекст, tool calls, retries, длинный output, неправильная модель и отсутствие cost gate. В выпуске показываю practical cost passport для CTO, product и владельцев AI-направления: какие метрики писать в trace, какие лимиты ставить до релиза и как сравнивать prompt versions по цене, скорости и качеству. Источники: - Langfuse: 10 min Walkthrough of Langfuse - Open Source LLM Observability, Evaluation, and Prompt Management — https://www.youtube.com/watch?v=2E8iTvGo9Hs Академия CodeVibers: https://codevibers.ru/academy/ai-cost-control.html Telegram: https://t.me/code_vibers Таймкоды: 00:00 Зачем контролировать стоимость AI-фичи 01:17 Где возникают утечки бюджета 02:48 Observability и cost breakdown 04:15 Evals: экономия не должна ломать качество 05:00 Cost passport и release gate Источники: - Langfuse, 10 min Walkthrough of Langfuse - Open Source LLM Observability, Evaluation, and Prompt Management

Название:

Как контролировать стоимость AI-системы в production

Категория:

Разное