Подходы к тестированию ИИ на правильность следования инструкциям (IFeval)

Для того чтобы протестировать насколько хорошо ИИ следует инструкциям, тестировать этот функционал надо таким способом: Для каждой тестовой конфигурации надо выполнять несколько тестов, подпадающих и не подпадающих под условия, которым надо следовать, в разном порядке, и обязательно надо проверять что отмена тестовой конфигурации сработала и она действительно отменена. 0:00 Введение 2:36 ChatGPT и объяснение тест процедуры на его примере 12:17 DeepSeek 15:12 Gemini (Google) 19:20 le Chat(MistralAI) 21:14 Grok3 (xAI) 23:57 Claude (Anthropic) 26:22 Cohere 27:57 Perplexity 30:02 Yasa(RekaAI) 32:21 Уточнение результата и заключение