PORTcore · Тестирование качества LLM и ИИ-ассистентов
Тестирование качества LLM и ИИ-ассистентов
Помогаем понять, на каких рабочих вопросах ассистент полезен, где ошибается и можно ли выпускать новую версию без ухудшения важных сценариев.
Красивый ответ ещё не означает правильный
На демонстрации ассистент легко производит хорошее впечатление. Но решение о запуске принимается на других примерах: неполном запросе клиента, устаревшем документе, противоречивых условиях и вопросе, на который у системы нет основания отвечать. Собираем такие ситуации из вашего процесса и превращаем их в проверяемый набор. В нём должно быть видно, какое поведение считается полезным, а какая ошибка недопустима даже при убедительной формулировке.
Для базы знаний проверяем опору на доступный источник; для извлечения данных — смысл конкретного поля; для помощника менеджера — соответствие правилам общения и границам его полномочий. Единой оценки «качество ИИ» для всех этих задач недостаточно. Критерии определяются вместе с человеком, который отвечает за рабочий результат, а не только с разработчиком модели.
Набор, которым команда сможет пользоваться
Передаём сценарии, ожидаемое поведение, способ запуска и результаты исходного прогона. Ошибки связываем с конкретными примерами, чтобы разработчик мог воспроизвести проблему. Набор можно включить в подготовку релиза или расширять после новых обращений. Это рабочая основа для контроля изменений, а не сертификат отсутствия любых ошибок.
Начинаем с одного ассистента и доступной выборки задач. Для оценки нужны описание его назначения, тестовый доступ и сотрудник, который сможет разобрать неоднозначные ответы. Конфиденциальные примеры используем только в согласованном контуре. Состав выборки и ограничения выводов фиксируем до первого прогона.