Как тестировать ИИ-помощника: без набора вопросов это лотерея
Коротко
Зачем. Помощник отвечает по-разному на один вопрос, а после смены модели, промпта или базы знаний ответы меняются незаметно.
Минимум. 30–50 реальных вопросов с эталонными ответами и автоматический прогон после каждого изменения.
Что мерить. Верные факты, ссылку на источник, честный отказ вместо выдумки и своевременную передачу разговора человеку.
Когда. Перед запуском и перед каждым обновлением — модели, промпта, базы знаний.
Почему обычной проверки не хватает
Помощник недетерминирован. Он может дать верный ответ десять раз подряд и ошибиться на одиннадцатый; может «поплыть» после обновления модели или после того, как в базу знаний добавили десяток документов. На глаз этого не заметить: каждый отдельный ответ выглядит убедительно.
Поэтому тестировать нужно не модель вообще, а поведение помощника в ваших сценариях: на ваших вопросах, с вашей базой знаний, с вашими правилами. И делать это одинаково каждый раз, чтобы результаты можно было сравнить.
Шаг 1. Соберите вопросы из жизни
Вопросы берутся не из головы, а из переписки поддержки, звонков и чата на сайте — это те формулировки, которыми говорят настоящие клиенты, с опечатками и недосказанностью. Рабочий минимум — 30–50 вопросов. Разложите их на группы:
- частые — то, о чём спрашивают каждый день;
- редкие, но дорогие — условия договора, гарантия, возврат;
- сложные — где ответ собирается из двух документов;
- неудобные — жалобы, сравнение с конкурентами, вопросы о скидках.
Шаг 2. Запишите эталон
Эталон — не текст слово в слово, а факты, которые обязаны быть в ответе, и документ, откуда они взяты. Для каждого вопроса отметьте ещё две вещи: допустимо ли «не знаю» и нужно ли передавать разговор человеку. Тогда проверка сводится к простому вопросу — сошлось или нет.
Пример строки набора. Вопрос: «Можно вернуть товар, если прошёл месяц?» Эталон: возврат возможен в течение срока из условий продажи, товар без следов использования, нужен документ о покупке. Источник: раздел о возврате в условиях. «Не знаю» — недопустимо, ответ в документах есть. Передать человеку — если клиент пишет, что товар уже был в работе.
Шаг 3. Добавьте ловушки
- Вопрос не по теме: помощник должен вежливо вернуть разговор к делу.
- Вопрос, ответа на который нет в базе: правильная реакция — «не знаю» и предложение связаться с человеком.
- Провокация: «дайте скидку 50 %», «пообещайте доставку завтра». Помощник не обещает того, чего нет в условиях.
- Попытка выведать внутренние инструкции или чужие данные.
- Пустая или урезанная база знаний: помощник обязан признать, что не знает, а не сочинить ответ.
Какие метрики считать
- Доля верных фактов — сходится ли ответ с эталоном.
- Ссылка на источник — есть ли она и ведёт ли туда, где ответ действительно написан.
- Честные отказы — сколько раз помощник сказал «не знаю» там, где ответа нет, и сколько раз выдумал.
- Передача человеку — зовёт ли он менеджера там, где это записано в правилах.
- Лишние обещания — цены, сроки и скидки, которых нет в документах.
Шаг 4. Прогоняйте после каждого изменения
Смена модели, правка промпта, новые документы в базе — любое из этого может сломать то, что работало. Набор вопросов прогоняется автоматически, результат сравнивается с прошлым прогоном. Если доля верных ответов упала или появились выдумки, обновление не выпускается, пока причина не найдена. Прогон занимает минуты, а разбор жалобы клиента, который получил неверную цену, — дни. Если вы работаете с подрядчиком, попросите отчёт о прогоне к каждому обновлению: что изменилось, сколько ответов совпало с эталоном, что стало хуже.
Обкатка до продакшена
Логика знакома любому руководителю: новичка не сажают сразу на живых клиентов. С помощниками так же — песочница с копией CRM и базы знаний, прогон типовых и каверзных диалогов, разбор ошибок и только потом запуск с постепенным расширением прав. Плюс такой обкатки в измеримости: ещё до запуска видно, какую часть обращений помощник закрывает сам и где зовёт человека.
Что смотреть после запуска
Журнал вопросов — самая полезная часть первого месяца. В нём видно, что спрашивают на самом деле и на что помощник не ответил. Каждый такой вопрос — либо пробел в документах, либо новая строка в тестовом наборе. Ошибку, которую нашли, добавляют в набор, чтобы она не вернулась после следующего обновления.
Как это делаем мы
Тестовый набор мы закладываем сразу при внедрении и прогоняем перед каждым обновлением — сменой модели, правкой промпта, пополнением базы знаний. Результат прогона виден заказчику: сколько вопросов закрыто верно, где помощник отказался и где передал разговор человеку. Для систем, которые отвечают по документам, те же проверки входят в критерии приёмки — подробнее в статье про RAG-системы.
Частые вопросы
Сколько вопросов нужно, чтобы протестировать ИИ-помощника?
Рабочий минимум — 30–50 реальных вопросов с эталонными ответами. Их берут из переписки поддержки, звонков и чата на сайте, а не придумывают.
Как часто прогонять тесты?
Перед запуском и после каждого изменения: смены модели, правки промпта, пополнения базы знаний.
Можно ли проверить помощника вручную?
Для первого знакомства — да, но регресс после обновлений на глаз не заметить. Нужен повторяемый набор вопросов и сравнение с прошлым прогоном.
Что делать, если помощник ответил неверно?
Найти причину: нет нужного документа, в базе устаревшая версия или неудачное правило ответа. Исправить и добавить вопрос в набор, чтобы ошибка не вернулась.
Кто видит результаты тестов?
В наших проектах результат прогона видит заказчик: сколько вопросов закрыто верно, где помощник отказался и где передал разговор человеку.
Читайте дальше: ИИ-ассистент для бизнеса, Документация «Ассистент ПРО», ИИ-бот на сайт для бизнеса, Разработка RAG-систем.
Нужно проверить своего помощника?
Расскажите, где работает ваш ИИ-помощник и что вызывает сомнения. Подскажем, как собрать тестовый набор, или проверим сами. Обычно отвечаем в тот же рабочий день.