Демонстрации недостаточно
Несколько удачных вопросов не показывают, как помощник работает с противоречиями, отсутствующими сведениями и ограничениями доступа.
Проверка должна воспроизводиться после изменения модели, настроек поиска или состава документов. Поэтому примеры превращаем в постоянный эталонный набор, а не используем только во время презентации.
Собираем набор
Для каждого рабочего сценария фиксируются вопрос, допустимые источники, обязательные факты и условия отказа от ответа.
- Типовой вопрос.
- Неоднозначная формулировка.
- Устаревший источник.
- Недоступный документ.
- Отсутствующий ответ.
Измеряем по слоям
Отдельно оцениваются поиск фрагментов, выбор источника, точность фактов и полезность итогового ответа для роли пользователя.
Так команда понимает, где возникла причина ошибки: нужный фрагмент не найден, выбран неверный источник или модель неправильно использовала корректный контекст.
Как принимаем результат
До пилота согласуем минимальные показатели для критичных и обычных вопросов. Критическая ошибка не должна растворяться в хорошем среднем значении.
- Доля найденных обязательных источников.
- Точность ключевых фактов.
- Корректность отказа при недостатке данных.
- Соблюдение прав доступа.
- Полезность ответа для рабочей роли.
Узнали свой процесс?
Пришлите один конкретный пример. Мы поможем определить, где находится причина и какой первый шаг даст проверяемый результат.
Разобрать проблемный участок ↗До результата
Автоматизация бизнеса, которая работает
Объединяем экспертизу в процессах, 1С, интеграциях, данных и эксплуатации
Соединяем анализ процессов, проектирование и реализацию. Под задачу подключаем профильных специалистов и работаем вместе с командой заказчика и его подрядчиками.
О команде и опыте →