SABSUS

INTERCOM · FIN · ПРОВЕРКА AI-ПОДДЕРЖКИ

Fin Releases и Evals: почему успешного теста мало для запуска

Изменение инструкции AI-агента может затронуть больше обращений, чем ожидала команда. Fin теперь позволяет собирать изменения отдельно, проверять их и выпускать постепенно. Но симуляция разговора не доказывает работу живой интеграции.

Редакция SABSUS · · Источники проверены 7 ноября

Изменения больше не обязаны сразу попадать ко всем клиентам

5 ноября Intercom сообщил о Releases: отдельном пространстве для подготовки связанных изменений, проверки через Preview и Evals, постепенного запуска или A/B-теста против Main Fin. Это относится к Service agent. Источник: официальное обновление Intercom.

Документация Evals подтверждает общую доступность Releases с 5 ноября и доступ Evals для всех клиентов Fin без заявки в beta. Это новость о доступности инструментов, а не доказательство, что конфигурация любого бизнеса уже безопасна.

Практический смысл для владельца: отделить редактирование от решения о запуске. Например, новая инструкция по подготовке к визиту должна пройти проверку вместе с правилами передачи оператору, а не попасть в работу только потому, что текст выглядит убедительно.

Три места, где зелёный тест может создать ложную уверенность

Данные коннектора не живые

В симуляции коннектор всегда возвращает сохранённый тестовый ответ. Правильный ответ Fin на такой набор данных не подтверждает доступность сервиса, действующие права или корректность реальных записей.

Тестовый клиент видит слишком много

Стандартный Test customer относится ко всем аудиториям. Для проверки адресных правил документация предлагает выбрать конкретного customer или lead. Иначе тест не воспроизводит ограничения выбранного клиента.

Передача не означает исполнение

Проверка может подтвердить передачу в workflow, но не моделирует, что workflow сделает дальше. Создание задачи, уведомление команды и фактическое завершение требуют отдельной проверки.

Первые два ограничения описаны в настройке симуляций, последнее — в ограничениях Evals. Симуляции поддерживают Chat и Email, заканчиваются не позднее шести ответов Fin; один Eval содержит максимум 50 симуляций. Не распространяйте такой результат на голосовой сценарий или длинный разговор без отдельного испытания.

Учебный сценарий: новая инструкция перед визитом

Представим вымышленную сервисную компанию, которая меняет ответ на вопрос о подготовке к услуге. Цель пилота — дать правильную инструкцию подходящему клиенту и передать исключение человеку. Это редакционный пример, не результат клиента SABSUS.

  1. Определите правильный результат до запуска. Для обычного случая ожидайте нужную инструкцию; для неизвестной услуги — уточняющий вопрос; для исключения — передачу ответственному. Не требуйте от агента решать любой запрос самостоятельно.
  2. Соберите небольшую проверочную выборку. Включите обычный вопрос, неполные сведения, неверную аудиторию, противоречащие данные и просьбу об исключении. Сохраните тот же набор для текущей версии и кандидата, чтобы сравнение не зависело от удобных примеров.
  3. Явно задайте ожидаемую передачу. Согласно инструкции симуляций, при отсутствии Handoff check и других проверок используется не показанное в редакторе условие No handoff. Правильная передача человеку тогда может выглядеть как провал. Сначала проверьте критерий, а не пытайтесь устранить полезную эскалацию.
  4. Прочитайте диалоги, а не только оценки. Отдельно смотрите, не выдумал ли агент недостающие сведения, не выбрал ли чужую инструкцию и не пообещал ли действие без подтверждения. Просмотрите часть успешных тестов тоже: оценка модели не заменяет решение ответственного.
  5. Проверьте реальную границу отдельно. В согласованном безопасном сценарии убедитесь, что нужная система отдаёт ожидаемые данные и переданная задача действительно попадает команде. Не используйте реальные персональные сведения без необходимости и не отправляйте клиентам тестовые уведомления.

Для приёмки ведите два результата: корректность ответа в симуляции и проверку исполнения вне неё. Если первый есть, а второй отсутствует, статус — «логика проверена, интеграция ещё нет», а не «готово к запуску».

Постепенный запуск и откат — разные механизмы

По инструкции выпуска, постепенный запуск по умолчанию использует 10% разговоров. Долю нельзя менять у уже запущенного rollout: его нужно завершить и создать новый. Завершение возвращает все разговоры, включая текущие, на Main Fin. Это следует учитывать при выборе момента остановки.

После полного объединения релиза с Main Fin откат поддерживается не для всего: исключены escalation guidance, snippets, внутренние статьи, Evals и удалённые элементы. До запуска запишите состав изменений и план восстановления для каждого типа, а не рассчитывайте на одну универсальную кнопку отмены.

Начните с небольшой согласованной аудитории и заранее задайте условия остановки: неправильная инструкция, ошибочное обещание или потерянная передача. Смотрите не только resolution rate, но и повторные обращения, ошибки и качество исключений. Сравнивайте одинаковые категории запросов и сохраняйте объём выборки; улучшение процента на нескольких разговорах ещё не доказывает устойчивый эффект.

Что проверить в доступе и бюджете

Ручной запуск Evals не требует Operator. Его автоматизация, включая расписание, относится к Pro add-on. Квота симуляций общая для workspace: например, при менее 1 000 разговоров за последние 30 дней доступно 250 запусков в месяц. Начатый запуск расходует квоту, даже если остановлен. Подробности и остальные диапазоны: правила Evals.

На странице цен Fin на дату проверки Pro указан от US$100 в месяц. Для Fin с существующим helpdesk указано US$0,99 за outcome и минимум 50 outcomes в месяц. Это не цена одного теста и не универсальная стоимость всех видов действий Fin. Проверьте свой сценарий и договор перед покупкой.

Для вывода релиза в работу нужны права Publish на каждый тип изменения; право Propose допускает подготовку, но не запуск. Preview-разговоры не тарифицируются согласно документации Releases. Бесплатный preview не означает бесплатную рабочую эксплуатацию.

Вывод для внедрения

Используйте Releases и Evals для управляемого изменения поведения, сохраняя отдельную проверку интеграций и исполнения. В SABSUS оцените задачи и регламенты для ответственности за проверку и границы интеграций. О том, кто отвечает после передачи, читайте отдельный разбор поддержки. Эта статья не подтверждает готовое соединение Fin с SABSUS и не обещает улучшения показателей без проверки.