KPI внедрения ИИ в компании: метрики результата

KPI внедрения ИИ — это набор измеримых показателей, которые сравнивают состояние процесса «до» и «после»: время операции, количество ошибок, ручные возвраты, стоимость, доступность сервиса и доля сотрудников, которые реально используют систему. Без зафиксированной исходной точки любое улучшение остаётся на уровне ощущений.

Статья — для руководителя, который планирует автоматизацию и хочет понять: что именно считать, когда начинать измерять и как убедиться, что вложение работает.

Исходная точка: что измерять до запуска

Первый шаг — зафиксировать текущее состояние. Это делается на этапе оценки процесса, до того как написана первая строка кода.

Что фиксируем:

• Сколько времени занимает операция вручную — от получения данных до результата.
• Сколько ошибок допускает отдел за неделю или месяц.
• Сколько случаев возвращается на доработку или требует ручной проверки.
• Сколько стоит один час сотрудника, занятого этой операцией.
• Сколько сотрудников выполняют процесс и как часто.

Эти цифры — база для всех последующих сравнений. Если процесс не описан и данные не собраны, внедрение ИИ начинается вслепую.

На практике исходные данные собирают кураторы процессов со стороны заказчика. Они объясняют, как устроена работа, передают примеры документов и организуют общение с сотрудниками. Этапы оценки и сбора данных описаны в разделе как проходит внедрение.

Шесть метрик эффективности внедрения ИИ

Метрики ИИ проекта делятся на две группы: про результат и про людей.

Про результат

Время операции. Сколько минут или часов от начала до конца. У ручного процесса — от момента, когда сотрудник получил задачу, до момента, когда результат передан дальше. У автоматизированного — от входящего события до готового ответа или действия.

Ошибки. Количество некорректных ответов, пропущенных полей, неправильно заполненных документов. Считаем за фиксированный период и сравниваем до и после.

Ручные возвраты. Случаи, когда результат автоматизации не прошёл проверку и вернулся человеку. Это отдельная метрика от ошибок: агент мог ответить формально правильно, но оператор посчитал ответ недостаточным.

Стоимость одной операции. Часы сотрудника, умноженные на ставку, плюс доля расходов на инфраструктуру и модели. После автоматизации в стоимость входит только время контроля человека и расход на API.

Про людей

Доступность сервиса. Доля времени, когда система работает и отвечает. Если агент доступен 8 часов в сутки, а сотрудники работают 10, два часа покрыты вручную — это видно в метрике.

Принятие сотрудниками. Доля сотрудников, которые регулярно используют агента, а не обходят его. Если система запущена, но большая часть отдела продолжает работать по-старому, KPI не достигнут, даже если технически всё работает.

Пример: KPI внедрения ИИ-агента в отдел продаж

Это иллюстративный пример, а не опубликованный кейс клиента.

Допустим, в отделе продаж менеджер тратит около 40 минут на подготовку коммерческого предложения: выгрузка данных из CRM, проверка цен, вставка блоков из шаблона, отправка на согласование. Ошибки случаются регулярно — не тот прайс, устаревшая номенклатура, пропущенное условие доставки. Из-за ошибок предложение возвращается на доработку, и клиент ждёт ещё день.

После запуска ИИ-агента, интегрированного с CRM и базой знаний, время подготовки сокращается до нескольких минут: агент собирает данные, формирует документ, ставит задачу на проверку. Ошибки фиксируются в журнале действий и становятся видны сразу. Ручные возвраты сокращаются, потому что агент проверяет заполнение полей по правилам.

Принятие: в первый месяц агентом пользуются не все менеджеры. Часть не доверяет или не понимает, как ставить задачу. После разбора реальных диалогов и корректировки инструкций доля пользователей растёт.

Этапы внедрения и где появляются цифры

KPI внедрения ИИ не появляются на этапе запуска. Они формируются пошагово:

1. Описание задачи. Вы рассказываете, что делается вручную. Здесь фиксируем исходные показатели.
2. Оценка. Проверяем, подходит ли задача для ИИ. Называем диапазон часов и лимит бюджета — это первая финансовая метрика проекта.
3. Договор и доступы. Согласуем, где работает система, какие данные видит модель, что агент может изменить сам.
4. Сборка. Архитектура, агент, интеграции. Каждый час записан в журнал работ.
5. Проверка. Прогоняем типовые, ошибочные и рискованные сценарии. Здесь появляются первые данные об ошибках и возвратах.
6. Запуск и сопровождение. Инструкции, обучение, регламент. После запуска начинается сравнение с исходной точкой.

Остановиться можно после любого этапа. Оплачиваются только часы, записанные в журнал и принятые актом.

Какие данные и доступы нужны для измерения

Чтобы считать метрики, агент должен видеть те же системы, в которых работает сотрудник: CRM, почту, мессенджер, базу знаний, 1С. Без доступа к системам измерять нечего — агент не сможет ни выполнить операцию, ни записать результат.

До начала работ с вашей ИТ-службой и службой информационной безопасности согласуем три решения:

• Где работает система — ваш сервер или арендованная площадка в России.
• Какие данные видит модель — классы данных, разрешённые для внешних моделей, фиксируем политикой проекта.
• Что агент может изменить — список операций, которые агент выполняет сам, и операций, которые ждут подтверждения человека.

Доступы выдаются с минимальными правами. Секреты и ключи передаются отдельно от кода, по защищённому каналу.

Контроль человека: что агент делает сам, а что нет

Метрика «ошибки» имеет смысл только если понятно, где заканчивается зона ответственности агента и начинается зона ответственности сотрудника.

По умолчанию агент работает в согласованном диапазоне операций. Спорные случаи передаёт назначенному сотруднику. Действия журналируются: что сделал агент, что подтвердил человек, что вернулось на доработку.

Это не ограничение — это условие, при котором KPI вообще можно считать. Если агент действует без контроля, ошибки обнаруживаются поздно и в непредсказуемом месте. Если контроль слишком жёсткий, метрика «время операции» не улучшается, потому что человек проверяет каждый шаг.

Баланс настраивается на этапе проверки и корректируется после запуска.

Риски: почему метрики могут не совпасть с ожиданиями

Три типичные ситуации.

Исходные данные собраны неполно. Если до запуска не зафиксированы ошибки и возвраты, после запуска не с чем сравнивать. Решение: собираем данные на этапе оценки, даже если это занимает дополнительное время.

Сотрудники не приняли систему. Технически агент работает, но сотрудники продолжают делать вручную. Метрика «принятие» показывает проблему, но не решает её. Решение: обучение на реальных вопросах отдела, разбор диалогов, корректировка инструкций. Это часть сопровождения и обучения.

Ожидания не совпадают с границами задачи. Агент автоматизирует одну операцию, а руководитель ждёт улучшения по всему процессу. Решение: на этапе оценки фиксируем, какие именно операции входят в зону автоматизации, и по ним считаем KPI.

Как проверить результат после запуска

Проверка — не разовое мероприятие. После запуска агент работает в реальном отделе, и данные накапливаются.

Что проверяем в первый месяц:

• Журнал действий агента: что сделал, что передал человеку, где были ошибки.
• Обратную связь сотрудников: что работает, что мешает, что непонятно.
• Доступность: были ли сбои, как быстро восстановилась работа.

Что проверяем ежемесячно:

• Сравнение с исходной точкой по времени, ошибкам, возвратам, стоимости.
• Динамику принятия: растёт ли доля сотрудников, которые используют агента.
• Расход на модели и инфраструктуру — он должен быть предсказуемым и вписываться в согласованный лимит.

По итогам месяца формируется отчёт для руководителя и акт для бухгалтерии. Отчёт показывает, что изменилось в работе отдела на языке задачи. Акт — основание для оплаты по факту выполненных работ. Структура отчёта и акта описана в разделе как проходит внедрение.

С чего начать

Начните с одного процесса. Не с «внедрения ИИ в компанию», а с конкретной операции, которую выполняет один отдел.

Опишите: кто выполняет процесс, что делается вручную, в каких системах лежат данные и какой результат нужен. Техническое задание не требуется — достаточно одного абзаца.

На этапе оценки мы проверим, подходит ли задача для ИИ, назовём диапазон часов и лимит бюджета. Если ИИ здесь не нужен — скажем прямо. Оценка оплачивается по часам, дальнейшие работы не начинаются без вашего решения.

После пилота можно остановиться, расширить решение или перейти на сопровождение с согласованной ежемесячной платой. Актуальные ставки — в открытом прайсе.

KPI внедрения ИИ — это не абстрактные цифры из отчёта. Это конкретные показатели вашей операции: сколько времени она занимает, сколько ошибок допускает, сколько стоит и как её принимают сотрудники. Зафиксировали «до» — получили возможность честно оценить «после». Опишите задачу — ответим диапазоном часов.