Перед загрузкой документов в RAG-базу знаний необходимо провести предварительную подготовку данных. Это не техническая деталь, а залог того, что ИИ будет отвечать по актуальным правилам компании, а не по устаревшим или ошибочным данным. Пропуск этого этапа — главная причина, когда система «глючит» и не вызывает доверия у сотрудников.
Подготовка включает аудит состава документов, проверку версий, структурирование текстов, очистку от дубликатов и настройку прав доступа. Грамотная подготовка документов для RAG позволяет сократить время индексации и получить систему, которая отвечает со ссылкой на пункт действующего регламента.
Когда нужна база знаний, а не ChatGPT
Публичная языковая модель отвечает «по памяти» общего обучения и не знает ваших внутренних стандартов и приказов. Она не может отличить действующую редакцию документа от отменённой и не даёт ссылок на пункты, по которым сформирован ответ. Более того, текст вашего вопроса и вставленные фрагменты уходят во внешний сервис.
Корпоративная RAG-база знаний устроена иначе. Она строится на ваших документах, хранящихся на вашем сервере. Ответ формируется из пунктов конкретных регламентов и всегда содержит ссылку на исходный документ. Система учитывает статус редакций, а если ответа в документах нет — говорит об этом, а не додумывает. Это принципиально меняет качество и надёжность поиска информации для сотрудников.
Чек-лист подготовки: что проверить до индексации
Качество данных RAG определяет полезность всей системы. Вот ключевые пункты, которые нужно упорядочить.
Состав и владелец. Составьте список всех документов, которые должны попасть в базу: стандарты, регламенты, приказы, должностные инструкции. Для каждого документа определите ответственного владельца, который отвечает за актуальность содержания. Это критично для поддержания системы в рабочем состоянии.
Версии и редакции. Проверьте, что в системе-источнике (например, в 1С:Документооборот) корректно отражается история редакций. Важно, чтобы отменённые версии были помечены и связаны с документом, который их отменил. База знаний будет хранить историю, но для её корректной работы исходные данные должны быть в порядке.
Структура и формат. Документы должны быть в машиночитаемом формате (docx, pdf с текстовым слоем). Сканы без текста не подойдут. Структура документа (заголовки, пункты, нумерация) поможет алгоритмам точнее разбивать текст на смысловые фрагменты для поиска.
Дубликаты и неактуальные файлы. Удалите или переместите из рабочих папок дубликаты файлов и устаревшие версии, которые не нужны сотрудникам. Иначе система может индексировать мусорные данные.
Метаданные. Убедитесь, что у файлов есть корректные имена, а в свойствах (например, в карточке документа в 1С) указаны ключевые метаданные: номер, дата ввода в действие, статус.
Права доступа. Определите, какие документы должны быть видны всем сотрудникам, а какие — только конкретным отделам. Матрица доступов настраивается до индексации и является частью работ по подготовке.
Этапы внедрения: от аудита до запуска
Процесс создания RAG-базы знаний проходит в несколько шагов, каждый из которых завершается проверяемым результатом.
- Описание задачи. Вы определяете, какие документы нужны, где они хранятся и для каких сотрудников система предназначена.
- Оценка. Мы проверяем, подходят ли источники данных, есть ли у них программные интерфейсы, и называем примерный объём работ. Подготовка и очистка данных — одна из ключевых позиций на этом этапе.
- Договор и доступы. Согласовываем площадку размещения (ваш сервер или арендованный в России), фиксируем политику данных и настраиваем минимальные необходимые права доступа к системам.
- Сборка. Выполняется подключение к источникам (например, к 1С:Документооборот через OData/API), очистка и структурирование данных, настройка векторного хранилища и самого агента.
- Проверка. Прогоняются тесты: типовые, ошибочные и рискованные сценарии. Проверяется, что ссылки ведут на существующие пункты, а отменённые редакции не всплывают. Агент сначала работает в стендовой группе для руководителя и ИТ.
- Запуск и сопровождение. Обучение сотрудников, передача инструкций и регламента сопровождения. Далее работа идёт по часам: мониторинг, доработки, добавление новых документов.
Контроль человека и проверка качества
Автоматизация не исключает человеческую проверку. Перед выходом базы знаний в отдел ответственные сотрудники проводят ревизию.
* Контрольные вопросы. Руководитель отдела составляет список реальных вопросов с известными правильными ответами. Каждый ответ системы сверяется с исходным документом и пунктом. * Стендовая группа. Сначала агент отвечает в закрытой Telegram-группе руководителю и ИТ-специалистам. Только после утверждения его выводят к конечным пользователям. * Подтверждение публикации. На период привыкания можно настроить, что ответ в рабочую группу уходит только после кнопки подтверждения от ответственного сотрудника. * Журнал вопросов без ответа. Система фиксирует запросы, на которые не нашла ответа в документах. Сводка по таким вопросам приходит руководителю, что помогает понять, какие регламенты стоит дополнить.
Риски: что может пойти не так
Неподготовленные данные приводят к типичным проблемам: * ИИ отвечает по устаревшей редакции документа, потому что статусы редакций не были выгружены корректно. * Система находит два противоречащих фрагмента, так как в базу попали дубликаты или неактуальные файлы. * Сотрудник отдела видит документы, предназначенные для другого подразделения, из-за ненастроенных прав доступа.
Все эти риски устраняются на этапе подготовки данных. Программный разбор документов по пунктам, учёт связей «отменяет/отменён» и настройка матрицы доступов — стандартные работы, которые выполняются перед индексацией.
С чего начать: аудит и первый шаг
Начните не с выбора технологии, а с аудита имеющихся данных. Назовите документы, по которым сотрудники чаще всего спрашивают. Где они лежат? В 1С:Документооборот, в сетевой папке, в почте? Кто их ведёт?
Ответ на эти вопросы даст вам оценку первого шага в часах. Если процесс ещё не разобран, можно начать с аудита текущей ситуации. Порядок нашей работы и отчётность описаны на странице «Как мы работаем», а состав услуг и коды прайса — в разделе «Базы знаний и поиск по документам». Для обсуждения задачи и получения оценки свяжитесь с нами через форму обратной связи или напишите в Telegram.
Программное подключение к источникам данных, разбор структуры, контроль версий и настройка прав — это не просто технические детали, а основа надёжной корпоративной базы знаний. Грамотная подготовка документов для RAG позволяет сотрудникам получать ответы со ссылками на пункты действующих стандартов, а руководителю — контролировать актуальность информационного поля компании. Начните с малого: определите один ключевой процесс и набор документов для него.
Частые вопросы
Нужно ли вручную выгружать все документы?
Нет, если система-источник имеет программный интерфейс (API, OData). Мы подключаемся к 1С:Документооборот, файловым хранилищам и почте автоматически. Ручная выгрузка требуется только для систем без интерфейса, и тогда процесс согласовывается отдельно.
Что происходит, когда выходит новая редакция документа?
База знаний хранит историю редакций. Новая версия документа становится действующей, а предыдущая — помечается как отменённая и сохраняется для истории. В ответах агент ссылается только на пункт действующей редакции.
Уходят ли тексты документов во внешние сервисы?
Индекс базы знаний строится локальной моделью эмбеддингов на вашем сервере, поэтому для поиска тексты документов наружу не уходят. Какие фрагменты можно передавать внешней языковой модели для формирования ответа, фиксируется в политике проекта.
Можно ли ограничить доступ сотрудников к документам?
Да. Документы отдела видны только сотрудникам этого отдела, а общий слой компании — всем. Права доступа задаются на уровне пулов памяти и закрепляются матрицей доступов, что позволяет реализовать модель «агент на отдел».
Официальные материалы по теме
Для терминов, возможностей интерфейсов и требований безопасности используем первичные материалы разработчиков и профильных организаций.