Разработка корпоративной RAG-системы

RAG — это когда модель отвечает не «из головы», а по вашим документам и показывает, откуда взяла ответ. Регламенты, договоры, инструкции, прайсы, переписка — всё, что сейчас ищут поиском по папкам и спрашивают у коллег.

Оценить задачу Показать пример

Коротко

Что это: Поиск по документам компании, который отвечает текстом и даёт ссылку на источник.
Кому: Компаниям, где ответ на типовой вопрос лежит в документе, а спрашивают человека.
Цена: Работы от 100 000 ₽. Обращения к модели и серверы — отдельно.
Срок: 2–4 недели при готовых документах и решённом доступе.

Что получите

Ответ со ссылкой на источникНе «модель считает», а «пункт 4.2 регламента от 12.03» — с цитатой и файлом. Без этого проверить ответ нельзя, и пользоваться системой никто не будет.
Честное «не знаю»Если в документах ответа нет, система говорит, что его нет, и предлагает спросить человека. Выдуманный ответ хуже отсутствия ответа.
Права доступаКто что видит. Бухгалтерия не получает инженерные регламенты, подрядчик — внутренние инструкции. Права проверяются при поиске, а не при показе.
Обновление базыДокумент поменяли — система отвечает по новой версии. Настраиваем, откуда забирать: папка, диск, портал, выгрузка.
Где спрашиватьВиджет на сайте, Telegram, MAX, внутренний портал или чат компании — там, где сотрудники уже сидят.
Журнал вопросовВидно, что спрашивают и на что система не ответила. Это список того, чего не хватает в документах — обычно самая полезная часть за первый месяц.

Как устроено

Разбираем документы
Смотрим, что у вас есть: форматы, объём, кто обновляет, есть ли дубли и устаревшие версии. Это самый частый источник сюрпризов.
Режем на фрагменты и индексируем
Документ делится на куски, каждый получает векторное представление. По вопросу находятся подходящие куски, и уже они уходят в модель вместе с вопросом.
Настраиваем правила ответа
Что отвечать, чего не отвечать, когда переводить на человека, как оформлять ссылку на источник.
Проверяем на ваших вопросах
Собираем список реальных вопросов сотрудников и прогоняем. Смотрим не «красиво ли», а сходится ли ответ с документом.
Подключаем и обучаем
Ставим туда, где будут спрашивать, показываем, как обновлять базу и читать журнал.

Как документ становится ответом

Шесть шагов. Ни на одном из них модель не «придумывает»: она видит только те куски ваших документов, которые нашлись по вопросу и которые этому человеку разрешено видеть.

Ваши документыРегламенты, договоры, инструкции, прайсы. Папка, портал или выгрузка.
Разбор и фрагментыДокумент режется на куски по смыслу. У каждого остаётся адрес: файл, раздел, дата.
ИндексКаждый фрагмент получает числовое представление — по нему ищут не по словам, а по смыслу.
Вопрос сотрудникаПроверяются права: ищем только среди того, что этому человеку можно видеть.
Найденные фрагментыТри-пять кусков, которые ближе всего к вопросу. Больше не нужно — иначе модель тонет.
Ответ со ссылкойМодель отвечает ТОЛЬКО по этим кускам и приводит источник. Не нашла — говорит «не знаю».

Что спросит ваша служба безопасности

Ответы на эти шесть вопросов нужны до начала работ. Мы даём их письменно — и в том числе там, где ответ «это не наша зона».

Кто что видитПрава берутся из вашего каталога пользователей. Проверяются при ПОИСКЕ, а не при показе: закрытый документ не попадает даже в подсказку модели.
Что пишется в журналКто спросил, что спросил, какие фрагменты были найдены, что ответила система, было ли подтверждение человеком. Журнал ваш и хранится у вас.
Куда уходят данныеОблачная модель — запрос уходит провайдеру, и это фиксируется в договоре. Модель в вашем контуре — не уходит ничего, проверяется сетевыми правилами.
Как отозвать доступУбрали человека из группы в вашем каталоге — он перестаёт получать ответы по закрытым документам с этого момента, без переиндексации.
Что с персональными даннымиДокументы с персональными данными либо не попадают в индекс, либо обезличиваются до индексации. Решаем это до начала работ, а не после.
Кто отвечает за соответствиеМы отвечаем за то, как устроена система, и даём описание для вашей службы ИБ. Заключение о соответствии 152-ФЗ или требованиям регулятора даёте вы — подрядчик за вас подписаться не может.

Где предел

Здесь то, чего мы не обещаем. Без этого разговора проект разваливается на третьей неделе, а не на первой.

Плохие документы не станут хорошими. Если регламент противоречит сам себе, система покажет оба места — решать всё равно человеку.
Сканы без текстового слоя нужно сначала распознать. Это отдельная работа, и тяжёлые PDF мы обрабатываем не на сервере заказчика.
Точность не измеряется одним числом. Мы меряем на вашем списке вопросов и показываем, где система ошиблась, — а не называем процент из рекламы.
Юридическую ответственность за ответ система не несёт. Для решений с ценой ошибки оставляем подтверждение человеком.

Что можем показать

ДевБотРазум — платформа работы с документамиНаша собственная разработка: загрузка документов, разделение по доменам знаний, чат с ответом по содержимому. Работает на нашем сервере, показываем вживую.
Консультант на этом сайтеВиджет справа отвечает по базе знаний, собранной из данных сайта. Это тот же механизм в самом простом виде — можно задать вопрос прямо сейчас.
Чат приёмной комиссииОтветы абитуриентам по правилам приёма — документ, который каждый год меняется и который никто не читает целиком.

Состав работ

Разбор документов и схема источников
Индексация и настройка поиска
Правила ответа и границы
Подключение к месту, где спрашивают
Список проверочных вопросов и прогон по нему
Инструкция по обновлению базы и журнал вопросов

Как принимаем работу

Договариваемся об этом до начала, а не после.

Система отвечает на согласованный список вопросов и на каждый даёт ссылку на источник.
На вопрос вне базы отвечает «не знаю», а не выдумывает.
Права доступа проверены на двух ролях с разными правами.
Вы обновили документ сами и получили ответ по новой версии.

Сколько стоит

Старт — от 100 000 ₽ · Бизнес — от 180 000 ₽ · Корпоративный пилот — от 300 000 ₽

Это стоимость работ по внедрению. Отдельно считаются: обращения к модели (облачной — по счётчику, своей — сервером), лицензии на ваше ПО, инфраструктура и сопровождение. Точную цифру называем после того, как увидим объём документов, список интеграций и критерии приёмки.

Что входит в каждый пакет →

Сопровождение после запуска

Про это спрашивают первым, а на сайтах об этом молчат. Выбор за вами, и «без сопровождения» — рабочий вариант: система остаётся вашей в любом случае.

Без сопровождения0 ₽Система работает, вы обновляете базу сами по инструкции. Мы на связи по почте, без срока ответа.
Обновления и разборот 15 000 ₽/месЧитаем журнал вопросов, правим правила ответа, обновляем зависимости. Ответ в рабочий день.
С ответственностью за работуот 40 000 ₽/месМониторинг, срок реакции в договоре, плановые обновления модели с проверкой на вашем списке вопросов.

Вопросы, которые задают

Чем RAG отличается от дообучения модели?

Дообучение зашивает знания в модель: чтобы поменять один пункт регламента, нужно переучивать и перепроверять всё. RAG держит знания отдельно — поменяли документ, ответ поменялся сразу. Для корпоративных документов, которые правятся постоянно, RAG и дешевле, и честнее: видно, откуда взят ответ.

Данные уйдут наружу?

Зависит от того, где стоит модель. Облачная — запросы уходят провайдеру, и это надо решать до начала работ. Модель в вашем контуре — ничего не уходит, но нужен сервер с видеокартой. Мы считаем оба варианта и показываем разницу в деньгах.

Сколько документов потянет?

Объём ограничивает не поиск, а порядок в документах. Тысячи файлов — обычная история. Проблема начинается там, где лежит пять версий одного регламента и непонятно, какая действует.

Сколько это стоит в месяц после запуска?

Складывается из обращений к модели и хостинга. Для облачной модели считаем по вашему ожидаемому числу вопросов, для своей — по железу. Цифру называем на расчёте, а не в прайсе: она зависит от объёма, а не от пакета.

Смотрите также

Покажем на вашей задаче

Напишите пару слов о том, что хотите поправить в работе. Расскажем, как это ляжет на ваши процессы, и покажем вживую — обычно отвечаем в тот же рабочий день.