Локальный ИИ на ваших серверах

Когда документы нельзя отдавать наружу, модель ставится внутрь вашей сети. Это решаемо — но стоит других денег и работает не так, как облачная. Ниже честная картина: что получится, что нет и во сколько обойдётся.

Оценить задачу Показать пример

Коротко

Что это: Языковая модель на вашем сервере. Запросы и документы не покидают сеть.
Кому: Тем, кому нельзя отдавать данные наружу: внутренние регламенты, требования ИБ, договор.
Цена: Работы от 180 000 ₽. Сервер с видеокартой — отдельно, считаем под задачу.
Срок: 4–8 недель: железо, развёртывание, проверка на ваших вопросах.

Что получите

Ничего не уходит наружуНи вопрос, ни документ, ни ответ. Проверяется не на слово, а сетевыми правилами и вашим же мониторингом.
Модель под ваше железоПодбираем размер модели под видеокарту, которая у вас есть или которую готовы купить. Разница между моделями видна на ваших вопросах, а не в бенчмарках.
Работает без интернетаОтвалился канал — система продолжает отвечать. Для производства и объектов с плохой связью это иногда главный довод.
Ваши права доступаПодключаемся к вашему каталогу пользователей, если он есть, и не заводим параллельный список.
Обновления по вашему графикуМодель не меняется у вас под ногами. Обновляем, когда вы решили, и после проверки.
Расчёт против облакаПоказываем, с какого объёма запросов своё железо дешевле аренды. Иногда ответ — «вам выгоднее облако», и мы это говорим.

Как устроено

Считаем нагрузку
Сколько человек, сколько вопросов в день, какой длины документы. Отсюда — требования к видеопамяти.
Подбираем модель и железо
Модель, которая влезает в вашу видеокарту и при этом отвечает приемлемо. Это компромисс, и мы показываем обе стороны.
Разворачиваем в контуре
Установка, сетевые правила, доступы, мониторинг. Наружу — ничего.
Проверяем на ваших вопросах
Тот же список, что и для облачного варианта. Сравниваем ответы и показываем, где локальная модель слабее.
Передаём в эксплуатацию
Инструкции вашим администраторам: как перезапустить, как обновить, что смотреть в мониторинге.

Что спросит ваша служба безопасности

Ответы на эти шесть вопросов нужны до начала работ. Мы даём их письменно — и в том числе там, где ответ «это не наша зона».

Кто что видитПрава берутся из вашего каталога пользователей. Проверяются при ПОИСКЕ, а не при показе: закрытый документ не попадает даже в подсказку модели.
Что пишется в журналКто спросил, что спросил, какие фрагменты были найдены, что ответила система, было ли подтверждение человеком. Журнал ваш и хранится у вас.
Куда уходят данныеОблачная модель — запрос уходит провайдеру, и это фиксируется в договоре. Модель в вашем контуре — не уходит ничего, проверяется сетевыми правилами.
Как отозвать доступУбрали человека из группы в вашем каталоге — он перестаёт получать ответы по закрытым документам с этого момента, без переиндексации.
Что с персональными даннымиДокументы с персональными данными либо не попадают в индекс, либо обезличиваются до индексации. Решаем это до начала работ, а не после.
Кто отвечает за соответствиеМы отвечаем за то, как устроена система, и даём описание для вашей службы ИБ. Заключение о соответствии 152-ФЗ или требованиям регулятора даёте вы — подрядчик за вас подписаться не может.

Где предел

Здесь то, чего мы не обещаем. Без этого разговора проект разваливается на третьей неделе, а не на первой.

Локальная модель отвечает хуже лучших облачных. Насколько — видно только на ваших вопросах, поэтому мы сравниваем до покупки железа, а не после.
Нужен сервер с видеокартой. Это капитальные затраты, и на малых объёмах запросов облако дешевле — мы считаем обе сметы.
Закрытый контур сам по себе не делает систему соответствующей 152-ФЗ или требованиям вашего регулятора. Он убирает передачу данных наружу — остальное решают ваши документы и ваша служба ИБ, и мы не подписываемся за них.
Сопровождение остаётся: модель, драйверы и зависимости нужно обновлять. Либо вашими администраторами по нашей инструкции, либо нами по договору.

Что можем показать

Серверы для нейросетейПодбираем и поставляем GPU-станции под задачу.
ДевБотРазум на нашем сервереНаша платформа работы с документами живёт в нашем же контуре — показываем, как это выглядит в эксплуатации.
Корпоративный мессенджерРабочая связь компании на её собственном сервере — тот же принцип для переписки.

Состав работ

Расчёт нагрузки и требований к железу
Подбор модели и сравнение с облачным вариантом на ваших вопросах
Развёртывание в контуре, сетевые правила, мониторинг
Подключение к вашему каталогу пользователей
Инструкции администраторам и порядок обновления
Две сметы: своё железо и облако, с точкой окупаемости

Как принимаем работу

Договариваемся об этом до начала, а не после.

Система отвечает на согласованный список вопросов внутри сети.
Внешние соединения отсутствуют — проверено сетевыми правилами и логами.
Ваши администраторы самостоятельно перезапустили и обновили систему по инструкции.
Показано сравнение с облачным вариантом на одних и тех же вопросах.

Сколько стоит

Старт — от 100 000 ₽ · Бизнес — от 180 000 ₽ · Корпоративный пилот — от 300 000 ₽

Это стоимость работ по внедрению. Отдельно считаются: обращения к модели (облачной — по счётчику, своей — сервером), лицензии на ваше ПО, инфраструктура и сопровождение. Точную цифру называем после того, как увидим объём документов, список интеграций и критерии приёмки.

Что входит в каждый пакет →

Сопровождение после запуска

Про это спрашивают первым, а на сайтах об этом молчат. Выбор за вами, и «без сопровождения» — рабочий вариант: система остаётся вашей в любом случае.

Без сопровождения0 ₽Система работает, вы обновляете базу сами по инструкции. Мы на связи по почте, без срока ответа.
Обновления и разборот 15 000 ₽/месЧитаем журнал вопросов, правим правила ответа, обновляем зависимости. Ответ в рабочий день.
С ответственностью за работуот 40 000 ₽/месМониторинг, срок реакции в договоре, плановые обновления модели с проверкой на вашем списке вопросов.

Вопросы, которые задают

Это дороже облака?

На старте — да: нужен сервер с видеокартой. Дальше зависит от объёма: облако платится по обращениям, своё железо — один раз плюс электричество и сопровождение. Мы считаем точку, где кривые пересекаются, на ваших числах.

Какая модель будет работать?

Та, что влезет в вашу видеокарту и приемлемо ответит на ваши вопросы. Называть модель до расчёта нагрузки бессмысленно — выбор меняется от объёма видеопамяти.

Это делает нас соответствующими 152-ФЗ?

Нет. Закрытый контур убирает передачу данных наружу — это необходимое условие, но не достаточное. Соответствие определяется вашими процессами и документами, и подтверждает его ваша служба ИБ, а не подрядчик.

Можно начать с облака и переехать потом?

Да, и часто это разумно: на облаке быстро проверяем, что система вообще полезна, и только потом покупаем железо. Переезд закладываем в архитектуру заранее.

Смотрите также

Покажем на вашей задаче

Напишите пару слов о том, что хотите поправить в работе. Расскажем, как это ляжет на ваши процессы, и покажем вживую — обычно отвечаем в тот же рабочий день.