Внедрение RAG в ваш существующий продукт
Поиск по вашим знаниям, встроенный в продукт, который вы уже поставляете, с ответами, которые показывают источник.
У RAG репутация простой задачи, потому что рабочий прототип собирается за вечер. Порезал документы, сделал эмбеддинги, нашёл, положил в промпт. На демо смотрится отлично и разваливается при встрече с настоящей базой знаний, где половина документов устарела, три противоречат друг другу, а нужный ответ лежит в таблице внутри PDF.
Инженерия здесь не в вызове поиска. Она в решении, что попадает в индекс, что исключается, как устаревший документ перестаёт выдаваться и как ответ показывает источник, чтобы человек мог проверить. Это и есть основная работа, и именно она отличает бота, которому доверяют, от того, которым тихо перестают пользоваться.
Кому подходит
- У вас есть массив знаний, который стоит искать: документация, договоры, история поддержки, спецификации, внутренняя вики.
- Есть продукт, портал или внутренний инструмент, внутри которого может жить эта функция.
- С вашей стороны есть человек, который скажет, какие документы актуальны, а какие нет.
Если знания живут только в головах или никто не может решить, какая версия документа действующая, поиск усилит бардак. Сначала приводится в порядок источник.
Что вы получаете
- Конвейер загрузки под ваши форматы, включая неудобные: PDF, таблицы, сканы, выгрузки.
- Поиск, настроенный на ваших вопросах, а не на universal-бенчмарке.
- Ответы со ссылками на конкретный документ и раздел.
- Функция, встроенная в ваш продукт или внутренний инструмент, а не отдельный сайт, который никто не открывает.
- Набор реальных вопросов с эталонными ответами, чтобы качество было цифрой, которую видно.
- Путь обновления: как новые и изменённые документы попадают в индекс и как оттуда уходят устаревшие.
Как идёт работа
Что есть, в каких форматах, что считается источником истины, что нельзя выдавать никогда. Обычно самый ценный шаг.
Разбор, нарезка и индексация под ваши документы, затем настройка поиска на вашем наборе вопросов.
Интерфейс там, где пользователи уже есть, со ссылками на источники и понятным поведением, когда ответа в индексе нет.
Результаты на тестовом наборе, путь обновления, документация и разбор с вашей командой.
Вопросы, которые задают первыми
- Можно сделать это, не отдавая наши документы третьей стороне?
- Да. Индекс может жить в вашей инфраструктуре, а вызов модели идти к провайдеру без хранения данных или к модели, которую вы держите сами. Варианты по-разному стоят в качестве и в деньгах, и решение принимается на аудите, а не после.
- Как понять, что ответы правильные?
- Каждый ответ ссылается на документ и раздел, откуда он взят, и проверяется в один клик. Сверх того мы собираем набор ваших реальных вопросов с эталонными ответами, и каждое изменение меряется по нему.
- Что происходит при обновлении документа?
- Путь обновления входит в поставку. Новые и изменённые документы попадают в индекс по расписанию или по событию из вашей системы, а замещённые версии перестают находиться, чтобы ассистент не процитировал прошлогодний прайс.
- Векторная база обязательна?
- Часто, но не всегда. На нескольких сотнях документов хорошо собранный поиск по ключевым словам с переранжированием бывает точнее и дешевле векторной базы. Я выбираю по вашему корпусу, а не по моде.
- Можно поставить это поверх нашего текущего бота?
- Обычно да. Если у вас уже есть бот поддержки или ассистент внутри продукта, поиск добавляется источником за ним, без замены всего целиком.
Почитать по теме
Все услуги
Один процесс, который агент ведёт целиком и знает, где остановиться и передать работу человеку.
ЧитатьНеделя работы, которая говорит, какие три вещи сделать с ИИ, сколько каждая стоит и что не трогать.
Читать