Перейти к содержимому

НейросетиРазбор

Что такое RAG и как нейросеть отвечает по вашим документам

RAG добавляет к вопросу найденные фрагменты документов без переобучения модели. Разбираем путь от поиска до ответа и проверку, которая помогает найти причину ошибки.

Иллюстрация: Что такое RAG и как нейросеть отвечает по вашим документам
Содержание7 разделов

Коротко

  • RAG расшифровывается как Retrieval-Augmented Generation, по-русски «генерация с поиском».
  • Сначала система находит нужные куски ваших документов, потом отдаёт их модели вместе с вопросом.
  • Так модель отвечает по свежим и внутренним данным, которых не было при обучении.
  • Если нужный фрагмент не найден, система должна признать отсутствие данных, а не достраивать ответ.

Содержимое вашего внутреннего регламента не появляется у модели само по себе. Его можно вставить в запрос, а для большого архива настроить поиск, который подбирает фрагменты перед ответом. Такой подход называют RAG. Он не меняет веса модели при каждом обновлении документа.

Как работает RAG

Представьте сотрудника с доступом к архиву. Наизусть он ничего не помнит, зато знает, где искать: находит нужные папки, пролистывает и отвечает со ссылкой на документ. Скорость и качество зависят от реализации поиска и генерации.

Сначала подготовка. Один из вариантов подготовки: документы делят на фрагменты и создают их эмбеддинги для поиска по смыслу. Размер фрагмента зависит от структуры документа. Другие реализации могут использовать поиск по словам или сочетание методов.

Когда приходит вопрос, его тоже превращают в эмбеддинг и ищут в базе куски с близким смыслом. Ищут именно по смыслу, совпадение слов тут не обязательно. В учебном примере на вопрос «сколько дней отпуска у меня есть» поиск может выбрать абзац «ежегодный оплачиваемый отдых составляет 28 календарных дней», хотя слова «отпуск» в нём нет.

И наконец ответ. Модели передают вопрос, найденные куски и инструкцию: отвечай только по этим фрагментам и укажи, откуда взял.

Зачем компаниям RAG

Самая понятная польза в свежести. Обновили прайс, обновили базу, и переобучать модель не нужно. Вторая польза во внутренних знаниях: регламенты, история обращений в поддержку, техническая документация, всё, чего нет в интернете. Третья в проверяемости. Ответ можно сверить, потому что видно, из какого документа он взят. Найденный текст даёт опору для ответа, но его всё равно нужно сверять с источником.

Где RAG уже применяют

Чат-боты поддержки, которые отвечают по базе знаний, и поиск по внутренней вики компании. Помощники для юристов, которые находят нужный пункт в сотне договоров. Некоторые системы используют найденные веб-страницы как контекст для генерации. Само наличие кнопки поиска ещё не объясняет устройство конкретного продукта.

Слабые места RAG

RAG часто продают как лекарство от галлюцинаций. Мы бы назвали это сильным преувеличением. Ниже несколько мест, где результат нужно проверять отдельно.

Поиск может выбрать неподходящий фрагмент. Нарезка документа может отделить строку таблицы от заголовка. Старая версия регламента может попасть в выдачу рядом с новой. Даже с подходящим источником модель способна неверно пересказать условие. Поэтому отдельно проверяют найденные фрагменты и отдельно ответ, который построен по ним.

Как внедрить RAG в компании

Начните с уборки документов. Отметьте действующие версии, отделите дубли и сохраните архив так, чтобы он не подменял актуальный источник. Потом соберите от 50 до 100 реальных вопросов с правильными ответами и прогоняйте систему по ним после каждого изменения, иначе вы не поймёте, стало лучше или хуже. Требуйте ссылку на источник в каждом ответе, это дисциплинирует и систему, и пользователей.

Перед загрузкой рабочих документов согласуйте состав базы и права пользователей с ответственными в компании. Ответ должен использовать только документы, доступные конкретному читателю. Размещение в российском облаке или на собственном сервере само по себе не решает все вопросы обработки данных. Для технического старта есть гайд по локальной модели.

Как понять, где ошиблась система

Учебный пример: в действующей инструкции написано «заявка принимается до 18:00», а в архивной версии указан срок 17:00. Вы спрашиваете, когда закончить оформление. Сверьте число в ответе с документом, который найден системой.

Что произошло Что проверить
Нужный документ не найден Попал ли он в базу; доступен ли текст после загрузки; есть ли права на чтение
Найдена архивная версия Есть ли дата и статус документа; исключены ли отменённые версии
Фрагмент найден, но ответ неверный Передан ли фрагмент модели полностью; совпадает ли вывод с его условием
В базе вообще нет ответа Сообщает ли помощник об отсутствии сведений вместо догадки

В журнале проверки сохраняйте вопрос, найденный фрагмент и итоговый ответ. Без этой цепочки трудно понять, поможет ли изменение поиска или требуется правка инструкции модели. Добавьте вопрос, который намеренно не имеет ответа в базе: для внутреннего помощника корректный отказ бывает полезнее уверенного текста.

Для смыслового поиска документы и вопросы нужно обрабатывать совместимой моделью embeddings. Ollama рекомендует использовать одну и ту же модель на этапе индексации и запроса. Подробнее: как работают embeddings.

Частые вопросы о RAG

Чем RAG отличается от дообучения модели?

Дообучение меняет саму модель и её манеру, а знания в ней устаревают с каждым новым документом. RAG модель не трогает и просто подкладывает ей нужные тексты в момент вопроса. Для фактов, которые часто меняются, RAG почти всегда проще и дешевле.

Сколько документов можно подключить?

Технически миллионы. На практике ограничение в качестве: чем больше мусора и дублей в базе, тем чаще поиск будет находить не то.

А если просто вставить все документы в большое контекстное окно?

Для десятка документов это работает. Для тысячи будет дорого и медленно, а детали из середины длинного текста модели теряют. Подробнее в разборе про токены.

Пробовали подключать нейросеть к своей базе знаний? Что пошло не так в первый раз?

Найденный документ может содержать команды, адресованные ассистенту. Есть безопасный учебный тест подмены инструкций, который проверяет эту границу без секретов и внешних действий.

Птичка messgo спрашивает, как вам материал

Как вам материал?

Поделиться

Читайте также

Комментарии

Написать комментарий

Без регистрации: имя и почта не нужны, мы подпишем вас случайным именем. Комментарий появится после проверки редакцией.