RAG или большой контекст: что выбрать для PDF, таблиц и длинных документов

Большой контекст удобен, когда следует работать с ограниченным набором документов: один договор, несколько отчетов, пакет файлов для разовой проверки. RAG помогает управлять поиском по библиотеке, которая постоянно меняется и не вмещается в один запрос. Исследования подтверждают компромисс между качеством и стоимостью, но не дают победителя для любых PDF.

Главное условие для текстового конвейера: оба подхода зависят от качества извлеченного текста. Ошибки OCR и утраченную структуру таблиц следует проверять отдельно. Мультимодальный режим может передавать модели и изображения страниц; например, OpenAI поддерживает PDF с текстом и изображениями для зрительных моделей. Это частный вариант для тестирования, а не гарантия правильного чтения документа.

После статьи вы сможете распределить задачи по сценариям, определить, где достаточно полного контекста, где нужен поиск, а где нужны оба подхода, и сравнить варианты на собственных файлах. Мы описываем подходы без привязки к конкретному бренду. Исследования, на которых основана статья, проводились на моделях 2023 и 2024 годов и не являются рейтингом современных моделей.

Два способа передать документы модели

В текстовом конвейере модель получает подготовленный текст, а не самостоятельный доступ ко всей папке. Разница между подходами в том, сколько материала и какие фрагменты попадают в запрос. Если передаются изображения страниц, это необходимо отдельно учесть в оценке качества и стоимости.

Полный контекст. Документ или несколько документов полностью передаются модели вместе с вопросом. Модель видит все одновременно и сама ищет нужные места. Этот подход стал практичным, когда появились модели с большим контекстным окном, то есть с большим максимальным объемом текста, который они принимают за один запрос.

Выбор фрагментов (RAG). Документы заранее разбивают на фрагменты и индексируют. Когда поступает вопрос, система ищет наиболее релевантные фрагменты и передает модели только из них. RAG (Retrieval Augmented Generation) означает генерацию с предварительным поиском.

Каждый подход имеет свою цену:

• Полный контекст проще в архитектуре, не зависит от качества поиска, но каждый запрос обрабатывает весь объем текста. Это влияет на цена и время ответа, и размер ограничен размером окна.
• RAG ​​передает отобранные фрагменты, что может уменьшить количество входных токенов, и масштабируется на библиотеки, не содержащиеся в одно окно. Полная стоимость зависит от подготовки индекса, поиска и повторного ранжирования. Но он добавляет компоненты, которые тоже могут ошибиться: разбиение на фрагменты, поиск, составление контекста. Как их диагностировать, мы разобрали в статье о том, почему RAG придумывает ответы.

Размер контекстного окна сам по себе не определяет качество. То, что модель может принять весь документ, еще не означает, что она все равно хорошо использует каждую его часть.

Что на самом деле сравнивали исследователи

Две работы часто цитируют в спорах RAG или длинный контекст. Следует знать, что именно в них проверяли.

Lost in the Middle (2023). Авторы проверили, как модели используют информацию в длинном контексте, на двух задачах: ответ на вопросы по нескольким документам и поиск значения по ключу. Результат имел U-образную форму: качество было самым высоким, когда нужная информация стояла в начале или конце контекста, и заметно снижалась, когда она была посередине. Спад сохранялся и для моделей, специально предназначенных для длинного контекста. Это результат для моделей 2023 г. на двух конкретных задачах. Он не описывает все современные модели, но показывает, что использование длинного контекста следует проверять, а не предполагать.

RAG or Long Context (2024). Работа сравнила RAG и длинный контекст на нескольких публичных наборах данных с тремя моделями, современными на 2024 год. В полном тексте сравнивали GPT-4o, GPT-3.5-Turbo и Gemini-1.5-Pro. Вывод авторов: из-за достаточных ресурсов длинный контекст в среднем стабильно превосходил исследованный вариант RAG, а RAG сохранял существенное преимущество в стоимости. Авторы предложили гибридный метод Self-Route: модель сама оценивает, хватает ли ей найденных фрагментов, и при необходимости запрос перенаправляется в полный контекст. В исследованных условиях это снижало затраты при качестве, близком к полному контексту. Работа принята на EMNLP 2024 (industry track).

Чего из этих работ не следует:

• что конкретная современная модель работает лучше или хуже в одном из подходов;
• что длинный контекст всегда более точен: результат «в среднем» и «при достаточных ресурсах» касается исследованных наборов данных и исследуемой реализации RAG;
• что RAG всегда дешевле в вашем случае: стоимость зависит от объема, частоты запросов и того, сколько раз используется тот же документ;
• что любой из подходов правильно считает таблицами или исправляет ошибки распознавания.

Практическое заключение обеих работ иное: качество и стоимость нужно мерить на своих задачах, а гибрид может сохранить большую часть качества при меньшей цене.

Почему PDF сложнее обычного текста

Большинство споров RAG или большой контекст молча предполагают, что текст документа уже есть и он правильный. Для PDF это предположение часто ошибочно.

Сканы. В текстовом конвейере страница-изображение преобразуется в текст с помощью OCR. Оценки уверенности зависят от продукта и версии API: например, для пользовательских моделей Microsoft Document Intelligence начиная с API 2024-11-30 GA оценка уверенности для поля учитывает оценки слов. Правило о независимости оценок в прежней схеме ответа нельзя переносить на все версии. Проверяйте фактические оценки уверенности для слов, полей и таблиц и сопоставляйте их с ручной разметкой.

Колонки и порядок чтения. Текст в две колонки при извлечении может слиться в строки, где половина предложения из левой колонки, а половина из правой.

Подписи, печати, примечания на полях. Они либо теряются, либо вставляются посреди основного текста.

Разорванные таблицы. Таблица, переходящая на следующую страницу, может разорваться на две с повтором заголовка или без него. Документация Microsoft отдельно объясняет, что для строк, разорванных между страницами, уверенность в строке может быть ниже, чем в целых строках, даже если отдельные ячейки распознаны уверенно.

Единицы измерения. Тысячи гривен в заголовке таблицы и числа в ячейках могут оказаться в разных фрагментах текста. Модель видит «1250» и не знает, что это тысячи.

В критических процессах оценку уверенности используют, чтобы определить, какие результаты нужно передать человеку на проверку. Такая оценка не равна измеренной точности на всех будущих документах: порог приемки нужно проверить на репрезентативной выборке. Для финансовых или медицинских записей необходимы дополнительная проверка ключевых полей и обработка исключений.

Вывод для текстового конвейера: ошибочный текст из PDF повредит и полному контексту, и RAG. Поэтому качество извлечения текста проверяют первым, отдельно от выбора архитектуры.

Сценарии выбора

Вместо общего правила полезнее разложить свои задачи по сценариям. Ниже матрица редакционных сценариев. Это ориентиры для того, чтобы проверять первые, а не результаты тестирования указанных объемов.

Обратите внимание на третью строчку. Большое окно не гарантирует правильную арифметику. Если ответ требует сосчитать сумму, разницу или долю по данным таблицы, выбор между RAG и полным контекстом вторичен: сначала надо убедиться, что таблицы извлечены правильно, а сам расчет проверяется кодом.

Гибридный подход

На практике подходы часто совмещаются. Вот несколько распространённых способов.

Маршрутизация задач. Различные типы вопросов идут разными путями. Вопросы о конкретном условии в одном договоре обрабатываются полным контекстом настоящего договора. Вопросы «где в наших регламентах описано…» идут через поиск. Расчеты по таблицам следуют через код.

Поиск документа, затем полный документ. Сначала RAG определяет, какие документы релевантны, а затем модели передается не набор мелких фрагментов, а большой связной раздел или весь найденный документ. Это уменьшает риск, что условие и исключение из него попадут в разные фрагменты, из которых до модели дойдет только один.

Самопроверка достаточности. Идея Self-Route по исследованию 2024 года: модель сначала отвечает за найденными фрагментами или оценивает, хватает ли их, и только если не хватает, запрос повторяется с полным контекстом. Это конкретный метод конкретной работы. Даст ли он подобный эффект в вашем случае, покажет только тест.

Гибрид добавляет сложности: больше маршрутов, больше мест для ошибок, больше настроек для тестирования. Поэтому начинать следует с самого простого варианта, закрывающего основные сценарии, и добавлять маршруты, когда измерения показывают, что они нужны.

Как сравнить на своих данных

Сравнение имеет смысл только при одинаковых условиях. Вот как его выстроить.

Однообразные файлы. Возьмите реальные документы процесса, включая проблемные: сканы, таблицы на несколько страниц, документы с колонками. Зафиксируйте версию и способ извлечения текста, одинаковый для обоих подходов. Отдельно проверьте вручную качество извлеченного текста на нескольких страницах.

Эталонные ответы. Подготовьте набор вопросов с ответами, которые проверили люди, знающие предмет. Включите вопросы, ответы на которые стоит посреди длинного документа, вопросы с расчетом по таблице и вопросы, ответы на которые в документах нет.

Что считать:

• отдельно долю правильных ответов и долю корректных отказов;
• стоимость одного правильного ответа за одинаковый период: затраты на OCR, эмбединги, индекс, поиск, переранжировку и генерацию, разделенные на количество правильных содержательных ответов. Разовые расходы разделите на обоснованный объем использования, а условия кэширования и трафик сделайте сопоставимыми. Корректные отказы учитывайте отдельно; если правильных ответов нет, эта метрика не определена;
• p95 задержки, то есть время, за которое получают ответ 95% запросов;
• отдельно ошибки, вызванные извлечением текста, чтобы не приписать их архитектуре.

Однаковая модель. Сравнивайте подходы на одной модели. Иначе вы сравниваете модели, а не подходы.

Что сделать в ближайшее время:

1. Разложите свои задачи по сценариям из матрицы: разовый документ, большая библиотека, таблицы с расчетами, часто меняющиеся данные.
2. Проверьте качество извлечения текста из PDF на нескольких характерных документах, отдельно для сканов и таблиц.
3. Подготовьте набор вопросов с эталонными ответами, включая вопросы из середины документов и расчеты.
4. Прогоните полный контекст и RAG на одинаковых файлах и одинаковой модели.
5. Сравните долю правильных ответов, стоимость одного правильного ответа и p95 задержки.
6. Для расчетов по таблицам проверьте отдельно вариант с кодом расчета над извлеченными данными.

Часто задаваемые вопросы