Начните с полной трассы одного запроса: преобразование вопроса, поиск, переранжирование, генерация и повторные попытки. Счёт только за финальный ответ не показывает, сколько дополнительных вызовов произошло до него. Сравнивайте затраты на подтверждённо полезный ответ, иначе экономия за счёт постоянного «не знаю» будет выглядеть успехом.

Возьмите фиксированный набор обезличенных вопросов с ожидаемыми источниками. Для каждого сохраните идентификатор запуска, версии модели и индекса, количество обращений и фактическое потребление, доступное у провайдера. Содержимое закрытых документов для финансовой трассы не требуется. Тарифы берут из действующего договора; универсальной цены запроса RAG не существует.

В счёт попадает больше одной генерации

УчастокЧто учитыватьЧто часто скрыто
Подготовка вопросаПереформулировки и подзапросыНесколько поисков вместо одного
ИзвлечениеПоиск и переранжированиеПовторы при пустом результате
Сбор контекстаФактический объём входаИстория диалога и дубли фрагментов
ОтветВход, выход и попыткиПовтор после тайм-аута клиента

Отдельно посчитайте индексацию и хранение за период: они не всегда относятся к конкретному вопросу. Разделите постоянную инфраструктуру и переменные расходы, чтобы рост числа файлов не выглядел внезапным удорожанием генерации. Не складывайте разные единицы потребления без приведения к проверенной стоимости соответствующего сервиса.

Уберите лишнюю работу до смены модели

Условный паспорт затрат, без тарифов:
request -> число планов поиска и повторов
retrieval -> кандидаты до и после отбора
context -> история + инструкции + источники
generation -> фактические входные и выходные единицы
result -> подтверждён / ошибочен / отказ
сравнение -> стоимость подтверждённых результатов

Microsoft в обзоре RAG отмечает ограниченность входного контекста и необходимость возвращать релевантные компактные результаты вместо полного массива документов. Источник проверен 20 октября 2026 года. Практический вывод для измерения: смотрите размер действительно переданного контекста, а не размер исходного файла. Лишняя история и повторяющиеся выдержки могут занимать его значительную часть.

Сокращайте дубли и нерелевантные фрагменты, сохраняя необходимые условия ответа. Ограничение длины вывода уместно для короткой справки, но не должно обрывать обязательное предупреждение. Переключение на менее дорогую модель проверяют отдельно: снижение цены единицы ничего не гарантирует, если для того же качества понадобились дополнительные попытки.

Кеш должен сохранять границы доступа

Общий кеш ответа может вернуть чужое содержание, если ключ не учитывает область доступа, версию знаний и существенный контекст вопроса. Персональные запросы нельзя объединять только по похожему тексту. При смене документа или прав прежний ответ должен иметь предусмотренный путь инвалидирования. Снижение расходов не оправдывает ослабление изоляции клиентов.

  • Холодный и повторный запрос измерены отдельно.
  • Неопределённый сетевой ответ не вызывает бесконтрольный повтор.
  • У каждого дополнительного подзапроса есть предел и причина.
  • Полезность проверяется по источникам, а не только по длине.
  • Отказы и ошибки включены в отчёт, а не исключены из выборки.

Меняйте один участок и сравнивайте тот же набор вопросов: стоимость, задержку, долю правильных ответов и отказы. При ухудшении верните прежнюю конфигурацию, сохранив трассу эксперимента. Для разбора бюджета подготовьте агрегированные количества вызовов, объёмы входа и выхода и действующие ставки без секретов. Этот комплект покажет, где экономить на работе, а где дешёвая попытка просто создаёт следующую.

Проверенные источники