Перейти к содержимому

Стоимость и задержки: как управлять расходами агента

Дешёвый запрос может привести к дорогой задаче: агент повторяет попытки, вызывает инструменты и оставляет человеку больше исправлений. Для управления расходами нужна цена принятого результата вместе с временем до его приёмки. Сначала определите допустимое качество, затем сравнивайте способы его получить.

Большая языковая модель (large language model, LLM) участвует только в части процесса. Харнес (agent harness), программа вокруг модели, добавляет поиск, команды, ожидание сервисов и повторные шаги. Экономия зависит от всего этого цикла.

Считайте все попытки до принятого результата

Заголовок раздела «Считайте все попытки до принятого результата»

Суммируйте расходы на входные и выходные токены, повторные запросы, платные инструменты и среду выполнения. В длинном диалоге история передаётся снова, поэтому один и тот же материал может обрабатываться несколько раз. Показатель расхода одного последнего ответа скрывает предыдущие попытки.

Делите полный расход на число принятых задач. Время человеческой проверки показывайте отдельно, пока команда не согласовала его денежную оценку. Для подписки учитывайте занятые лимиты и блокировки работы, даже когда отдельный запрос не имеет видимой цены. Методика сравнения конфигураций описана в главе «Эвалы на задачах команды».

Учебный расчёт для двух конфигураций на одинаковых двадцати задачах, без привязки к тарифам провайдера:

Показатель Конфигурация А Конфигурация Б
Расход на все попытки 60 условных единиц 80 условных единиц
Принято результатов 12 из 20 18 из 20
Цена принятого результата 5 единиц Около 4,44 единицы
Время проверки человеком 90 минут 45 минут

По этому примеру конфигурация Б выгоднее по цене принятого результата. Это не доказывает её преимущество на другом классе задач. При нуле принятых результатов показатель не вычисляется: конфигурация не обеспечила нужного качества.

Время до первого токена (time to first token, TTFT) показывает, когда начался ответ модели. Полное время генерации заканчивается позже, а агент после ответа ещё может запускать тесты или обращаться к сервису. Потоковая выдача (streaming) позволяет раньше показать часть текста, но не означает, что задача уже готова. Различие между ожиданием и воспринимаемой отзывчивостью разобрано в рекомендациях Anthropic по задержкам.

Сохраняйте время получения задания, начала и конца вызовов модели, инструментов, повторов и приёмки. Такая запись действий, трасса (trace), помогает различить медленную генерацию и ожидание базы данных. Измеряйте полный срок задачи отдельно от времени, когда агент непосредственно работал: очередь и пауза до ревью тоже влияют на результат команды.

При достаточном числе сопоставимых задач показывайте медиану и 95-й процентиль (p95): значение, в которое укладываются примерно 95% измерений. Указывайте объём выборки и период. Несколько запусков помогают найти причину задержки, но не дают устойчивой оценки редких медленных случаев.

Сначала убирайте наблюдаемые лишние шаги: повторное чтение одного файла, полный лог вместо нужной ошибки, длинное объяснение там, где нужен короткий ответ. Независимые чтения можно выполнять параллельно. Это сокращает ожидание, но не обязательно расходы; зависимые действия и конкурирующие записи требуют последовательного выполнения.

Кешируйте повторяющийся вход с учётом ограничений

Заголовок раздела «Кешируйте повторяющийся вход с учётом ограничений»

Кеширование промптов (prompt caching) позволяет повторно использовать обработанную часть входа. Например, Claude кеширует префикс запроса: постоянные инструкции и определения инструментов размещают перед изменяемыми данными. Изменение раннего блока мешает совпадению последующей части. Запись, чтение кеша и обычный вход учитываются раздельно; правила и выгода зависят от платформы. Это описано в документации кеширования Claude.

Кеш префикса отличается от кеша готового ответа: модель всё ещё строит новый результат. Повторное использование обработки не увеличивает контекстное окно (context window), лимит видимого модели текста. Оно также не подтверждает актуальность документа и право пользователя его читать.

Проверяйте фактические попадания в кеш по данным расхода, а не по сходству двух запросов на глаз. Учитывайте стоимость его создания и срок хранения. Для редко повторяемого входа экономии может не быть.

У готовых ответов свои правила: привязывайте их к версии источника и области доступа, обновляйте при изменении документа, исключайте повторную выдачу после отзыва прав. До включения любого кеширования проверьте условия хранения данных у выбранного сервиса и допустимость передачи этих данных. Связанные проверки для базы знаний разобраны в главе о качестве RAG.

Выбирайте модель по измеренному классу задач

Заголовок раздела «Выбирайте модель по измеренному классу задач»

Маршрутизация моделей (model routing) выбирает модель по свойствам запроса или результату предыдущего шага. Для начала достаточно одной конфигурации и измеренного исходного уровня. Добавляйте более дешёвую модель для определённого класса задач, если она проходит те же критерии приёмки.

Опишите правило передачи сложного случая более сильной модели: например, не прошла проверка схемы или тест, превышен допустимый объём документа. Самооценка «уверен на 95%» без проверки на ваших данных не подходит как единственное основание. Недостающий источник или запрет доступа направляйте на уточнение, их не исправляет более дорогая модель.

Проверяйте суммарный расход маршрутизатора, первой попытки и повторной обработки. Показывайте долю переданных случаев и качество каждой ветки отдельно. Автоматический выбор провайдера тоже имеет ограничения: например, Amazon Bedrock описывает оптимизацию своей интеллектуальной маршрутизации для английских запросов. Это не доказательство качества на русских тикетах вашей команды.

При переключении провайдера повторно проверьте доступность инструментов, контракты данных и условия обработки информации. Совпадение формата запроса не гарантирует одинаковое поведение.

Ограничьте повторы и отделите срочную работу от пакетной

Заголовок раздела «Ограничьте повторы и отделите срочную работу от пакетной»

Для задачи задайте предел времени, расходов, числа шагов и повторных попыток. Проверьте, какие пределы технически обеспечивает харнес: число в промпте само по себе не останавливает процесс. Где доступны ограничения среды или внешняя остановка, используйте их. При достижении предела сохраняйте проверенный промежуточный результат и причину остановки. Повтор внешней записи допускайте только после проверки её состояния; потерянный ответ мог скрыть успешно выполненную операцию. Правила такого восстановления описаны в главе о фоновых агентах.

Пакетная обработка (batch processing) подходит независимым запросам, которым не нужен немедленный ответ: массовому извлечению полей или ночному набору проверок. Например, Claude Message Batches возвращает отдельные статусы успеха, ошибки, отмены и истечения срока. Сохраняйте идентификаторы запросов, проверяйте исход каждого и повторяйте только те, для которых повтор допустим. Следующий шаг агентного цикла, зависящий от предыдущего ответа, нельзя заранее отправить вместе с ним.

Автор учебника: Шахматов Алексей