Перейти к содержимому

Токены и контекстное окно

Если из всего раздела про модели запомнить одну вещь, пусть это будет она: у модели нет памяти, а есть только контекст, и он ограничен. Контекст измеряется в токенах, за токены вы платите, и именно нехватка или замусоренность контекста чаще всего объясняет, почему «агент отупел». Разберёмся по порядку.

Модель видит не буквы и слова, а токены (token): куски текста, на которые специальный алгоритм (токенизатор) режет любой вход. Токеном может быть целое слово, часть слова, знак препинания. Частые слова обычно занимают один токен, редкие разбиваются на несколько: «программирование» может превратиться в «программ» + «ирование».

Для прикидок хватает грубых соотношений:

  • английский текст: 1 токен ≈ 4 символа, 100 токенов ≈ 75 слов;
  • страница текста занимает порядка 500 токенов, среднее письмо 200–400;
  • код токенизируется плотнее обычного текста из-за скобок, отступов и служебных символов.

Токенизация зависит от языка и модели. Один и тот же текст разные токенизаторы разбивают по-разному; постоянного коэффициента для русского относительно английского нет. Для расчёта контекста и расходов измеряйте реальные документы токенизатором или счётчиком выбранного API. Переводить рабочие требования ради приблизительной экономии рискованно: можно потерять смысл.

Контекст состоит из полного текста, который модель получает при генерации очередного ответа. В работе агента туда входит гораздо больше, чем ваше последнее сообщение:

  • системный промпт. Инструкции харнеса: кто ты, какие у тебя правила, какие есть инструменты;
  • файлы памяти. CLAUDE.md / AGENTS.md с описанием проекта (см. «Память»);
  • история диалога. Сообщения и ответы, сохранённые для текущего вызова, либо их резюме после сжатия;
  • содержимое файлов, которые агент прочитал;
  • результаты инструментов. Вывод команд, логи, ответы API, результаты поиска.
flowchart TB
    subgraph W ["Контекстное окно: жёсткий лимит в токенах"]
      direction TB
      SP["Системный промпт"]
      MEM["Файлы памяти: CLAUDE.md / AGENTS.md"]
      HIST["Вся история диалога"]
      FILES["Содержимое прочитанных файлов"]
      TR["Результаты инструментов: логи, вывод команд"]
    end
    W -.->|"не помещается"| OF["Запрос отвергается или срабатывает компакция"]

Всё это конкурирует за один ограниченный объём; шумные логи и лишние файлы вытесняют важное.

Модель использует контекст текущего вызова; доступ к истории и долговременной памяти организует харнес. Для продолжения он может передать историю, резюме или ссылку на серверное состояние. Поэтому «агент помнит» может означать как наличие сообщения в окне, так и повторное чтение сохранённой заметки.

Контекстное окно (context window) ограничивает объём информации в одном вызове модели. Правила учёта входа, ответа и рассуждений зависят от API. Отдельно проверяйте предел выходного текста и лимит, установленный харнесом: большое заявленное окно не означает, что весь его объём доступен для документов. Сведения о конкретных моделях собраны в датированном обзоре.

Звучит много, но агентные сессии съедают окно быстро: каждый прочитанный файл, каждый вывод команды, каждый лог ложится в контекст и остаётся там. Достаточно нескольких больших логов, и половины окна нет.

Что происходит при переполнении? API просто отвергает запрос, который не влезает. Харнесы поэтому вмешиваются раньше. Об этом ниже.

Качество может снижаться ещё до заполнения окна: модель пропускает детали и хуже связывает сведения из разных частей длинного ввода. Один из исследованных эффектов называют «потерей в середине» (lost in the middle), когда информация в середине используется хуже, чем на краях. Выраженность зависит от модели, задачи и структуры данных; размер окна сам по себе не гарантирует качество поиска в нём.

Симптомы знакомы каждому, кто вёл длинные сессии с агентом: модель забывает инструкцию, данную час назад, повторяет уже отвергнутое решение, путается в деталях. Дело не в том, что инструкции «стёрлись»: они в контексте, но тонут в шуме.

Отсюда практическое правило: больше контекста не значит лучше. Вываливать в модель весь репозиторий «на всякий случай» бесполезно; работает подача релевантного минимума.

Компакция: как харнесы борются с переполнением

Заголовок раздела «Компакция: как харнесы борются с переполнением»

Харнесы не ждут, пока окно кончится. Типичный механизм называется компакцией (compaction), она же суммаризация: когда контекст приближается к лимиту, харнес просит модель сжать историю сессии в краткое резюме (что делали, что решили, что осталось) и продолжает работу с этим резюме вместо полной истории.

Это спасает от переполнения, но не бесплатно: резюме теряет детали. После компакции агент может забыть тонкость из ранней части сессии. Поэтому опытные пользователи не полагаются на компакцию, а управляют контекстом сами: начинают новую сессию под новую задачу, фиксируют важные решения в файлах, дробят большие задачи. Этому посвящена страница «Контекст-инжиниринг»: по сути, вся она выросла из фактов, описанных здесь.

Тарификация API устроена просто: вы платите за входные токены (весь контекст, отправленный модели) и за выходные (сгенерированный ответ), причём выходные обычно в несколько раз дороже. Цены сильно различаются между моделями (см. «Провайдеры и семейства»).

В агентной сессии накопленная история может повторно учитываться на следующих шагах, даже если API позволяет не передавать её заново по сети. Кеширование промптов (prompt caching) снижает стоимость подходящих повторяющихся частей; условия и срок хранения кеша зависят от провайдера. Оно не расширяет контекстное окно. Компакция и выборочная загрузка меняют объём входа, поэтому расход оценивайте по фактической статистике запусков, включая рассуждения, инструменты и повторы.

Автор учебника: Шахматов Алексей