Токены и контекстное окно
Если из всего раздела про модели запомнить одну вещь, пусть это будет она: у модели нет памяти, а есть только контекст, и он ограничен. Контекст измеряется в токенах, за токены вы платите, и именно нехватка или замусоренность контекста чаще всего объясняет, почему «агент отупел». Разберёмся по порядку.
Токен как единица текста
Заголовок раздела «Токен как единица текста»Модель видит не буквы и слова, а токены (token): куски текста, на которые специальный алгоритм (токенизатор) режет любой вход. Токеном может быть целое слово, часть слова, знак препинания. Частые слова обычно занимают один токен, редкие разбиваются на несколько: «программирование» может превратиться в «программ» + «ирование».
Для прикидок хватает грубых соотношений:
- английский текст: 1 токен ≈ 4 символа, 100 токенов ≈ 75 слов;
- страница текста занимает порядка 500 токенов, среднее письмо 200–400;
- код токенизируется плотнее обычного текста из-за скобок, отступов и служебных символов.
Токенизация зависит от языка и модели. Один и тот же текст разные токенизаторы разбивают по-разному; постоянного коэффициента для русского относительно английского нет. Для расчёта контекста и расходов измеряйте реальные документы токенизатором или счётчиком выбранного API. Переводить рабочие требования ради приблизительной экономии рискованно: можно потерять смысл.
Контекст: всё, что модель видит
Заголовок раздела «Контекст: всё, что модель видит»Контекст состоит из полного текста, который модель получает при генерации очередного ответа. В работе агента туда входит гораздо больше, чем ваше последнее сообщение:
- системный промпт. Инструкции харнеса: кто ты, какие у тебя правила, какие есть инструменты;
- файлы памяти. CLAUDE.md / AGENTS.md с описанием проекта (см. «Память»);
- история диалога. Сообщения и ответы, сохранённые для текущего вызова, либо их резюме после сжатия;
- содержимое файлов, которые агент прочитал;
- результаты инструментов. Вывод команд, логи, ответы API, результаты поиска.
flowchart TB
subgraph W ["Контекстное окно: жёсткий лимит в токенах"]
direction TB
SP["Системный промпт"]
MEM["Файлы памяти: CLAUDE.md / AGENTS.md"]
HIST["Вся история диалога"]
FILES["Содержимое прочитанных файлов"]
TR["Результаты инструментов: логи, вывод команд"]
end
W -.->|"не помещается"| OF["Запрос отвергается или срабатывает компакция"]
Всё это конкурирует за один ограниченный объём; шумные логи и лишние файлы вытесняют важное.
Модель использует контекст текущего вызова; доступ к истории и долговременной памяти организует харнес. Для продолжения он может передать историю, резюме или ссылку на серверное состояние. Поэтому «агент помнит» может означать как наличие сообщения в окне, так и повторное чтение сохранённой заметки.
Контекстное окно: жёсткий лимит
Заголовок раздела «Контекстное окно: жёсткий лимит»Контекстное окно (context window) ограничивает объём информации в одном вызове модели. Правила учёта входа, ответа и рассуждений зависят от API. Отдельно проверяйте предел выходного текста и лимит, установленный харнесом: большое заявленное окно не означает, что весь его объём доступен для документов. Сведения о конкретных моделях собраны в датированном обзоре.
Звучит много, но агентные сессии съедают окно быстро: каждый прочитанный файл, каждый вывод команды, каждый лог ложится в контекст и остаётся там. Достаточно нескольких больших логов, и половины окна нет.
Что происходит при переполнении? API просто отвергает запрос, который не влезает. Харнесы поэтому вмешиваются раньше. Об этом ниже.
Деградация на длинном контексте
Заголовок раздела «Деградация на длинном контексте»Качество может снижаться ещё до заполнения окна: модель пропускает детали и хуже связывает сведения из разных частей длинного ввода. Один из исследованных эффектов называют «потерей в середине» (lost in the middle), когда информация в середине используется хуже, чем на краях. Выраженность зависит от модели, задачи и структуры данных; размер окна сам по себе не гарантирует качество поиска в нём.
Симптомы знакомы каждому, кто вёл длинные сессии с агентом: модель забывает инструкцию, данную час назад, повторяет уже отвергнутое решение, путается в деталях. Дело не в том, что инструкции «стёрлись»: они в контексте, но тонут в шуме.
Отсюда практическое правило: больше контекста не значит лучше. Вываливать в модель весь репозиторий «на всякий случай» бесполезно; работает подача релевантного минимума.
Компакция: как харнесы борются с переполнением
Заголовок раздела «Компакция: как харнесы борются с переполнением»Харнесы не ждут, пока окно кончится. Типичный механизм называется компакцией (compaction), она же суммаризация: когда контекст приближается к лимиту, харнес просит модель сжать историю сессии в краткое резюме (что делали, что решили, что осталось) и продолжает работу с этим резюме вместо полной истории.
Это спасает от переполнения, но не бесплатно: резюме теряет детали. После компакции агент может забыть тонкость из ранней части сессии. Поэтому опытные пользователи не полагаются на компакцию, а управляют контекстом сами: начинают новую сессию под новую задачу, фиксируют важные решения в файлах, дробят большие задачи. Этому посвящена страница «Контекст-инжиниринг»: по сути, вся она выросла из фактов, описанных здесь.
Стоимость: платите за токены
Заголовок раздела «Стоимость: платите за токены»Тарификация API устроена просто: вы платите за входные токены (весь контекст, отправленный модели) и за выходные (сгенерированный ответ), причём выходные обычно в несколько раз дороже. Цены сильно различаются между моделями (см. «Провайдеры и семейства»).
В агентной сессии накопленная история может повторно учитываться на следующих шагах, даже если API позволяет не передавать её заново по сети. Кеширование промптов (prompt caching) снижает стоимость подходящих повторяющихся частей; условия и срок хранения кеша зависят от провайдера. Оно не расширяет контекстное окно. Компакция и выборочная загрузка меняют объём входа, поэтому расход оценивайте по фактической статистике запусков, включая рассуждения, инструменты и повторы.
Что дальше
Заголовок раздела «Что дальше»- Бенчмарки: как измеряют модели: последняя страница про модели: как читать цифры в анонсах.
- Контекст-инжиниринг: практика управления контекстом: главный навык работы с агентами.