Токен — это кусочек текста, которым нейросеть измеряет всё, что читает и пишет. Не буква и не слово, а что-то посередине: короткое слово — один токен, длинное — два-три, знаки препинания тоже считаются.
Сколько это в словах
Практические ориентиры для русского языка:
- 1 токен ≈ 2–3 символа русского текста;
- 1 страница А4 (около 400 слов) ≈ 900–1200 токенов;
- Короткий вопрос в чате ≈ 10–30 токенов;
- Большой документ на 20 страниц ≈ 20 000 токенов.
Важная деталь: русский текст «съедает» примерно вдвое больше токенов, чем такой же по смыслу английский. Это прямо влияет на стоимость — за один и тот же запрос по-русски вы платите больше.
Почему за них платят
Все облачные нейросети берут деньги за токены: отдельно за то, что вы отправили (входящие), отдельно за то, что модель написала (исходящие). Исходящие обычно дороже в несколько раз.
Отсюда практическое следствие: длинный ответ дороже длинного вопроса. Просьба «дай развёрнутый ответ на 5000 слов» может стоить в разы больше, чем сам вопрос.
Прикинуть расходы под свои задачи можно калькулятором стоимости моделей.
Токены и контекстное окно
Второе место, где токены важны, — контекстное окно: максимум текста, который модель удерживает за раз. Оно тоже измеряется в токенах, и когда разговор в него не помещается, модель начинает «забывать» начало.
Как экономить
- Не грузите лишнее. Отправляйте нужный фрагмент документа, а не документ целиком.
- Просите нужный объём. «Ответь тремя предложениями» экономит больше, чем любые другие приёмы.
- Начинайте новый чат для новой темы: длинная история переписки отправляется заново с каждым сообщением.
- Используйте дешёвые модели для рутины, а флагманы — для сложного. Для ИИ-агентов это главный способ снизить счёт.
- Работайте локально. У локальных моделей токены бесплатны — вы платите только электричеством.
Другие термины — в глоссарии.