Token (Токен)
Определение
Токен — единица, в которой модель получает и генерирует последовательность. Для текста это может быть слово, часть слова, знак, пробел или байтовый фрагмент — в зависимости от токенизатора.
Токенизация
Токенизатор переводит вход в последовательность идентификаторов из словаря модели. Это не то же самое, что embedding: токенизация определяет дискретные элементы входа, а embedding превращает их или целые объекты в векторы.
Универсальной формулы «слова → токены» нет. Соотношение зависит от языка, модели, кода, пунктуации и конкретного текста. Для бюджета используй счётчик нужного API, а грубые оценки оставляй с запасом.
Где учитываются токены
- лимит контекста;
- тарификация входа и выхода;
- скорость prefill и генерации;
- ограничения максимального ответа;
- prompt caching;
- иногда отдельно — reasoning tokens.
Изображения, аудио и видео могут пересчитываться в токены или тарифицироваться другими единицами — это зависит от API.