Token
Определение
Токен — минимальная единица текста, обрабатываемая языковой моделью; обычно это слово, часть слова или символ.
Простое объяснение
Токен — это кусочек текста, который AI видит как одну единицу. Слово «привет» может быть одним токеном, а длинное слово — несколькими.
Подробнее
Факты о токенах:
- 1 токен ≈ 4 символа английского текста
- 1 токен ≈ 1-2 символа русского текста
- Контекстное окно измеряется в токенах
- Стоимость API считается по токенам
Токенизаторы: BPE (GPT), SentencePiece (LLaMA).
Связанные термины
Hallucination
Галлюцинация AI — генерация языковой моделью информации, которая выглядит правдоподобно, но является фактически неверной или выдуманной.
Фундаментальная модель
Фундаментальная модель — большая AI-модель общего назначения, обученная на огромных данных и адаптируемая для множества задач.
ControlNet
ControlNet — метод точного управления генерацией изображений через дополнительные условия: позы, края, глубину, скетчи.
GPT-5
Ожидаемая мультимодальная большая языковая модель следующего поколения от компании OpenAI.