Token
Определение
Токен — минимальная единица текста, обрабатываемая языковой моделью; обычно это слово, часть слова или символ.
Простое объяснение
Токен — это кусочек текста, который AI видит как одну единицу. Слово «привет» может быть одним токеном, а длинное слово — несколькими.
Подробнее
Факты о токенах:
- 1 токен ≈ 4 символа английского текста
- 1 токен ≈ 1-2 символа русского текста
- Контекстное окно измеряется в токенах
- Стоимость API считается по токенам
Токенизаторы: BPE (GPT), SentencePiece (LLaMA).
Связанные термины
Upscaling
Upscaling — увеличение разрешения изображения с помощью AI, добавляющего реалистичные детали, которых не было в оригинале.
Inpainting
Inpainting — техника заполнения выделенных областей изображения новым контентом, сгенерированным AI с учётом контекста.
Sora
Sora — модель генерации видео от OpenAI, способная создавать реалистичные видеоролики до минуты по текстовому описанию.
Промпт
Текстовый запрос или инструкция, которую пользователь даёт AI-модели для получения нужного результата.