T
Tokenizer
Также известен как: Токенизатор, BPE
Основы AIОпределение
Tokenizer — компонент, преобразующий текст в последовательность токенов (чисел), которые понимает языковая модель.
Простое объяснение
Tokenizer — как переводчик человеческого языка в язык цифр, который понимает AI. Разбивает текст на кусочки и присваивает каждому номер.
Подробнее
Tokenizer — первый этап обработки текста в LLM. BPE (Byte Pair Encoding) — популярный алгоритм: начинает с символов и итеративно объединяет частые пары. GPT использует tiktoken, LLaMA — SentencePiece. Разные токенизаторы дают разное количество токенов для того же текста. "Tokenizer tax" — неэффективность для некоторых языков (русский требует больше токенов, чем английский). Выбор tokenizer влияет на vocabulary size, эффективность и поддержку языков.
Связанные термины
Top-p / Top-k
Top-p и Top-k — методы семплирования, ограничивающие выбор следующего токена наиболее вероятными вариантами.
Юзабилити AI
Юзабилити AI — удобство использования AI-продуктов, включающее простоту взаимодействия, понятность результатов и эффективность решения задач.
System Prompt
System Prompt — специальная инструкция, задающая поведение, роль и ограничения AI-модели на протяжении всего диалога.
Chain-of-Thought
Chain-of-Thought (CoT) — техника промптинга, побуждающая модель рассуждать пошагово перед выдачей финального ответа.