Tokenizer
Определение
Tokenizer — компонент, преобразующий текст в последовательность токенов (чисел), которые понимает языковая модель.
Простое объяснение
Tokenizer — как переводчик человеческого языка в язык цифр, который понимает AI. Разбивает текст на кусочки и присваивает каждому номер.
Подробнее
Связанные термины
Chain-of-Thought
Chain-of-Thought (CoT) — техника промптинга, побуждающая модель рассуждать пошагово перед выдачей финального ответа.
Оптимизация
Оптимизация — процесс улучшения системы, модели или процесса для достижения лучших результатов при заданных ограничениях.
Эпоха AI
Эпоха AI — текущий исторический период, характеризующийся массовым внедрением искусственного интеллекта во все сферы жизни и экономики.
Запрос (Query) в AI
Запрос (Query) — входные данные или команда, отправляемая AI-системе или базе данных для получения информации или выполнения действия.