Inference
Определение
Инференс — процесс получения предсказаний или результатов от обученной AI-модели на новых входных данных.
Простое объяснение
Это момент, когда AI применяет всё, чему научился, чтобы дать тебе ответ — как когда ты используешь знания на контрольной.
Подробнее
Инференс vs обучение:
- Обучение — создание модели (дорого, долго)
- Инференс — использование модели (быстро, дёшево)
Оптимизация инференса: квантизация, pruning, distillation, специализированные чипы (TPU, NPU).
Связанные термины
MoE
Mixture of Experts — архитектура нейросети, состоящая из множества специализированных подсетей (экспертов) и маршрутизатора, который направляет входные данные к наиболее подходящим экспертам.
Emergent Abilities
Emergent Abilities — способности, которые появляются у моделей только при достижении определённого масштаба и отсутствуют у меньших версий.
Fine-tuning
Дообучение — процесс адаптации предобученной AI-модели к конкретной задаче или домену путём дополнительного обучения на специализированных данных.
Self-Attention
Самовнимание — разновидность attention, где каждый элемент последовательности сравнивается со всеми остальными элементами той же последовательности.