Zero-shot Learning
Определение
Zero-shot обучение — способность AI выполнять задачи, на которых модель не обучалась напрямую, используя общие знания и инструкции.
Простое объяснение
Это когда AI может выполнить новую задачу с первого раза, без обучения на примерах — просто потому что он много знает.
Подробнее
Примеры zero-shot:
- Классификация текста по новым категориям без примеров
- Перевод между языками, не виденными при обучении
- Выполнение инструкций без примеров
LLM демонстрируют сильные zero-shot способности благодаря масштабу.
Связанные термины
Attention Mechanism
Механизм внимания — фундаментальный компонент современных нейросетей, позволяющий модели динамически фокусироваться на релевантных частях входных данных.
Transformer
Трансформер — архитектура нейронной сети с механизмом внимания (attention), ставшая основой современных языковых моделей и генеративного AI.
PEFT
Parameter-Efficient Fine-Tuning — семейство методов дообучения моделей, которые обновляют лишь малую часть параметров, сохраняя качество полного fine-tuning.
Quantization
Квантизация — техника сжатия AI-моделей путём уменьшения точности чисел (например, с 32-bit до 4-bit), ускоряющая инференс и снижающая требования к памяти.