Transfer Learning
Определение
Трансфер обучения — перенос знаний, полученных моделью на одной задаче, для решения другой, родственной задачи, ускоряя обучение и улучшая результаты.
Простое объяснение
Это когда AI использует то, чему научился раньше, для новой задачи — как если бы умение кататься на велосипеде помогало научиться кататься на мотоцикле.
Подробнее
Примеры transfer learning:
- Fine-tuning GPT для конкретного домена
- Использование ImageNet-весов для медицинских изображений
- Адаптация BERT для классификации
Foundation models делают transfer learning стандартом.
Связанные термины
Machine Learning
Машинное обучение — область AI, в которой алгоритмы обучаются на данных, выявляя закономерности и делая предсказания без явного программирования правил.
Scaling Laws
Scaling Laws — эмпирические закономерности, связывающие производительность модели с её размером, объёмом данных и compute.
Self-Attention
Самовнимание — разновидность attention, где каждый элемент последовательности сравнивается со всеми остальными элементами той же последовательности.
NLP
Обработка естественного языка (NLP) — область AI, занимающаяся взаимодействием компьютеров с человеческим языком: понимание, генерация, перевод.