LoRA
Определение
Low-Rank Adaptation — метод эффективного дообучения больших языковых моделей, который замораживает исходные веса и добавляет небольшие обучаемые матрицы.
Простое объяснение
Представьте, что вам нужно научить огромную энциклопедию новой теме. Вместо переписывания всех томов, вы просто добавляете небольшие стикеры с пометками — это и есть LoRA. Быстро, дёшево и эффективно.
Подробнее
Связанные термины
Жизненный цикл модели
Жизненный цикл ML-модели — этапы от постановки задачи до вывода из эксплуатации: сбор данных, обучение, deployment, мониторинг, обновление.
Transfer Learning
Трансфер обучения — перенос знаний, полученных моделью на одной задаче, для решения другой, родственной задачи, ускоряя обучение и улучшая результаты.
Zero-shot Learning
Zero-shot обучение — способность AI выполнять задачи, на которых модель не обучалась напрямую, используя общие знания и инструкции.
Fine-tuning
Дообучение — процесс адаптации предобученной AI-модели к конкретной задаче или домену путём дополнительного обучения на специализированных данных.