QLoRA
Определение
Quantized LoRA — усовершенствованная версия LoRA, сочетающая квантизацию модели до 4 бит с адаптацией низкого ранга.
Простое объяснение
Если LoRA — это добавление стикеров к энциклопедии, то QLoRA — это сначала сжатие энциклопедии в карманный формат, а потом добавление стикеров. Ещё компактнее и экономнее.
Подробнее
Связанные термины
Pre-training
Предобучение — начальный этап обучения AI-модели на огромных объёмах неразмеченных данных для формирования базовых знаний и способностей.
Модель
Модель в ML — обученный алгоритм, который принимает входные данные и выдаёт предсказания или генерирует результат.
Fine-tuning
Дообучение — процесс адаптации предобученной AI-модели к конкретной задаче или домену путём дополнительного обучения на специализированных данных.
Глубокое обучение
Подмножество машинного обучения, использующее многослойные нейронные сети для анализа данных.