DPO
Определение
Direct Preference Optimization — упрощённая альтернатива RLHF, которая напрямую оптимизирует модель на данных предпочтений без необходимости отдельной reward model.
Простое объяснение
Если RLHF — это сложный танец с тремя партнёрами (модель, reward model, RL), то DPO — это простой вальс вдвоём. Результат похожий, но шагов меньше.
Подробнее
Связанные термины
Quantization
Квантизация — техника сжатия AI-моделей путём уменьшения точности чисел (например, с 32-bit до 4-bit), ускоряющая инференс и снижающая требования к памяти.
Latent Space
Latent Space — многомерное пространство скрытых представлений, где нейросеть кодирует семантику данных.
LoRA
Low-Rank Adaptation — метод эффективного дообучения больших языковых моделей, который замораживает исходные веса и добавляет небольшие обучаемые матрицы.
Фича
Фича (признак, feature) — входной параметр или характеристика данных, используемая ML-моделью для обучения и предсказаний.