CLIP
Определение
CLIP (Contrastive Language-Image Pre-training) — модель OpenAI, связывающая изображения и текст в общем пространстве представлений.
Простое объяснение
CLIP — как переводчик между языком и картинками. Понимает, что текст "закат над океаном" и соответствующее фото — об одном и том же.
Подробнее
Связанные термины
DPO
Direct Preference Optimization — упрощённая альтернатива RLHF, которая напрямую оптимизирует модель на данных предпочтений без необходимости отдельной reward model.
KV Cache
KV Cache — механизм кэширования ключей (Keys) и значений (Values) в трансформерах для ускорения авторегрессивной генерации.
VAE
Variational Autoencoder — генеративная модель, которая учится кодировать данные в компактное латентное пространство и декодировать обратно, используя вероятностный подход.
Unsupervised Learning
Обучение без учителя — тип машинного обучения, при котором модель находит скрытые паттерны в данных без предварительной разметки.