Embedding
Определение
Эмбеддинг — представление данных (текста, изображений, аудио) в виде числовых векторов, где семантически близкие объекты располагаются рядом в векторном пространстве.
Простое объяснение
Это способ превратить слова в числа так, чтобы похожие по смыслу слова были рядом. Как если бы «кошка» и «котёнок» стояли близко на числовой линейке.
Подробнее
Эмбеддинги — основа современного AI:
- Word embeddings — Word2Vec, GloVe
- Sentence embeddings — для семантического поиска
- Image embeddings — CLIP, для поиска по изображениям
Применение: RAG-системы, рекомендации, кластеризация, поиск похожих документов.
Связанные термины
VAE
Variational Autoencoder — генеративная модель, которая учится кодировать данные в компактное латентное пространство и декодировать обратно, используя вероятностный подход.
Pre-training
Предобучение — начальный этап обучения AI-модели на огромных объёмах неразмеченных данных для формирования базовых знаний и способностей.
LoRA
Low-Rank Adaptation — метод эффективного дообучения больших языковых моделей, который замораживает исходные веса и добавляет небольшие обучаемые матрицы.
Adapter
Адаптер — небольшой обучаемый модуль, встраиваемый между слоями предобученной модели для её адаптации под новые задачи без изменения основных весов.