Latent Space
Определение
Latent Space — многомерное пространство скрытых представлений, где нейросеть кодирует семантику данных.
Простое объяснение
Latent Space — как карта смыслов в голове AI. Похожие вещи расположены рядом, и можно "путешествовать" между концепциями.
Подробнее
Связанные термины
Attention Mechanism
Механизм внимания — фундаментальный компонент современных нейросетей, позволяющий модели динамически фокусироваться на релевантных частях входных данных.
Pre-training
Предобучение — начальный этап обучения AI-модели на огромных объёмах неразмеченных данных для формирования базовых знаний и способностей.
MoE
Mixture of Experts — архитектура нейросети, состоящая из множества специализированных подсетей (экспертов) и маршрутизатора, который направляет входные данные к наиболее подходящим экспертам.
KV Cache
KV Cache — механизм кэширования ключей (Keys) и значений (Values) в трансформерах для ускорения авторегрессивной генерации.