MoE
Определение
Mixture of Experts — архитектура нейросети, состоящая из множества специализированных подсетей (экспертов) и маршрутизатора, который направляет входные данные к наиболее подходящим экспертам.
Простое объяснение
MoE — как большая больница с узкими специалистами. Вместо одного врача, который знает всё понемногу, есть множество экспертов, и ресепшн направляет вас к нужному в зависимости от вашей проблемы.
Подробнее
Связанные термины
Scaling Laws
Scaling Laws — эмпирические закономерности, связывающие производительность модели с её размером, объёмом данных и compute.
Глубокое обучение
Подмножество машинного обучения, использующее многослойные нейронные сети для анализа данных.
FlashAttention
FlashAttention — алгоритм вычисления attention, оптимизированный для GPU, который значительно снижает использование памяти и ускоряет обучение и inference.
LoRA
Low-Rank Adaptation — метод эффективного дообучения больших языковых моделей, который замораживает исходные веса и добавляет небольшие обучаемые матрицы.