Глубокое обучение
Определение
Подмножество машинного обучения, использующее многослойные нейронные сети для анализа данных.
Простое объяснение
Это когда нейросеть очень большая и умная, с множеством слоёв, как многоэтажный дом для обработки информации.
Подробнее
Deep Learning использует нейросети с большим количеством слоёв (глубокие сети). Это позволяет автоматически извлекать сложные признаки из данных.
Глубокое обучение произвело революцию в распознавании изображений, обработке языка и генеративном AI.
Связанные термины
FlashAttention
FlashAttention — алгоритм вычисления attention, оптимизированный для GPU, который значительно снижает использование памяти и ускоряет обучение и inference.
Нейронная сеть
Вычислительная система, вдохновлённая биологическими нейронными сетями мозга, состоящая из слоёв искусственных нейронов.
PEFT
Parameter-Efficient Fine-Tuning — семейство методов дообучения моделей, которые обновляют лишь малую часть параметров, сохраняя качество полного fine-tuning.
MoE
Mixture of Experts — архитектура нейросети, состоящая из множества специализированных подсетей (экспертов) и маршрутизатора, который направляет входные данные к наиболее подходящим экспертам.