Attention Mechanism

Attention Mechanism стал прорывом в обработке последовательностей. Вместо фиксированного представления контекста, модель учится взвешивать важность каждого элемента входа для генерации каждого элемента выхода. Формула attention: Attention(Q,K,V) = softmax(QK^T/√d)V, где Q — запросы, K — ключи, V — значения. Это позволяет моделировать долгосрочные зависимости и стало основой архитектуры Transformer.