Self-Attention

Self-Attention позволяет каждому токену в последовательности "видеть" все остальные токены и определять их релевантность. В предложении "The animal didn''t cross the street because it was too tired" self-attention помогает модели понять, что "it" относится к "animal", а не к "street". Multi-Head Self-Attention параллельно вычисляет несколько таких паттернов внимания, улавливая различные типы связей.