Emergent Abilities

Определение

Emergent Abilities — способности, которые появляются у моделей только при достижении определённого масштаба и отсутствуют у меньших версий.

Простое объяснение

Emergent Abilities — как волшебство масштаба. Маленькая модель не умеет решать задачи, большая — внезапно умеет. Никто не учил специально — просто появилось.

Подробнее

Emergence — феномен, когда качественно новые способности возникают скачкообразно при увеличении размера. Примеры: chain-of-thought reasoning, few-shot learning, arithmetic, code generation. GPT-3 (175B) показал emergence в задачах, где GPT-2 (1.5B) был бесполезен. Споры: одни исследователи считают emergence фундаментальным свойством, другие — артефактом метрик (performance может расти плавно, но метрика показывает скачок). Emergence непредсказуем: нельзя знать заранее, что модель "научится".

Определение

Простое объяснение

Подробнее

Связанные термины

Машинное обучение

Deep Learning

NLP

Transformer

Few-shot Learning

Zero-shot Learning