MMLU
Определение
MMLU (Massive Multitask Language Understanding) — бенчмарк для оценки знаний и способности к рассуждению LLM по 57 предметным областям.
Простое объяснение
MMLU — как единый экзамен для AI по всем предметам сразу: от физики до истории искусств. Показывает, насколько модель "образованна".
Подробнее
Связанные термины
Датасет
Датасет — набор данных, используемый для обучения, валидации и тестирования AI-моделей.
Data Labeling
Data Labeling — процесс разметки данных людьми для создания обучающих выборок для supervised learning моделей.
Synthetic Data
Синтетические данные — искусственно сгенерированные данные, имитирующие реальные, используемые для обучения AI при недостатке или конфиденциальности реальных данных.
Управление данными
Управление данными (Data Management) — процессы сбора, хранения, обработки и защиты данных, критичные для работы AI-систем.