C
Contamination
Также известен как: Data Contamination, Утечка данных, Test Set Leakage
Данные и аналитикаОпределение
Contamination (утечка данных) — проблема попадания тестовых данных в обучающую выборку, что приводит к завышенным результатам на бенчмарках.
Простое объяснение
Contamination — как студент, который случайно увидел экзаменационные вопросы заранее. Его высокая оценка не отражает реальных знаний, только хорошую память.
Подробнее
Contamination — серьёзная проблема оценки LLM. Модели обучаются на огромных корпусах из интернета, куда могут попасть ответы на MMLU, HumanEval и другие тесты. Это создаёт иллюзию "понимания", хотя модель просто запомнила ответы. Методы борьбы: decontamination training data, создание новых held-out бенчмарков, использование динамических тестов (live coding tasks), анализ memorization vs. generalization.
Связанные термины
Machine Translation
Machine Translation — автоматический перевод текста с одного языка на другой с помощью AI-моделей.
Data Labeling
Data Labeling — процесс разметки данных людьми для создания обучающих выборок для supervised learning моделей.
Anomaly Detection
Anomaly Detection — автоматическое выявление необычных паттернов, выбросов или аномалий в данных.
Предиктивная аналитика
Предиктивная аналитика — использование исторических данных и ML для прогнозирования будущих событий, трендов и поведения.