P
Perplexity (метрика)
Также известен как: Перплексия, PPL
Данные и аналитикаОпределение
Perplexity — метрика качества языковой модели, показывающая, насколько модель "удивлена" тестовыми данными. Чем ниже perplexity, тем лучше модель.
Простое объяснение
Perplexity — как оценка предсказуемости текста для модели. Если вы легко угадываете следующее слово в песне — perplexity низкая. Если текст полон неожиданностей — высокая.
Подробнее
Perplexity вычисляется как экспонента средней кросс-энтропии: PPL = exp(-1/N × Σ log P(token_i)). Интуитивно это среднее количество равновероятных вариантов следующего токена. Если PPL=10, модель в среднем "выбирает" из 10 вариантов. Хорошие LLM на английском тексте достигают PPL < 10. Perplexity полезна для сравнения моделей на одном датасете, но не отражает качество генерации или следования инструкциям.
Связанные термины
Датасет
Датасет — набор данных, используемый для обучения, валидации и тестирования AI-моделей.
Object Detection
Object Detection — задача компьютерного зрения: найти объекты на изображении и определить их классы и положение.
Retrieval
Retrieval — поиск и извлечение релевантной информации из базы данных или корпуса документов по запросу.
Summarization
Summarization — автоматическое создание краткого изложения длинного текста с сохранением ключевой информации.