XAI
Определение
XAI (Explainable AI) — подход к созданию AI-систем, чьи решения и процесс рассуждений можно объяснить и понять человеку.
Простое объяснение
Это когда AI может объяснить, почему принял такое решение — не просто дать ответ, а показать свои «рассуждения».
Подробнее
Методы XAI:
- LIME — локальные объяснения
- SHAP — важность признаков
- Attention visualization — визуализация внимания
- Counterfactual — «что если» сценарии
Требуется регуляторами (EU AI Act) для высокорисковых применений.
Связанные термины
AI Governance
Система управления AI: политики, процессы и контроли для ответственного использования искусственного интеллекта.
Explainable AI
Объяснимый AI (XAI) — подход к разработке AI-систем, решения которых можно понять и объяснить человеку.
Jailbreak
Jailbreak — техники обхода встроенных ограничений AI-модели для получения запрещённых ответов или нежелательного поведения.
AI Alignment
Согласование AI — область исследований, направленная на создание AI-систем, чьи цели и поведение соответствуют человеческим ценностям и намерениям.