XAI
Определение
XAI (Explainable AI) — подход к созданию AI-систем, чьи решения и процесс рассуждений можно объяснить и понять человеку.
Простое объяснение
Это когда AI может объяснить, почему принял такое решение — не просто дать ответ, а показать свои «рассуждения».
Подробнее
Методы XAI:
- LIME — локальные объяснения
- SHAP — важность признаков
- Attention visualization — визуализация внимания
- Counterfactual — «что если» сценарии
Требуется регуляторами (EU AI Act) для высокорисковых применений.
Связанные термины
Red Teaming
Red Teaming — практика систематического тестирования AI-систем на уязвимости путём симуляции атак злоумышленников.
Model Card
Model Card — стандартизированный документ, описывающий ML-модель: её назначение, производительность, ограничения и этические аспекты.
Guardrails
Guardrails — защитные механизмы, ограничивающие поведение AI-модели и предотвращающие генерацию вредного или нежелательного контента.
Этика AI
Этика AI — область, изучающая моральные вопросы разработки и применения AI: справедливость, прозрачность, ответственность, влияние на общество.