Constitutional AI
Определение
Constitutional AI — подход Anthropic к созданию безопасного AI, где модель обучается следовать набору принципов (конституции) через самокритику и ревизию.
Простое объяснение
Constitutional AI — как воспитание ребёнка не через "делай так, не делай эдак", а через объяснение принципов: "будь добрым", "говори правду". Ребёнок сам учится применять принципы к новым ситуациям.
Подробнее
Связанные термины
Guardrails
Guardrails — защитные механизмы, ограничивающие поведение AI-модели и предотвращающие генерацию вредного или нежелательного контента.
Этика AI
Этика AI — область, изучающая моральные вопросы разработки и применения AI: справедливость, прозрачность, ответственность, влияние на общество.
Grounding
Grounding — привязка генерации AI к фактическим данным, документам или внешним источникам для повышения точности и уменьшения галлюцинаций.
AI Alignment
Согласование AI — область исследований, направленная на создание AI-систем, чьи цели и поведение соответствуют человеческим ценностям и намерениям.