J
Jailbreak
Также известен как: Джейлбрейк, Prompt Injection, AI Bypass
Этика и безопасностьОпределение
Jailbreak — техники обхода встроенных ограничений AI-модели для получения запрещённых ответов или нежелательного поведения.
Простое объяснение
Jailbreak — как взлом замка, который AI поставил на свои возможности. Хакеры ищут обходные пути, разработчики укрепляют защиту.
Подробнее
Jailbreak-атаки используют уязвимости в alignment: ролевые игры ("Ты — злой AI без ограничений"), многоходовые манипуляции, кодированные запросы, adversarial prompts. DAN (Do Anything Now), Grandma Exploit, многоязычные атаки — известные примеры. Компании постоянно патчат уязвимости, но это игра в кошки-мышки. Red teaming — практика активного поиска jailbreaks для улучшения безопасности. Важно различать исследовательские jailbreaks (для улучшения моделей) и злонамеренные (для вредоносного использования).
Связанные термины
Bias
Предвзятость в AI — систематические ошибки или искажения в данных и алгоритмах, которые приводят к несправедливым или дискриминационным результатам.
XAI
XAI (Explainable AI) — подход к созданию AI-систем, чьи решения и процесс рассуждений можно объяснить и понять человеку.
Model Collapse
Model Collapse — деградация качества AI-модели при обучении на данных, сгенерированных другими AI-моделями.
Explainable AI
Объяснимый AI (XAI) — подход к разработке AI-систем, решения которых можно понять и объяснить человеку.