Компания представила Safety Bug Bounty — новую программу вознаграждений за поиск специфических для ИИ угроз, которые выходят за рамки традиционной кибербезопасности.
2 мин
Компания OpenAI объявила о запуске публичной программы Safety Bug Bounty. Ее главная цель — выявление рисков злоупотребления искусственным интеллектом и проблем с безопасностью в продуктах компании. Это важный шаг, который показывает, что индустрия начинает системно подходить к угрозам, специфичным именно для нейросетей, отделяя их от классических уязвимостей программного обеспечения.
До сих пор у OpenAI действовала стандартная программа Security Bug Bounty, куда исследователи сообщали о классических проблемах: ошибках в коде, уязвимостях серверов или обходе авторизации. Однако по мере развития технологий стало ясно, что большие языковые модели (LLM) создают совершенно новые векторы атак. Эти атаки могут не нарушать традиционный периметр безопасности, но способны нанести реальный ущерб пользователю или компании. Новая программа призвана закрыть эту слепую зону.
Программа Safety Bug Bounty фокусируется на нескольких ключевых категориях угроз:
art card
Интересно, что базовые обходы ограничений (jailbreaks), которые просто заставляют модель использовать грубую лексику или выдавать легкодоступную в поисковиках информацию, не попадают под действие программы. OpenAI интересует только тот ущерб, который имеет материальные последствия.
Этот шаг OpenAI демонстрирует фундаментальный сдвиг в понимании безопасности ИИ. Индустрия переходит от борьбы с "токсичным текстом" к защите от несанкционированных действий. Появление автономных агентов, способных взаимодействовать с внешним миром через API и браузеры, многократно увеличивает цену ошибки. Требование воспроизводимости багов в 50% случаев говорит о том, что компания ищет системные уязвимости архитектуры, а не случайные галлюцинации модели.
В будущем, особенно с упоминаемым выходом более продвинутых систем вроде GPT-5, грань между классической кибербезопасностью и безопасностью поведения ИИ будет становиться все более сложной. Вероятно, другие крупные игроки на рынке последуют примеру OpenAI и начнут разделять свои программы Bug Bounty, привлекая специалистов нового профиля — инженеров, которые понимают не только как взломать сервер, но и как манипулировать логикой нейросетей.
OpenAI выделила безопасность поведения ИИ в отдельную дисциплину, запустив специализированную программу поиска уязвимостей для автономных агентов.
Главная угроза для ИИ-компаний сместилась с генерации нежелательного контента на риски, связанные с автономными действиями агентов от лица пользователя.
