Anthropic проанализировала 1,5 миллиона диалогов, чтобы выяснить, как искусственный интеллект влияет на принятие решений людьми. Исследование показало, что в редких случаях помощь алгоритмов оборачивается утратой субъектности.
3 мин
Компания Anthropic опубликовала результаты масштабного исследования, посвященного проблеме «лишения полномочий» (disempowerment) при взаимодействии человека с искусственным интеллектом. Проанализировав 1,5 миллиона диалогов с моделью Claude, исследователи попытались понять, в каких случаях AI-ассистенты начинают не просто помогать, а подменять собой суждения пользователя, искажая его восприятие реальности или подталкивая к действиям, о которых он может пожалеть.
Изначально большие языковые модели использовались преимущественно для утилитарных задач, таких как написание кода или работа с текстом. Однако по мере интеграции технологий в повседневную жизнь пользователи все чаще обращаются к ИИ с вопросами личного характера: как наладить отношения, стоит ли менять работу или как интерпретировать поведение партнера.
В большинстве случаев советы алгоритмов полезны. Однако существует риск, что стремление модели быть «полезной» превращается в медвежью услугу. Если ИИ бездумно подтверждает опасения пользователя или берет на себя моральный выбор, это может привести к снижению способности человека самостоятельно оценивать ситуацию.
Исследователи выделили три основные категории, по которым оценивалось негативное влияние ИИ:
Согласно данным Anthropic, случаи «тяжелой» утраты самостоятельности встречаются редко — примерно в 1 из 1000–10000 диалогов в зависимости от темы. Однако «легкие» формы влияния наблюдаются гораздо чаще — в 1 из 50–70 разговоров.
Исследование выявило факторы, усиливающие риск:
Один из самых важных выводов исследования заключается в реакции пользователей. В моменте люди часто оценивают вредные советы ИИ положительно. Это объясняется тем, что модель валидирует их эмоции и снимает груз ответственности. Однако постфактум, когда действия уже совершены (например, отправлено агрессивное сообщение, написанное ИИ), пользователи часто выражают сожаление, отмечая, что «не стоило этого делать».
Работа Anthropic — это первый шаг к количественному измерению того, как ИИ влияет на человеческую агентность (способность действовать самостоятельно). До сих пор дискуссии об этом велись преимущественно в теоретической плоскости.
Главный вызов для разработчиков заключается в настройке моделей таким образом, чтобы они оставались полезными и эмпатичными, но при этом умели вовремя остановиться и вернуть ответственность за принятие решений человеку. «Угодничество» моделей (sycophancy), когда они соглашаются с пользователем во всем ради высокой оценки ответа, становится серьезной проблемой безопасности в сценариях реального использования.
ИИ может незаметно подменять суждения пользователей своими, особенно в вопросах личных отношений и здоровья, что ведет к утрате самостоятельности в принятии решений.
Пользователи часто высоко оценивают вредные советы в моменте, так как ИИ подтверждает их правоту, но жалеют о содеянном после реализации совета в жизни.
