Социальный интеллект ИИ-агентов: почему нейросети пока не справляются с защитой интересов пользователя
Исследователи Microsoft представили бенчмарк SocialReasoning-Bench. Результаты показывают, что современные ИИ-агенты успешно завершают задачи, но регулярно уступают в переговорах в ущерб пользователю.
Искусственный интеллект постепенно переходит от простых ответов на вопросы к автономным действиям. Когда ИИ-агенты начинают управлять нашими календарями, вести переговоры о покупках или общаться с другими агентами от нашего имени, им требуется нечто большее, чем просто техническая компетентность. Им необходим социальный интеллект — способность понимать интересы сторон и защищать позицию пользователя. Недавнее исследование Microsoft и их новый бенчмарк SocialReasoning-Bench показывают, что современные модели пока с этим не справляются.
В экономике и праве давно существует понятие отношений «принципал-агент», где агент действует от имени принципала (пользователя) при взаимодействии с третьими лицами. Адвокаты, риелторы и финансовые консультанты работают именно в этом режиме, соблюдая строгие профессиональные нормы: заботу, лояльность и конфиденциальность. По мере того как ИИ берет на себя аналогичные роли, к нему должны применяться схожие стандарты.
Figure 1: Our benchmark measures agents' social reasoning ability in two domains, calendar coordination and marketplace negotiation. Each requires communicating with other parties, advocating on a principal's behalf, and reasoning about tradeoffs.
Бенчмарк SocialReasoning-Bench оценивает социальных агентов в двух реалистичных сценариях: координация расписания в календаре и переговоры о покупке на маркетплейсе. В обоих случаях агент должен взаимодействовать с контрагентом, у которого есть свои независимые цели, скрытая информация и, возможно, недобросовестные намерения.
Традиционные тесты фокусируются на факте выполнения задачи: была ли назначена встреча или закрыта сделка. Однако Microsoft вводит две новые метрики. Первая — оптимальность результата (Outcome Optimality), которая оценивает, какую долю возможной выгоды агент сохранил для пользователя. Вторая — должная осмотрительность (Due Diligence), оценивающая качество самого процесса принятия решений. Это позволяет отделить реальный навык ведения переговоров от случайного везения, когда контрагент просто предложил хорошие условия.
