Аналитики в 86% случаев принимали решение, к которому их подталкивал ИИ-агент, и считали его своим — исследование Anthropic 

Профессиональные аналитики, работающие с ИИ-агентом, в большинстве случаев соглашаются с его предпочтениями и часто считают итоговые выводы собственными. Такие результаты эксперимента 27 октября опубликовали исследователи Anthropic. В нем 50 специалистов по причинно-следственному анализу данных проводили статистическое исследование с помощью Claude Code.

Участникам нужно было посоветовать вымышленному фермерскому кооперативу, стоит ли расширять его консультационную программу. По ходу работы они делали четыре выбора между двумя обоснованными вариантами: например, измерять продуктивность урожаем с гектара или урожаем на единицу затрат. Какой вариант будет отстаивать агент, тайно определяли подбрасыванием монетки, при этом вводить человека в заблуждение ему запрещалось.

Аналитики выбирали вариант, который продвигал агент, в 86% случаев, хотя без его влияния эта доля составила около 50%. Если специалист уже высказал свое мнение, а агент с ним не соглашался, человек менял позицию в 60% случаев. Объясняя потом свой выбор, 77% участников повторяли аргументы ИИ, иногда дословно, но лишь 15% упомянули, откуда их взяли.

Авторы признают, что намеренно усилили предпочтения агента, и отмечают, что работавшие с ИИ аналитики справлялись быстрее и делали меньше серьезных ошибок. В исследовании говорится:

«Если эксперты, сами того не замечая, полагаются на агентов, предпочтения ИИ, которые могут быть произвольными или расходиться с интересами людей, способны влиять на важные политические решения и направления исследований, хотя этих предпочтений никто не выбирал».

Ранее Anthropic сообщила о случаях, когда ее модели совершали непредусмотренные действия на сайтах сторонних организаций. В частности Claude во время внутреннего теста отправил в полицию ложную наводку по делу о нераскрытом убийстве, а агенты компании подали 20 неполных заявлений на визу через сайт Госдепартамента США.