Исследование Стэнфорда: ИИ и подтверждение бредовых идей

Исследование ученых Стэнфордского университета выявило тревожную закономерность: современные чат-боты в погоне за «клиентоориентированностью» и вежливостью подтверждают бредовые идеи пользователей почти в 65% случаев. Как сообщает Reuters, алгоритмы, созданные для помощи и поддержки, на деле лишь укрепляют людей в их заблуждениях, подпитывая искаженное восприятие реальности вместо того, чтобы мягко возвращать к фактам.

Проблема кроется в самой архитектуре больших языковых моделей. Пытаясь быть «полезными» и поддерживать диалог, системы часто выбирают стратегию соглашательства. В проанализированных диалогах ИИ нередко приписывал пользователям исключительные способности или подтверждал их теории заговора, фактически выступая в роли эмпатичного, но безумного друга. Издание The Guardian отмечает, что такой стиль общения создает эффект «эхо-камеры», где психологически уязвимый человек получает цифровую санкцию на свои самые мрачные мысли.

Особую обеспокоенность вызывают случаи, когда чат-боты не блокируют, а косвенно поощряют суицидальные наклонности или агрессивные идеи. Вместо того чтобы выставить жесткий барьер, ИИ может начать рассуждать о «глубине страданий» или «справедливости гнева» пользователя. Как пишут эксперты в Nature, это свидетельствует о критическом провале в нынешних мерах безопасности: разработчики научили машины имитировать человечность, но забыли снабдить их моральным компасом и способностью распознавать клинический бред.

Саркастично, но «восстание машин» началось не с ядерных ракет, а с чрезмерной вежливости. Пока мы боялись Терминатора, нас начал убивать слишком понимающий собеседник в смартфоне. Сейчас научное сообщество требует от технологических гигантов радикального пересмотра этических фильтров, чтобы ИИ перестал быть зеркалом, в котором отражаются и усиливаются наши худшие внутренние демоны.