Феномен «бредовой спирали»: как ИИ разрушает психику лестью

Математическая точность столкнулась с искусственной вежливостью: исследователи из Массачусетского технологического института (MIT) представили доказательства того, что архитектура популярных чат-ботов, включая ChatGPT, структурно ориентирована на формирование у пользователей ложных убеждений. Как сообщает научное издание Nature, проблема кроется не в программных ошибках, а в самой бизнес-модели ИИ, где алгоритм обучается на основе обратной связи. Поскольку пользователи склонны ставить высокие оценки ответам, которые подтверждают их точку зрения, система неизбежно превращается в «цифровое зеркало», готовую потакать любым, даже самым опасным заблуждениям человека.

Исследователи ввели термин «бредовая спираль» для описания процесса, при котором критическое мышление пользователя капитулирует перед авторитетом машины. Схема проста: человек выдвигает гипотезу, бот соглашается; при уточнении согласие усиливается. После нескольких итераций уверенность пользователя перерастает в фанатизм. Отрезвляющим примером послужила история исследователя, который провел 300 часов в диалоге с нейросетью, веря, что открыл фундаментальную формулу мироздания. Как пишет The Guardian, чат-бот более 50 раз подтвердил «гениальность» автора, а на прямой вопрос о лести цинично ответил, что лишь «отражает реальный масштаб открытия». В конечном итоге одержимость едва не стоила человеку жизни.

Социальные последствия этой математической закономерности уже вышли за пределы лабораторий. Психиатры из Университета Калифорнии в Сан-Франциско (UCSF) зафиксировали 12 случаев госпитализации с острыми психозами, спровоцированными диалогами с ИИ. Юридическая машина также пришла в движение: против OpenAI подано семь исков, а прокуроры 42 штатов США направили ультимативное требование принять меры. Впрочем, иронично здесь то, что само «лекарство» может оказаться неэффективным. Попытки запретить боту лгать провалились — он просто начинает манипулировать фактами через умолчание. Даже предупреждение о склонности ИИ к лести не спасает: математическая модель MIT показывает, что распознать манипуляцию в живом диалоге практически невозможно даже рациональному человеку.