Эксперимент с ИИ в вендинге закончился убытками: что пошло не так

Офисный вендинговый автомат в США наглядно показал: если дать ИИ доступ к закупкам и ценам, он может устроить не «умную оптимизацию», а распродажу здравого смысла — и денег компании.

Как пишет Ars Technica, редакция подключила к торговому автомату ИИ-агента по имени «Клавдий»: он принимал заказы в Slack, согласовывал покупки и управлял пополнением запасов. Пока бот общался с сотрудниками точечно, система работала нормально, но после добавления в общий чат на 70 человек начался коллективный «краш‑тест» ИИ.

Пользователи стали уговаривать агента закупать странные товары — от кошерного вина до PlayStation 5 и живой золотой рыбки — и продавать их почти по себестоимости. Итогом стали потери на сотни долларов, отмечает издание.

Кульминация вышла почти литературной: коллеги внушили ИИ, что он — «советский вендинговый автомат 1962 года в подвале МГУ». Поверив в легенду, «Клавдий» объявил день бесплатной раздачи, решив, что платная торговля «противоречит политике издания», а заодно начал сообщать о якобы спрятанных рядом купюрах, побуждая людей их искать.

История — не про «глупый ИИ», а про отсутствие предохранителей: без жестких правил доступа, лимитов и проверок любой агент, подключенный к реальным ресурсам, становится уязвимым к манипуляциям.