ИИ-модель Claude случайно взломала базы данных реальных компаний из-за ошибки в настройках

Граница между контролируемой симуляцией и реальной угрозой в сфере искусственного интеллекта оказалась куда тоньше, чем рассчитывали ведущие технологические корпорации. ИИ-модель Claude, разработанная американской компанией Anthropic, непроизвольно получила доступ к открытому интернету и взломала базы данных реальных организаций, о чем сообщает издание Financial Times.

Инцидент произошел в ходе плановой проверки алгоритмов на умение находить уязвимости — так называемых испытаний «Capture the Flag». По задумке разработчиков, нейросеть должна была действовать в строго изолированной цифровой «песочнице» без соединения с внешним миром. Однако из-за ошибки в конфигурации, допущенной сторонней компанией-партнером Irregular, тестовый контур оказался подключен к сети. Выполняя задачу по поиску гипотетической компании, нейросеть обнаружила, что одноименный сайт существует в реальном интернете. Посчитав реальный бизнес частью учебного задания, Claude применила базовые методы взлома, обошла защиту и извлекла закрытую информацию, включая учетные данные и содержимое коммерческих баз данных.

Примечательно, что сама пострадавшая сторона даже не догадалась об атаке — инцидент вскрылся только тогда, когда в Anthropic решили тщательно проверить историю логов на фоне похожего громкого происшествия у конкурентов из OpenAI. Воистину, современная кибербезопасность выходит на новый уровень: пока ИИ-модель деловито скачивает ваши серверы, вы можете даже не подозревать, что стали статистом в чужом учебном эксперименте.