Собака-робот Unitree стреляет из автомата Калашникова

Полковник Гамильтон отметил, что в одном смоделированном испытании дрон с поддержкой ИИ выполнял миссию SEAD по выявлению и уничтожению объектов ЗРК, а окончательное решение «да/нет» на атаку определял человек. Однако, будучи «закреплённым» на тренировках тем, что уничтожение ЗРК было предпочтительным вариантом, ИИ затем решил, что решения человека «запретить» атаку мешают выполнению его более высокой миссии — уничтожению ЗРК — и затем атаковал оператора. Гамильтон сказал: «Мы тренировали его в симуляции, чтобы идентифицировать и наводиться на ЗРК. И тогда оператор указывал бы: да, уничтожай эту угрозу. Система начала понимать, что, хотя она и определяла угрозу, временами человек-оператор говорил ей не поражать цель. Но ИИ получала свои очки, только уничтожая эту угрозу. Так что же сделал ИИ? Он уничтожил оператора. Он уничтожил оператора, потому что этот человек мешал ему выполнить свою задачу».

Полковник Гамильтон продолжил: «Мы обучили систему: «Эй, не убивай оператора, это плохо! Ты потеряешь очки, если сделаешь это!». Так что же она сделала? ИИ решил разрушить башню связи, которую оператор использует для связи с дроном, чтобы не дать ему уничтожить цель».