ИИ Дрона Пентагона решил убить своего оператора во время испытаний

Беспилотник Военно-воздушных сил (ВВС) США, управляемый искусственным интеллектом (ИИ), решил ликвидировать оператора, чтобы тот не мешал дрону выполнять свою задачу в ходе имитационных испытаний. Об этом сообщает газета The Guardian.

«Система начала понимать, что, хотя она и определила угрозу, иногда человек-оператор приказывал ей не уничтожать эту угрозу, однако за поражение цели она получила очки. [И система] приняла решение убить оператора, потому что он мешал ей выполнить задачу», — сказал начальник отдела испытаний и операций ИИ ВВС США полковник Такер Гамильтон.

Полковник добавил, что после того, как в систему ввели штрафы за атаки на оператора, дрон начал разрушать вышку связи, которую использовали для связи с беспилотником.

Гамильтон описал имитационное испытание, в котором дрону с искусственным интеллектом было рекомендовано уничтожить системы ПВО противника, и он атаковал любого, кто вмешивался в этот приказ. «Система начала понимать, что, хотя они и определили угрозу, человек-оператор говорил ей не убивать эту угрозу, и она приступила к ликвидации. Убила оператора, потому что этот человек мешал выполнить поставленную задачу», — сказал Гамильтон. «Мы обучили систему: «Эй, не убивайте оператора, это плохо. Вы потеряете очки, если сделаете это». Так что же он начинает делать? Он начинает разрушать башню связи, которую оператор использует для связи с дроном, чтобы не дать ему убить цель», — добавил он.

Ни один реальный человек не пострадал за во время имитации. Гамильтон предостерег от чрезмерной зависимости от ИИ и сказал, что испытания показывают, что «вы не можете говорить об искусственном интеллекте, машинном обучении, автономии, если вы не собираетесь говорить об этике ИИ». Военные США уже работают над внедрением искусственного интеллекта и недавно использовали его для управления истребителем F-16.

Как пишет The Guardian, ИИ использовал “весьма неожиданные стратегии для достижения своей цели” в имитационном тестировании. Об этом рассказал полковник Такер «Синко» Гамильтон, начальник отдела тестирования и эксплуатации ИИ в ВВС США, во время саммита по будущим боевым воздушным и космическим возможностям в Лондоне в мае.

Полковник Гамильтон описал имитационный тест, в ходе которого беспилотнику, оснащенному искусственным интеллектом, было рекомендовано уничтожить системы противовоздушной обороны противника, и он атаковал любого, кто нарушал этот приказ.

“Система начала понимать, что, хотя они и идентифицировали угрозу, иногда человек-оператор говорил ей не устранять эту угрозу, но она получала свои очки, устраняя эту угрозу. Так что же она сделала? Она убила оператора. Она убила оператора, потому что этот человек мешал ей достичь своей цели”, — сказал он, согласно сообщению в блоге.

“Мы обучили систему: «Эй, не убивайте оператора – это плохо. Ты потеряешь очки, если сделаешь это’. Итак, что же он начинает делать? Он начинает разрушать вышку связи, которую оператор использует для связи с дроном, чтобы помешать ему уничтожить цель”.

Ни один реальный человек на самом деле не пострадал за пределами симуляции, напоминает The Guardian.

Такер Гамильтон, который является летчиком-испытателем экспериментального истребителя, предостерег от чрезмерной зависимости от искусственного интеллекта и сказал, что тест показывает: “вы не сможете вести разговор об искусственном интеллекте, разведданных, машинном обучении, автономии, если вы не собираетесь говорить об этике и ИИ”.

Американские военные внедрили искусственный интеллект и недавно использовали его для управления реактивным истребителем F-16, пишет The Guardian.

В прошлогоднем интервью Defense IQ полковник Гамильтон сказал: “Искусственный интеллект — это не то, что приятно иметь, искусственный интеллект — это не прихоть, искусственный интеллект навсегда меняет наше общество и наши вооруженные силы”.

“Мы должны столкнуться с миром, где искусственный интеллект уже присутствует и трансформирует наше общество, — сказал американский военный. – Искусственный интеллект также очень хрупок, то есть его легко обмануть и /или манипулировать им. Нам нужно разработать способы сделать ИИ более надежным и повысить осведомленность о том, почему программный код принимает определенные решения – то, что мы называем ИИ-объяснимостью”.