Военные опасности ИИ

Чиновники Пентагона признают, что пройдет некоторое время, прежде чем роботы-генералы начнут командовать огромным количеством американских войск и автономным оружием в бою, пишет Майкл Т. Клэр. Но у них есть несколько проектов, которые нужно протестировать и усовершенствовать.

By Майкл Т. Кларе 
TomDispatch.com

A Страшно представить мир, в котором машины, управляемые искусственным интеллектом (ИИ), систематически заменяют людей в большинстве деловых, промышленных и профессиональных функций.

В конце концов, как предупреждали нас видные учёные-компьютерщики, системы, управляемые ИИ, склонных к критические ошибки и необъяснимые «галлюцинации», приводящие к потенциально катастрофическим последствиям.

Но есть еще более опасный сценарий, который можно вообразить в связи с распространением сверхразумных машин: вероятность того, что эти нечеловеческие существа могут в конечном итоге сражаться друг с другом, уничтожая при этом всю человеческую жизнь.

Идея о том, что сверхразумные компьютеры могут выйти из-под контроля и убивать людей, конечно же, уже давно стала основой массовой культуры. В пророческом Фильм 1983 Военные игрыСуперкомпьютер, известный как WOPR (что неудивительно, произносится как «громкий») чуть не спровоцировал катастрофическую ядерную войну между Соединенными Штатами и Советским Союзом, прежде чем его вывел из строя хакер-подросток (которого играет Мэтью Бродерик).

Наша команда терминатор Франшиза фильма, начиная с оригинального фильма 1984 года, также предполагала самосознательный суперкомпьютер под названием «Скайнет», который, как и WOPR, был разработан для контроля над ядерным оружием США, но вместо этого решил уничтожить человечество, рассматривая нас как угрозу его существованию.

Хотя когда-то концепция суперкомпьютеров, убивающих людей, была сферой научной фантастики, теперь она стала вполне реальной возможностью в реальном мире ближайшего будущего. Помимо разработки широкого спектра «автономный» или роботизированных боевых устройств, крупные военные державы также спешат создать автоматизированные системы принятия решений на поле боя, или то, что можно было бы назвать «роботы-генералы".

В войнах не столь отдаленного будущего такие системы на базе искусственного интеллекта могут быть развернуты для передачи боевых приказов американским солдатам, диктуя, где, когда и как они убивают вражеские войска или принимают на себя огонь своих противников. В некоторых сценариях роботы, принимающие решения, могут даже в конечном итоге осуществлять контроль над атомным оружием Америки, что потенциально позволит им разжечь ядерную войну, которая приведет к гибели человечества.

Теперь вздохните на мгновение. Установка подобной системы управления и контроля (C2) на базе искусственного интеллекта может показаться маловероятной. Тем не менее, Министерство обороны США усердно работает над разработкой необходимого аппаратного и программного обеспечения систематическим и все более быстрыми темпами.

В своем бюджетном представлении на 2023 год, например, ВВС запросил 231 миллионов долларов развивать Усовершенствованная система управления полем боя (ABMS), сложная сеть датчиков и компьютеров с поддержкой искусственного интеллекта, предназначенная для сбора и интерпретации данных об операциях противника и предоставления пилотам и наземным войскам меню оптимальных вариантов атаки.

По мере развития технологий система будет способен отправки инструкций «огонь» непосредственно «стрелкам», в основном в обход человеческого контроля.

«Инструмент межмашинного обмена данными, который обеспечивает варианты сдерживания, или военной демонстрации силы, или раннего взаимодействия», — так Уилл Ропер, помощник министра ВВС по закупкам и технологиям и логистика, охарактеризовало система ABMS в интервью 2020 года.

Предположив, что «нам действительно нужно изменить название» по мере развития системы, Ропер добавил: «Я думаю, что Скайнет исчез, хотя мне бы очень хотелось сделать это как научно-фантастическую вещь. Я просто не думаю, что мы сможем туда поехать».

И хотя он не может туда пойти, именно туда, возможно, и пойдут все мы.

Имейте в виду, это только начало. Фактически, система ABMS ВВС призвана стать ядром более крупного созвездия датчиков и компьютеров, которые будут соединять ВСЕ Боевые силы США — Объединенная общедоменная система управления и контроля (JADC2, произносится как «Jad-C-two»). «JADC2 намерен дать командирам возможность принимать более обоснованные решения путем сбора данных с многочисленных датчиков, обработки данных с использованием алгоритмов искусственного интеллекта для идентификации целей, а затем рекомендации оптимального оружия… для поражения цели», — Исследовательская служба Конгресса. сообщал в 2022 году.

ИИ и ядерный триггер

Первоначально JADC2 будет предназначен для координации боевых действий между «обычными» или неядерными американскими силами. Однако в конечном итоге ожидается, что ссылаться с ядерными системами управления и связи Пентагона (NC3), которые потенциально предоставят компьютерам значительный контроль над использованием американского ядерного арсенала.

«JADC2 и NC3 взаимосвязаны», — заявил генерал Джон Э. Хайтен, заместитель председателя Объединенного комитета начальников штабов. указанный в интервью 2020 года. В результате он добавил на типичном пентагонском языке: «NC3 должен проинформировать JADC2, а JADC2 должен проинформировать NC3».

Не требуется большого воображения, чтобы представить в не столь отдаленном будущем момент, когда какой-либо кризис — скажем, военное столкновение США и Китая в Южно-Китайском море или вблизи Тайваня — вызовет еще более интенсивные боевые действия между противостоящими воздушными силами. и военно-морские силы.

Представьте себе, что JADC2 отдает приказ об интенсивной бомбардировке вражеских баз и систем управления в самом Китае, вызывая ответные атаки на объекты США и молниеносное решение JADC2 нанести ответный удар с использованием тактического ядерного оружия, разжигая долгожданный ядерный холокост.

Возможность того, что кошмарные сценарии такого рода могут привести к случайному или непреднамеренному началу ядерной войны, уже давно беспокоит аналитиков в области контроля над вооружениями. Но растущая автоматизация военных систем C2 вызвала беспокойство не только среди них, но и среди высокопоставленных чиновников национальной безопасности.

Еще В 2019 году, когда я расспросил генерал-лейтенанта Джека Шанахана, тогдашнего директора Объединенного центра искусственного интеллекта Пентагона, о такой рискованной возможности, он ответ«Вы не найдете более сильного сторонника интеграции возможностей искусственного интеллекта в Министерство обороны, но есть одна область, где я останавливаюсь, и это связано с ядерным командованием и контролем».

Это «окончательное человеческое решение, которое необходимо принять», и поэтому «мы должны быть очень осторожны». Учитывая «незрелость» технологии, добавил он, нам нужно «много времени для тестирования и оценки [перед применением ИИ в NC3]».

В последующие годы, несмотря на такие предупреждения, Пентагон активно продвигал разработку автоматизированных систем C2.

В своем бюджете на 2024 год Минобороны просил 1.4 миллиарда долларов на JADC2, чтобы «преобразовать возможности ведения боевых действий, предоставляя информационное преимущество со скоростью, актуальной для всех областей и партнеров». Ой-ой! А затем он запросил еще 1.8 миллиарда долларов на другие виды исследований в области искусственного интеллекта, связанных с военными.

Чиновники Пентагона признают, что пройдет некоторое время, прежде чем роботы-генералы смогут командовать огромным количеством американских войск (и автономным оружием) в бою, но они уже запустили несколько проектов, направленных на тестирование и совершенствование именно таких связей. Одним из примеров является армия Конвергенция проектов, включающий серию полевых учений, предназначенных для проверки компонентов систем ABMS и JADC2.

Например, в ходе испытаний, проведенных в августе 2020 года на полигоне Юма в Аризоне, армия использовала различные датчики воздушного и наземного базирования для отслеживания имитируемых сил противника, а затем обрабатывала эти данные с помощью компьютеров с поддержкой искусственного интеллекта на объединенной базе Льюис. МакКорд в штате Вашингтон.

Эти компьютеры, в свою очередь, давали инструкции по ведению огня наземной артиллерии в Юме. «Вся эта последовательность действий якобы была выполнена за 20 секунд», — позже заявила Исследовательская служба Конгресса. сообщал.

О проекте Overmatch, аналоге искусственного интеллекта ВМФ, известно меньше, поскольку многие аспекты его программ держатся в секрете. По словам адмирала Майкла Гилдея, начальника военно-морских операций, Overmatch предназначенных «чтобы дать возможность военно-морскому флоту бороздить море, нанося синхронизированные летальные и несмертельные эффекты с близкого и дальнего расстояния, по всем направлениям и в каждой области». О проекте мало что известно.

«Флэш-войны» и вымирание человечества

Несмотря на всю секретность, окружающую эти проекты, вы можете думать о ABMS, JADC2, Convergence и Overmatch как о строительных блоках будущей мегасети суперкомпьютеров, подобной Скайнету, предназначенной для управления всеми силами США, включая их ядерные силы, в вооруженных силах. бой.

Чем больше Пентагон будет двигаться в этом направлении, тем ближе мы подойдем к моменту, когда ИИ будет обладать властью не на жизнь, а на смерть над всеми американскими солдатами, а также противостоящими силами и любыми гражданскими лицами, попавшими под перекрестный огонь.

Такая перспектива должна стать достаточным поводом для беспокойства. Для начала учтите риск ошибок и просчетов алгоритмов, лежащих в основе таких систем. Как предупреждали нас ведущие ученые-компьютерщики, эти алгоритмы способен удивительно необъяснимые ошибки и, если использовать нынешний термин ИИ, «галлюцинации» — то есть, казалось бы, разумные результаты, которые полностью иллюзорны.

В таких обстоятельствах нетрудно представить, что такие компьютеры «галлюцинируют» неминуемое нападение противника и начинают войну, которой в противном случае можно было бы избежать.

И это еще не самая худшая из опасностей, о которых следует помнить. В конце концов, существует очевидная вероятность того, что противники Америки аналогичным образом вооружат свои силы роботами-генералами. Другими словами, будущие войны, скорее всего, будут вестись одним набором систем ИИ против другого, причем обе системы будут связаны с ядерным оружием, с совершенно непредсказуемыми — но потенциально катастрофическими — результатами.

Мало что известно (по крайней мере, из открытых источников) об усилиях России и Китая по автоматизации своих систем военного командования и управления, но считается, что обе страны разрабатывают сети, сравнимые с JADC2 Пентагона.

Фактически, еще в 2014 году Россия открыла в Москве Национальный центр управления обороной (NDCC), централизованный командный пункт для оценки глобальных угроз и инициирования любых военных действий, которые они сочтут необходимыми, будь то неядерного или ядерного характера.

Как и JADC2, NDCC предназначенный собирать информацию о действиях противника из нескольких источников и предоставлять старшим офицерам рекомендации по возможным ответам.

Говорят, что Китай реализует еще более сложную, хотя и похожую, программу под названием «Многодоменная высокоточная война» (MDPW).

Согласно отчету Пентагона о военных разработках Китая за 2022 год, его вооруженные силы, Народно-освободительная армия, обучаются и оснащаются для использования датчиков и компьютерных сетей с поддержкой искусственного интеллекта, чтобы «быстро выявлять ключевые уязвимости в операционной системе США, а затем объединять совместные силы по всему миру». доменов для нанесения точных ударов по этим уязвимостям».

Представьте себе будущую войну между США и Россией или Китаем (или обоими), в которой JADC2 будет командовать всеми силами США, в то время как российская NDCC и китайская MDPW будут командовать силами этих стран. Учтите также, что все три системы могут испытывать ошибки и галлюцинации.

Насколько безопасны будут люди, когда роботы-генералы решат, что пришло время «выиграть» войну, уничтожив своих врагов ядерным оружием?

Если это кажется вам диковинным сценарием, подумайте еще раз, по крайней мере, так считает руководство Комиссии национальной безопасности по искусственному интеллекту, учреждению, санкционированному Конгрессом, которое возглавляли Эрик Шмидт, бывший глава Google, и Роберт Уорк, бывший заместитель госсекретаря. обороны.

«Хотя Комиссия считает, что правильно спроектированные, испытанные и используемые автономные системы вооружения с поддержкой искусственного интеллекта принесут значительную военную и даже гуманитарную пользу, бесконтрольное глобальное использование таких систем потенциально рискует непреднамеренной эскалацией конфликта и кризисной нестабильностью», — заявили в Комиссии. подтвердили в своем итоговом отчете.

Подобная опасность может возникнуть, заявили в нем, «из-за сложных и непроверенных сложностей взаимодействия между искусственным интеллектом и автономными системами вооружения на поле боя» — то есть, когда ИИ сражается с ИИ.

Хотя это может показаться экстремальным сценарием, вполне возможно, что противостоящие системы искусственного интеллекта могут спровоцировать катастрофическую «внезапную войну» — военный эквивалент «внезапного краха» на Уолл-стрит, когда огромные транзакции, осуществляемые сверхсложными торговыми алгоритмами, вызывают панику в продажах, прежде чем люди-операторы могут навести порядок.

Во время печально известного «внезапного краха» 6 мая 2010 года компьютерная торговля спровоцировала 10-процентное падение стоимости фондового рынка. Согласно Пол Шарр из Центра новой американской безопасности, который первым изучил это явление, «военный эквивалент таких кризисов» на Уолл-стрит возникнет, когда автоматизированные системы управления противоборствующих сил «попадут в ловушку каскада эскалации боевых действий».

В такой ситуации, отметил он, «автономное оружие может в одно мгновение привести к случайной гибели людей и разрушениям катастрофических масштабов».

В настоящее время практически не существует никаких мер по предотвращению будущей катастрофы такого рода и даже переговоров между крупными державами о разработке таких мер. Тем не менее, как отметила Комиссия национальной безопасности по искусственному интеллекту, такие меры по контролю за кризисом срочно необходимы для интеграции «автоматических растяжек эскалации» в такие системы, «которые предотвратят автоматическую эскалацию конфликта».

В противном случае вполне возможна некая катастрофическая версия Третьей мировой войны. Учитывая опасную незрелость таких технологий и нежелание Пекина, Москвы и Вашингтона вводить какие-либо ограничения на использование искусственного интеллекта в качестве оружия, день, когда машины смогут решить уничтожить нас, может наступить гораздо раньше, чем мы себе представляем, и вымирание человечества может стать побочный ущерб от такой будущей войны.

Майкл Т. Кларе, TomDispatch регулярный, является почетным профессором пяти колледжей в области исследований мира и мировой безопасности в Хэмпширском колледже и старшим приглашенным научным сотрудником Ассоциации по контролю над вооружениями. Он автор 15 книг, последняя из которых – Разрушается весь ад: взгляд Пентагона на изменение климата. Он является основателем компании Комитет за разумную политику США и Китая.

Эта статья взята из TomDispatch.com.

Выраженные взгляды принадлежат исключительно автору и могут отражать или не отражать взгляды Консорциум Новости.