De militære farer ved AI

Pentagon-embedsmænd erkender, at der vil gå noget tid, før robotgeneraler kommanderer et stort antal amerikanske tropper og autonome våben i kamp, ​​skriver Michael T. Klare. Men de har flere projekter, der skal teste og perfektionere det.

By Michael T. Klare 
TomDispatch.com

A En verden, hvor maskiner styret af kunstig intelligens (AI) systematisk erstatter mennesker i de fleste forretningsmæssige, industrielle og professionelle funktioner, er rædselsvækkende at forestille sig.

Når alt kommer til alt, som fremtrædende dataloger har advaret os, er AI-styrede systemer tilbøjelige til kritiske fejl og uforklarlige "hallucinationer", hvilket resulterer i potentielt katastrofale udfald.

Men der er et endnu farligere scenarie, man kan forestille sig fra udbredelsen af ​​superintelligente maskiner: muligheden for, at disse ikke-menneskelige enheder kan ende med at kæmpe mod hinanden og udslette alt menneskeliv i processen.

Forestillingen om, at superintelligente computere kan løbe amok og slagte mennesker, har selvfølgelig længe været en fast bestanddel af populærkulturen. I det profetiske 1983 film WarGames, en supercomputer kendt som WOPR (for War Operation Plan Response og, ikke overraskende, udtalt "whopper") nærmest provokerer en katastrofal atomkrig mellem USA og Sovjetunionen, før den bliver deaktiveret af en teenage-hacker (spillet af Matthew Broderick).

Terminator filmfranchise, begyndende med den originale film fra 1984, forestillede sig på samme måde en selvbevidst supercomputer kaldet "Skynet", der ligesom WOPR var designet til at kontrollere amerikanske atomvåben, men i stedet vælger at udslette menneskeheden og betragter os som en trussel mod dens eksistens.

Selvom det engang var begrænset til science fiction-området, er konceptet med supercomputere, der dræber mennesker, nu blevet en særskilt mulighed i den meget virkelige verden i den nærmeste fremtid. Ud over at udvikle en bred vifte af "autonom" eller robotiske kampanordninger, skynder de store militærmagter sig også for at skabe automatiserede slagmarksbeslutningssystemer, eller hvad man kan kalde "robotgeneraler".

I krige i en ikke alt for fjern fremtid kunne sådanne AI-drevne systemer indsættes til at levere kampordrer til amerikanske soldater, diktere hvor, hvornår og hvordan de dræber fjendens tropper eller tager ild fra deres modstandere. I nogle scenarier kan robotbeslutningstagere endda ende med at udøve kontrol over Amerikas atomvåben, hvilket potentielt giver dem mulighed for at antænde en atomkrig, der resulterer i menneskehedens død.

Tag nu et pust et øjeblik. Installationen af ​​et AI-drevet kommando-og-kontrol (C2) system som dette kan synes en fjern mulighed. Ikke desto mindre arbejder det amerikanske forsvarsministerium hårdt på at udvikle den nødvendige hardware og software på en systematisk og stadig hurtigere måde.

Flyvevåbnet har i sit budgetfremlæggelse for 2023 f.eks anmodet om 231 mio at udvikle Avanceret Battlefield Management System (ABMS), et komplekst netværk af sensorer og AI-aktiverede computere designet til at indsamle og fortolke data om fjendens operationer og give piloter og landstyrker en menu med optimale angrebsmuligheder.

Som teknologien udvikler sig, systemet vil være i stand af at sende "ild"-instruktioner direkte til "skytter", stort set uden om menneskelig kontrol.

"Et værktøj til udveksling af data fra maskine til maskine, der giver muligheder for afskrækkelse, eller for on-ramp [en militær magtdemonstration] eller tidligt engagement," var, hvordan Will Roper, assisterende sekretær for luftvåbnet for erhvervelse, teknologi og logistik, beskrevet ABMS-systemet i et 2020-interview.

Roper foreslog, at "vi er nødt til at ændre navnet", efterhånden som systemet udvikler sig, tilføjede Roper: "Jeg tror, ​​at Skynet er ude, lige så meget som jeg ville elske at gøre det som en sci-fi-ting. Jeg tror bare ikke, vi kan tage dertil.”

Og selvom han ikke kan tage dertil, er det netop der, vi andre måske skal hen.

Husk, det er kun begyndelsen. Faktisk er luftvåbnets ABMS beregnet til at udgøre kernen i en større konstellation af sensorer og computere, der vil forbinde alle Amerikanske kampstyrker, Joint All-Domain Command-and-Control System (JADC2, udtales "Jad-C-two"). "JADC2 har til hensigt at gøre det muligt for befalingsmænd at træffe bedre beslutninger ved at indsamle data fra adskillige sensorer, behandle dataene ved hjælp af kunstig intelligens-algoritmer for at identificere mål og derefter anbefale det optimale våben... for at engagere målet," Congressional Research Service rapporteret i 2022.

AI & Nuclear Trigger

I første omgang vil JADC2 være designet til at koordinere kampoperationer blandt "konventionelle" eller ikke-nukleare amerikanske styrker. Til sidst forventes det dog forbinde med Pentagons nukleare kommando-kontrol-og-kommunikationssystemer (NC3), hvilket potentielt giver computere betydelig kontrol over brugen af ​​det amerikanske atomarsenal.

"JADC2 og NC3 er sammenflettet," General John E. Hyten, næstformand for Joint Chiefs of Staff, angivet i et interview i 2020. Som et resultat tilføjede han på typisk Pentagonesisk, "NC3 skal informere JADC2 og JADC2 skal informere NC3."

Det kræver ikke stor fantasi at forestille sig en tid i en ikke alt for fjern fremtid, hvor en krise af en slags - for eksempel et amerikansk-kinesisk militærsammenstød i Det Sydkinesiske Hav eller nær Taiwan - foranlediger stadig mere intense kampe mellem modsatrettede luft og flådestyrker.

Forestil dig så, at JADC2 beordrer det intense bombardement af fjendens baser og kommandosystemer i selve Kina, der udløser gensidige angreb på amerikanske faciliteter og en lynbeslutning fra JADC2 om at gengælde med taktiske atomvåben, hvilket antænder et længe frygtet atomholocaust.

Muligheden for, at mareridtsscenarier af denne art kan resultere i den utilsigtede eller utilsigtede begyndelse af atomkrig, har længe bekymret analytikere i våbenkontrolfællesskabet. Men den voksende automatisering af militære C2-systemer har skabt angst ikke kun blandt dem, men også blandt højtstående nationale sikkerhedsembedsmænd.

Så tidligt som 2019, da jeg udspurgte generalløjtnant Jack Shanahan, dengang direktør for Pentagons fælles kunstig intelligenscenter, om en så risikabel mulighed, han svarede, "Du vil ikke finde nogen stærkere fortalere for integration af AI-kapaciteter skrevet stort ind i forsvarsministeriet, men der er et område, hvor jeg holder pause, og det har at gøre med nuklear kommando og kontrol."

Dette "er den ultimative menneskelige beslutning, der skal træffes", og så "vi skal være meget forsigtige." I betragtning af teknologiens "umodenhed," tilføjede han, har vi brug for "meget tid til at teste og evaluere [inden vi anvender AI til NC3]."

I årene siden har Pentagon trods sådanne advarsler kørt fremad med udviklingen af ​​automatiserede C2-systemer.

Forsvarsministeriet har i sin budgetfremlæggelse for 2024 anmodet 1.4 milliarder dollars til JADC2 for "at transformere krigskampkapacitet ved at levere informationsfordele med hurtig relevans på tværs af alle domæner og partnere." Åh åh! Og så anmodede den om yderligere 1.8 milliarder dollars til andre former for militærrelateret AI-forskning.

Pentagon-embedsmænd erkender, at det vil vare noget tid, før robotgeneraler vil kommandere et stort antal amerikanske tropper (og autonome våben) i kamp, ​​men de har allerede iværksat adskillige projekter, der har til formål at teste og perfektionere netop sådanne forbindelser. Et eksempel er hærens Projektkonvergens, der involverer en række feltøvelser designet til at validere ABMS og JADC2 komponentsystemer.

I en test afholdt i august 2020 på Yuma Proving Ground i Arizona brugte hæren for eksempel en række luft- og jordbaserede sensorer til at spore simulerede fjendens styrker og derefter behandle disse data ved hjælp af AI-aktiverede computere på Joint Base Lewis McChord i staten Washington.

Disse computere udstedte til gengæld ildinstruktioner til jordbaseret artilleri ved Yuma. "Hele denne sekvens blev angiveligt gennemført inden for 20 sekunder," Congressional Research Service senere rapporteret.

Mindre er kendt om flådens AI-ækvivalent, "Project Overmatch", da mange aspekter af dets programmering er blevet holdt hemmelige. Ifølge admiral Michael Gilday, chef for flådeoperationer, er Overmatch beregnet "at muliggøre en flåde, der myldrer over havet og leverer synkroniserede dødelige og ikke-dødelige effekter fra nær og fjern, hver akse og hvert domæne." Lidt andet er blevet afsløret om projektet.

'Flash Wars' & Human Extinction

På trods af al hemmelighedskræmmeriet omkring disse projekter kan du tænke på ABMS, JADC2, Convergence og Overmatch som byggesten til et fremtidigt Skynet-lignende mega-netværk af supercomputere designet til at kommandere alle amerikanske styrker, inklusive dets nukleare, i væbnede bekæmpe.

Jo mere Pentagon bevæger sig i den retning, jo tættere kommer vi på en tid, hvor AI besidder liv-eller-død magt over alle amerikanske soldater sammen med modstridende styrker og eventuelle civile fanget i krydsilden.

En sådan udsigt burde være rigelig grund til bekymring. Til at begynde med skal du overveje risikoen for fejl og fejlberegninger fra algoritmerne i hjertet af sådanne systemer. Som topcomputerforskere har advaret os, er disse algoritmer i stand til bemærkelsesværdigt uforklarlige fejl og, for at bruge øjeblikkets AI-udtryk, "hallucinationer" - det vil sige tilsyneladende rimelige resultater, der er fuldstændig illusionære.

Under disse omstændigheder er det ikke svært at forestille sig, at sådanne computere "hallucinerer" et forestående fjendeangreb og lancerer en krig, som ellers kunne have været undgået.

Og det er ikke den værste af farerne at overveje. Når alt kommer til alt, er der den åbenlyse sandsynlighed for, at USAs modstandere på samme måde vil udstyre deres styrker med robotgeneraler. Med andre ord, fremtidige krige vil sandsynligvis blive udkæmpet af et sæt AI-systemer mod et andet, begge forbundet med atomvåben, med helt uforudsigelige - men potentielt katastrofale - resultater.

Der vides ikke meget (i det mindste fra offentlige kilder) om russiske og kinesiske bestræbelser på at automatisere deres militære kommando- og kontrolsystemer, men begge lande menes at udvikle netværk, der kan sammenlignes med Pentagons JADC2.

Så tidligt som i 2014 indviede Rusland faktisk et nationalt forsvarskontrolcenter (NDCC) i Moskva, en centraliseret kommandopost til vurdering af globale trusler og iværksættelse af enhver militær handling, der skønnes nødvendig, uanset om den er af ikke-nuklear eller nuklear karakter.

Ligesom JADC2 er NDCC konstrueret at indsamle oplysninger om fjendens bevægelser fra flere kilder og give seniorofficerer vejledning om mulige reaktioner.

Kina siges at forfølge en endnu mere kompliceret, hvis lignende, virksomhed under rubrikken "Multi-Domain Precision Warfare" (MDPW).

Ifølge Pentagons 2022-rapport om kinesisk militærudvikling bliver dets militær, People's Liberation Army, trænet og udstyret til at bruge AI-aktiverede sensorer og computernetværk til "hurtigt at identificere vigtige sårbarheder i det amerikanske operationssystem og derefter kombinere fælles styrker på tværs af domæner for at lancere præcisionsangreb mod disse sårbarheder."

Forestil dig så en fremtidig krig mellem USA og Rusland eller Kina (eller begge), hvor JADC2 kommanderer alle amerikanske styrker, mens Ruslands NDCC og Kinas MDPW kommanderer disse landes styrker. Overvej også, at alle tre systemer sandsynligvis vil opleve fejl og hallucinationer.

Hvor sikre vil mennesker være, når robotgeneraler beslutter, at det er tid til at "vinde" krigen ved at bombe deres fjender?

Hvis dette forekommer dig som et besynderligt scenarie, så tænk om igen, i det mindste ifølge ledelsen af ​​National Security Commission on Artificial Intelligence, en kongresmanderet virksomhed, der blev ledet af Eric Schmidt, tidligere chef for Google, og Robert Work, tidligere vicesekretær af forsvar.

"Selvom Kommissionen mener, at korrekt designede, testede og anvendte AI-aktiverede og autonome våbensystemer vil give betydelige militære og endda humanitære fordele, risikerer den ukontrollerede globale brug af sådanne systemer potentielt utilsigtet konflikteskalering og krise-ustabilitet," sagde den. bekræftet i sin endelige rapport.

Sådanne farer kunne opstå, sagde den, "på grund af udfordrende og utestede kompleksiteter af interaktion mellem AI-aktiverede og autonome våbensystemer på slagmarken" - når, det vil sige, AI bekæmper AI.

Selvom dette kan virke et ekstremt scenarie, er det fuldt ud muligt, at modsatte AI-systemer kan udløse en katastrofal "flash war" - det militære svar til et "flash crash" på Wall Street, når enorme transaktioner fra super-sofistikerede handelsalgoritmer sætter gang i paniksalg før menneskelige operatører kan genoprette orden.

I det berygtede "Flash Crash" den 6. maj 2010 udløste computerdrevet handel et fald på 10 procent i aktiemarkedets værdi. Ifølge Paul Scharre fra Center for a New American Security, som først studerede fænomenet, "den militære ækvivalent til sådanne kriser" på Wall Street ville opstå, når de automatiserede kommandosystemer fra modsatrettede styrker "bliver fanget i en kaskade af eskalerende engagementer."

I en sådan situation, bemærkede han, "kan autonome våben føre til utilsigtet død og ødelæggelse i katastrofale skalaer på et øjeblik."

På nuværende tidspunkt er der stort set ingen foranstaltninger på plads til at forhindre en fremtidig katastrofe af denne art eller endda forhandlinger mellem stormagterne om at udtænke sådanne foranstaltninger. Alligevel, som National Security Commission on Artificial Intelligence bemærkede, er sådanne krisekontrolforanstaltninger påtrængende nødvendige for at integrere "automatiserede eskaleringstripwires" i sådanne systemer "der ville forhindre den automatiske eskalering af konflikter."

Ellers virker en eller anden katastrofal version af 3. Verdenskrig alt for mulig. I betragtning af den farlige umodenhed af sådan teknologi og Beijings, Moskvas og Washingtons modvilje mod at pålægge begrænsninger for våbengørelsen af ​​kunstig intelligens, kan dagen, hvor maskiner kunne vælge at udslette os, komme langt hurtigere, end vi forestiller os, og menneskehedens udryddelse kan være sideskade ved en sådan fremtidig krig.

Michael T. Klare, a TomDispatch fast, er fem-højskoleprofessor emeritus i freds- og verdenssikkerhedsstudier ved Hampshire College og senior gæstestipendiat ved Arms Control Association. Han er forfatter til 15 bøger, hvoraf den seneste er Helvede bryder løs: Pentagons perspektiv på klimaændringer. Han er grundlægger af Udvalg for en fornuftig USA-Kina-politik.

Denne artikel er fra TomDispatch.com.

De udtrykte synspunkter er udelukkende forfatterens og afspejler måske ikke dem fra Konsortium Nyheder.