De militære farene ved AI

Pentagon-tjenestemenn erkjenner at det vil ta litt tid før robotgeneraler kommanderer et stort antall amerikanske tropper og autonome våpen i kamp, ​​skriver Michael T. Klare. Men de har flere prosjekter som skal testes og perfeksjoneres.

By Michael T. Klare 
TomDispatch.com

A En verden der maskiner styrt av kunstig intelligens (AI) systematisk erstatter mennesker i de fleste forretnings-, industrielle og profesjonelle funksjoner er grusomt å forestille seg.

Tross alt, som fremtredende dataforskere har advart oss, er AI-styrte systemer utsatt for kritiske feil og uforklarlige "hallusinasjoner", som resulterer i potensielt katastrofale utfall.

Men det er et enda farligere scenario som kan tenkes fra spredningen av superintelligente maskiner: muligheten for at disse ikke-menneskelige enhetene kan ende opp med å kjempe mot hverandre, og utslette alt menneskeliv i prosessen.

Forestillingen om at superintelligente datamaskiner kan løpe amok og slakte mennesker har selvfølgelig lenge vært en fast del av populærkulturen. I det profetiske 1983 film WarGames, en superdatamaskin kjent som WOPR (for War Operation Plan Response og, ikke overraskende, uttalt "whopper") nesten provoserer en katastrofal atomkrig mellom USA og Sovjetunionen før den blir deaktivert av en tenåringshacker (spilt av Matthew Broderick).

De Terminator filmfranchise, som begynte med den originale filmen fra 1984, så for seg en selvbevisst superdatamaskin kalt "Skynet" som, i likhet med WOPR, var designet for å kontrollere amerikanske atomvåpen, men som i stedet velger å utslette menneskeheten, og ser på oss som en trussel mot dens eksistens.

Selv om det en gang var begrenset til science fiction-området, har konseptet med superdatamaskiner som dreper mennesker nå blitt en distinkt mulighet i den virkelige verden i nær fremtid. I tillegg til å utvikle et bredt utvalg av "autonom", eller robotiske kampanordninger, skynder de store militærmaktene seg også for å lage automatiserte beslutningssystemer på slagmarken, eller det som kan kalles "robotgeneraler».

I kriger i en ikke altfor fjern fremtid, kan slike AI-drevne systemer utplasseres for å levere kampordrer til amerikanske soldater, diktere hvor, når og hvordan de dreper fiendtlige tropper eller tar ild fra sine motstandere. I noen scenarier kan robotbeslutningstakere til og med ende opp med å utøve kontroll over USAs atomvåpen, noe som potensielt lar dem antenne en atomkrig som resulterer i menneskehetens død.

Nå, ta pusten et øyeblikk. Installasjonen av et AI-drevet kommando-og-kontroll (C2) system som dette kan virke som en fjern mulighet. Likevel jobber det amerikanske forsvarsdepartementet hardt for å utvikle nødvendig maskinvare og programvare på en systematisk og stadig raskere måte.

I sitt budsjettframlegg for 2023 har for eksempel Luftforsvaret bedt om 231 millioner dollar å utvikle Avansert Battlefield Management System (ABMS), et komplekst nettverk av sensorer og AI-aktiverte datamaskiner designet for å samle inn og tolke data om fiendens operasjoner og gi piloter og bakkestyrker en meny med optimale angrepsalternativer.

Etter hvert som teknologien utvikler seg, systemet vil være i stand å sende "ild"-instruksjoner direkte til "skyttere", i stor grad omgå menneskelig kontroll.

"Et maskin-til-maskin-datautvekslingsverktøy som gir muligheter for avskrekking, eller for på-rampe [en militær demonstrasjon av styrke] eller tidlig engasjement," var hvordan Will Roper, assisterende sekretær i luftforsvaret for anskaffelse, teknologi og logistikk, beskrevet ABMS-systemet i et 2020-intervju.

Roper foreslo at "vi trenger å endre navnet" etter hvert som systemet utvikler seg, og la til: "Jeg tror Skynet er ute, like mye som jeg ville elsket å gjøre det som en sci-fi-ting. Jeg tror bare ikke vi kan dra dit.»

Og selv om han ikke kan gå dit, er det akkurat dit resten av oss kan være på vei.

Merk deg, det er bare starten. Faktisk er luftforsvarets ABMS ment å utgjøre kjernen i en større konstellasjon av sensorer og datamaskiner som skal koble seg sammen alle Amerikanske kampstyrker, Joint All-Domain Command-and-Control System (JADC2, uttales "Jad-C-two"). "JADC2 har til hensikt å gjøre det mulig for sjefer å ta bedre beslutninger ved å samle inn data fra en rekke sensorer, behandle dataene ved hjelp av kunstig intelligens-algoritmer for å identifisere mål, og deretter anbefale det optimale våpenet ... for å engasjere målet," Congressional Research Service rapportert i 2022.

AI & Nuclear Trigger

I utgangspunktet vil JADC2 være designet for å koordinere kampoperasjoner blant "konvensjonelle" eller ikke-atomvåpen amerikanske styrker. Etter hvert forventes det imidlertid å gjøre det knytte opp med Pentagons kjernefysiske kommando-kontroll-og-kommunikasjonssystemer (NC3), som potensielt gir datamaskiner betydelig kontroll over bruken av det amerikanske atomarsenalet.

"JADC2 og NC3 er sammenvevd," General John E. Hyten, nestleder i Joint Chiefs of Staff, indikert i et intervju i 2020. Som et resultat la han til på typisk Pentagonesisk, "NC3 må informere JADC2 og JADC2 må informere NC3."

Det krever ikke stor fantasi for å forestille seg en tid i en ikke altfor fjern fremtid da en krise av noe slag - for eksempel et militært sammenstøt mellom USA og Kina i Sør-Kinahavet eller nær Taiwan - fører til stadig mer intense kamper mellom motstridende luft og marinestyrker.

Tenk deg da at JADC2 beordrer det intense bombardementet av fiendens baser og kommandosystemer i selve Kina, utløser gjensidige angrep på amerikanske anlegg og en lynavgjørelse fra JADC2 om å gjengjelde med taktiske atomvåpen, og antenne et lenge fryktet kjernefysisk holocaust.

Muligheten for at marerittscenarier av denne typen kan resultere i utilsiktet eller utilsiktet utbrudd av atomkrig har lenge plaget analytikere i våpenkontrollmiljøet. Men den økende automatiseringen av militære C2-systemer har skapt angst ikke bare blant dem, men også blant høytstående nasjonale sikkerhetstjenestemenn.

Så tidlig som 2019, da jeg spurte generalløytnant Jack Shanahan, daværende direktør for Pentagon's Joint Artificial Intelligence Center, om en så risikabel mulighet, han svarte, "Du vil ikke finne noen sterkere talsmann for integrering av AI-evner skrevet stort inn i forsvarsdepartementet, men det er ett område hvor jeg stopper, og det har å gjøre med kjernefysisk kommando og kontroll."

Dette "er den ultimate menneskelige avgjørelsen som må tas" og derfor "vi må være veldig forsiktige." Gitt teknologiens "umodenhet," la han til, trenger vi "mye tid til å teste og evaluere [før vi bruker AI på NC3]."

I årene etterpå, til tross for slike advarsler, har Pentagon kjørt videre med utviklingen av automatiserte C2-systemer.

I sitt budsjettframlegg for 2024 har Forsvarsdepartementet Forespurt 1.4 milliarder dollar for JADC2 for «å transformere krigskampevnen ved å levere informasjonsfordeler med hastigheten av relevans på tvers av alle domener og partnere». UH oh! Og så ba den om ytterligere 1.8 milliarder dollar for andre typer militærrelatert AI-forskning.

Pentagon-tjenestemenn erkjenner at det vil ta litt tid før robotgeneraler vil kommandere et stort antall amerikanske tropper (og autonome våpen) i kamp, ​​men de har allerede lansert flere prosjekter ment å teste og perfeksjonere nettopp slike koblinger. Et eksempel er Hærens Prosjektkonvergens, som involverer en rekke feltøvelser designet for å validere ABMS og JADC2 komponentsystemer.

I en test avholdt i august 2020 på Yuma Proving Ground i Arizona, for eksempel, brukte hæren en rekke luft- og bakkebaserte sensorer for å spore simulerte fiendtlige styrker og deretter behandle disse dataene ved hjelp av AI-aktiverte datamaskiner ved Joint Base Lewis McChord i delstaten Washington.

Disse datamaskinene ga på sin side branninstruksjoner til bakkebasert artilleri ved Yuma. "Hele denne sekvensen ble visstnok fullført innen 20 sekunder," Congressional Research Service senere rapportert.

Mindre er kjent om marinens AI-ekvivalent, "Project Overmatch", ettersom mange aspekter av programmeringen har blitt holdt hemmelig. Ifølge admiral Michael Gilday, sjef for marineoperasjoner, er Overmatch det tiltenkt "å muliggjøre en marine som svermer havet, og leverer synkroniserte dødelige og ikke-dødelige effekter fra nær og fjern, hver akse og hvert domene." Lite annet er blitt avslørt om prosjektet.

"Flash Wars" og menneskelig utryddelse

Til tross for all hemmelighold rundt disse prosjektene, kan du tenke på ABMS, JADC2, Convergence og Overmatch som byggesteiner for et fremtidig Skynet-lignende meganettverk av superdatamaskiner designet for å kommandere alle amerikanske styrker, inkludert atomstyrkene, i væpnede kamp.

Jo mer Pentagon beveger seg i den retningen, jo nærmere vil vi komme en tid da AI har makt på liv eller død over alle amerikanske soldater sammen med motstridende styrker og eventuelle sivile fanget i kryssilden.

Et slikt prospekt bør være god grunn til bekymring. Til å begynne med, vurder risikoen for feil og feilberegninger av algoritmene i hjertet av slike systemer. Som topp informatikere har advart oss, er disse algoritmene i stand til bemerkelsesverdig uforklarlige feil og, for å bruke AI-begrepet for øyeblikket, "hallusinasjoner" - det vil si tilsynelatende rimelige resultater som er fullstendig illusjonære.

Under omstendighetene er det ikke vanskelig å forestille seg slike datamaskiner som «hallusinerer» et nært forestående fiendtlig angrep og starter en krig som ellers kunne vært unngått.

Og det er ikke den verste av farene å vurdere. Tross alt er det åpenbar sannsynlighet for at USAs motstandere på samme måte vil utstyre sine styrker med robotgeneraler. Med andre ord, fremtidige kriger vil sannsynligvis bli utkjempet av ett sett med AI-systemer mot et annet, begge knyttet til atomvåpen, med helt uforutsigbare - men potensielt katastrofale - resultater.

Ikke mye er kjent (i det minste fra offentlige kilder) om russiske og kinesiske forsøk på å automatisere deres militære kommando-og-kontrollsystemer, men begge landene antas å utvikle nettverk som kan sammenlignes med Pentagons JADC2.

Så tidlig som i 2014 innviet faktisk Russland et nasjonalt forsvarskontrollsenter (NDCC) i Moskva, en sentralisert kommandopost for å vurdere globale trusler og sette i gang enhver militær handling som anses nødvendig, enten den er av ikke-atomkraft eller kjernefysisk karakter.

Som JADC2 er NDCC designet å samle informasjon om fiendens trekk fra flere kilder og gi senioroffiserer veiledning om mulige reaksjoner.

Kina sies å forfølge en enda mer forseggjort, hvis lignende, virksomhet under rubrikken "Multi-Domain Precision Warfare" (MDPW).

I følge Pentagons rapport fra 2022 om kinesisk militærutvikling, blir dets militære, People's Liberation Army, trent og utstyrt til å bruke AI-aktiverte sensorer og datanettverk for å "raskt identifisere nøkkelsårbarheter i det amerikanske operasjonssystemet og deretter kombinere felles styrker på tvers av domener for å sette i gang presisjonsangrep mot disse sårbarhetene.»

Se for deg en fremtidig krig mellom USA og Russland eller Kina (eller begge deler) der JADC2 kommanderer alle amerikanske styrker, mens Russlands NDCC og Kinas MDPW kommanderer disse landenes styrker. Tenk også på at alle tre systemene sannsynligvis vil oppleve feil og hallusinasjoner.

Hvor trygge vil mennesker være når robotgeneraler bestemmer at det er på tide å "vinne" krigen ved å bombe fiendene deres?

Hvis dette virker som et merkelig scenario, tenk om igjen, i det minste ifølge ledelsen av National Security Commission on Artificial Intelligence, et kongressmandat foretak som ble ledet av Eric Schmidt, tidligere sjef for Google, og Robert Work, tidligere visesekretær. av forsvar.

«Selv om kommisjonen mener at riktig utformet, testet og brukt AI-aktiverte og autonome våpensystemer vil gi betydelig militær og til og med humanitær fordel, risikerer den ukontrollerte globale bruken av slike systemer potensielt utilsiktet konflikteskalering og krisestabilitet,» bekreftet i sin sluttrapport.

Slike farer kan oppstå, heter det, "på grunn av utfordrende og uprøvde kompleksiteter av interaksjon mellom AI-aktiverte og autonome våpensystemer på slagmarken" - når, det vil si, AI kjemper mot AI.

Selv om dette kan virke et ekstremt scenario, er det fullt mulig at motsatte AI-systemer kan utløse en katastrofal "flash war" - den militære ekvivalenten til en "flash krasj" på Wall Street, når enorme transaksjoner av supersofistikerte handelsalgoritmer vekker panikksalg før menneskelige operatører kan gjenopprette orden.

I det beryktede "Flash Crash" 6. mai 2010, utløste datadrevet handel et fall på 10 prosent i aksjemarkedets verdi. Ifølge Paul Scharre fra Center for a New American Security, som først studerte fenomenet, "den militære ekvivalenten til slike kriser" på Wall Street ville oppstå når de automatiserte kommandosystemene til motstridende styrker "blir fanget i en kaskade av eskalerende engasjementer."

I en slik situasjon, bemerket han, "kan autonome våpen føre til utilsiktet død og ødeleggelse i katastrofale skalaer på et øyeblikk."

For tiden er det praktisk talt ingen tiltak på plass for å forhindre en fremtidig katastrofe av denne typen, eller til og med samtaler mellom stormaktene om å utarbeide slike tiltak. Likevel, som den nasjonale sikkerhetskommisjonen for kunstig intelligens bemerket, er slike krisekontrolltiltak påtrengende nødvendig for å integrere «automatiserte eskaleringstråder» i slike systemer «som ville forhindre automatisert eskalering av konflikter».

Ellers virker en eller annen katastrofal versjon av tredje verdenskrig altfor mulig. Gitt den farlige umodenheten til slik teknologi og Beijings, Moskvas og Washingtons motvilje mot å pålegge noen begrensninger på bevæpningen av AI, kan dagen da maskiner kunne velge å utslette oss komme langt tidligere enn vi forestiller oss, og utryddelsen av menneskeheten kan bli sideskade av en slik fremtidig krig.

Michael T. Klare, a TomDispatch regelmessig, er professor emeritus på fem høyskoler i freds- og verdenssikkerhetsstudier ved Hampshire College og senior gjestestipendiat ved Arms Control Association. Han er forfatter av 15 bøker, hvorav den siste er All Hell Breaking Loose: Pentagons perspektiv på klimaendringer. Han er en grunnlegger av Komiteen for en fornuftig USA-Kina-politikk.

Denne artikkelen er fra TomDispatch.com.

Synspunktene som uttrykkes er utelukkende forfatterens og gjenspeiler kanskje eller ikke Konsortium Nyheter.