Vojne opasnosti AI

Dužnosnici Pentagona priznaju da će proći neko vrijeme prije nego roboti-generali počnu zapovijedati golemim brojem američkih trupa i autonomnih oružja u borbi, piše Michael T. Klare. Ali imaju nekoliko projekata za testiranje i usavršavanje.

By Michael T. Klare 
TomDispatch.com

A Zastrašujuće je zamisliti svijet u kojem strojevi kojima upravlja umjetna inteligencija (AI) sustavno zamjenjuju ljudska bića u većini poslovnih, industrijskih i profesionalnih funkcija.

Uostalom, kao što nas upozoravaju istaknuti računalni znanstvenici, sustavi kojima upravlja AI jesu skloni kritične pogreške i neobjašnjive "halucinacije", što rezultira potencijalno katastrofalnim ishodima.

Ali postoji još opasniji scenarij koji se može zamisliti zbog proliferacije super-inteligentnih strojeva: mogućnost da bi se ti neljudski entiteti mogli međusobno boriti, uništavajući sav ljudski život u tom procesu.

Ideja da bi superinteligentna računala mogla divljati i ubijati ljude je, naravno, dugo bila glavna točka popularne kulture. U proročkom 1983 film Ratne igre, superračunalo poznato kao WOPR (za War Operation Plan Response i, ne iznenađujuće, izgovara se "whopper") zamalo izaziva katastrofalni nuklearni rat između Sjedinjenih Država i Sovjetskog Saveza prije nego što ga onesposobi haker tinejdžer (glumi ga Matthew Broderick).

Korištenje električnih romobila ističe Terminator filmska franšiza, počevši s originalnim filmom iz 1984., na sličan je način zamišljala samosvjesno superračunalo nazvano "Skynet" koje je, poput WOPR-a, dizajnirano za kontrolu američkog nuklearnog oružja, ali je umjesto toga odlučilo izbrisati čovječanstvo, gledajući nas kao prijetnju svom postojanju.

Iako je nekoć bio ograničen na područje znanstvene fantastike, koncept superračunala koja ubijaju ljude sada je postao jasna mogućnost u vrlo stvarnom svijetu bliske budućnosti. Osim razvoja široke palete "autonoman,” ili robotskih borbenih uređaja, velike vojne sile također žure stvoriti automatizirane sustave za donošenje odluka na bojnom polju, ili ono što bi se moglo nazvati “robotski generali".

U ratovima u ne tako dalekoj budućnosti, takvi sustavi pokretani umjetnom inteligencijom mogli bi se rasporediti za isporuku borbenih zapovijedi američkim vojnicima, diktirajući gdje, kada i kako ubijaju neprijateljske trupe ili preuzimaju vatru od svojih protivnika. U nekim scenarijima, roboti koji donose odluke mogli bi čak na kraju kontrolirati američko atomsko oružje, što bi im potencijalno omogućilo da zapale nuklearni rat koji bi rezultirao smrću čovječanstva.

Sada udahnite na trenutak. Instalacija ovakvog sustava zapovijedanja i kontrole (C2) pokretanog umjetnom inteligencijom može se činiti dalekom mogućnošću. Unatoč tome, Ministarstvo obrane SAD-a naporno radi na razvoju potrebnog hardvera i softvera na sustavan, sve brži način.

U svom prijedlogu proračuna za 2023., primjerice, Zračne snage zatražio 231 milijun dolara razviti Napredni sustav upravljanja bojnim poljem (ABMS), složena mreža senzora i računala s AI-om dizajnirana za prikupljanje i tumačenje podataka o neprijateljskim operacijama i pružanje pilotima i kopnenim snagama izbornika optimalnih opcija napada.

Kako tehnologija napreduje, sustav bit će sposoban slanja uputa za "vatru" izravno "strijelcima", uglavnom zaobilazeći ljudsku kontrolu.

"Alat za razmjenu podataka od stroja do stroja koji pruža opcije za odvraćanje, ili za rampu [vojna demonstracija sile] ili rano angažiranje", rekao je Will Roper, pomoćnik ministra zračnih snaga za nabavu, tehnologiju , i logistika, opisan ABMS sustav u intervjuu 2020.

Predlažući da "trebamo promijeniti ime" kako se sustav bude razvijao, Roper je dodao: "Mislim da Skynet više nema, koliko god bih to volio raditi kao znanstveno-fantastičnu stvar. Samo mislim da ne možemo ići tamo.”

I dok on ne može tamo, to je mjesto kamo mi ostali možda zapravo idemo.

Imajte na umu, to je samo početak. Zapravo, ABMS zrakoplovnih snaga trebao bi činiti jezgru veće konstelacije senzora i računala koja će povezivati svi Američke borbene snage, Zajednički sustav zapovijedanja i kontrole (JADC2, izgovara se "Jad-C-two"). "JADC2 namjerava omogućiti zapovjednicima donošenje boljih odluka prikupljanjem podataka s brojnih senzora, obradom podataka korištenjem algoritama umjetne inteligencije za identifikaciju ciljeva, zatim preporukom optimalnog oružja... za napad na metu", istraživačka služba Kongresa izvijestio u 2022.

AI i nuklearni okidač

U početku će JADC2 biti dizajniran za koordinaciju borbenih operacija između "konvencionalnih" ili nenuklearnih američkih snaga. Na kraju se ipak očekuje povezati s Pentagonovim nuklearnim zapovjedno-kontrolnim i komunikacijskim sustavima (NC3), potencijalno dajući računalima značajnu kontrolu nad korištenjem američkog nuklearnog arsenala.

"JADC2 i NC3 su isprepleteni", general John E. Hyten, potpredsjednik Združenog stožera, naznačeno u intervjuu 2020. Kao rezultat toga, dodao je na tipičnom pentagonskom, "NC3 mora obavijestiti JADC2 i JADC2 mora obavijestiti NC3."

Nije potrebna velika mašta da se zamisli vrijeme u ne tako dalekoj budućnosti kada neka vrsta krize - recimo američki i kineski vojni sukob u Južnom kineskom moru ili u blizini Tajvana - potakne još intenzivnije borbe između suprotstavljenih zračnih snaga i pomorske snage.

Zamislite da je JADC2 naredio intenzivno bombardiranje neprijateljskih baza i zapovjednih sustava u samoj Kini, što je izazvalo recipročne napade na američke objekte i munjevitu odluku JADC2 da uzvrati taktičkim nuklearnim oružjem, zapalivši dugo strahujući nuklearni holokaust.

Mogućnost da bi scenariji ove vrste iz noćne more mogli rezultirati slučajnim ili nenamjernim izbijanjem nuklearnog rata dugo je mučila analitičare u zajednici za kontrolu naoružanja. Ali rastuća automatizacija vojnih C2 sustava izazvala je tjeskobu ne samo među njima nego i među višim dužnosnicima nacionalne sigurnosti.

Najranije 2019., kada sam ispitivao general-pukovnika Jacka Shanahana, tadašnjeg ravnatelja Pentagonovog zajedničkog centra za umjetnu inteligenciju, o tako riskantnoj mogućnosti, odgovorila, "Nećete naći snažnijeg zagovornika integracije AI sposobnosti u velikoj mjeri u Ministarstvo obrane, ali postoji jedno područje na kojem ću zastati, a to je povezano s nuklearnim zapovijedanjem i kontrolom."

Ovo je "konačna ljudska odluka koju treba donijeti" i stoga "moramo biti vrlo oprezni". S obzirom na "nezrelost" tehnologije, dodao je, trebamo "puno vremena za testiranje i procjenu [prije primjene umjetne inteligencije na NC3]."

U godinama koje su uslijedile, unatoč takvim upozorenjima, Pentagon je jurio s razvojem automatiziranih C2 sustava.

U svom prijedlogu proračuna za 2024. Ministarstvo obrane zatražio 1.4 milijarde dolara za JADC2 kako bi se "transformirale sposobnosti za ratovanje isporukom informacijske prednosti brzinom relevantnosti u svim domenama i partnerima." Uh oh! Zatim je zatražio još 1.8 milijardi dolara za druge vrste istraživanja umjetne inteligencije vezane uz vojsku.

Dužnosnici Pentagona priznaju da će proći neko vrijeme prije nego roboti-generali počnu zapovijedati golemim brojem američkih trupa (i autonomnih oružja) u borbi, ali već su pokrenuli nekoliko projekata namijenjenih testiranju i usavršavanju upravo takvih veza. Jedan primjer je vojska Konvergencija projekta, uključujući niz terenskih vježbi osmišljenih za provjeru valjanosti sustava komponenti ABMS i JADC2.

U testu održanom u kolovozu 2020. na poligonu Yuma Proving Ground u Arizoni, na primjer, vojska je koristila razne senzore iz zraka i zemlje za praćenje simuliranih neprijateljskih snaga i zatim obradila te podatke pomoću računala s AI-om u Joint Base Lewis McChord u državi Washington.

Ta su računala zauzvrat izdavala upute za paljbu zemaljskom topništvu u Yumi. "Cijeli ovaj slijed je navodno postignut u roku od 20 sekundi", kasnije je Kongresna istraživačka služba izvijestio.

Manje se zna o mornaričkom AI ekvivalentu, “Project Overmatch,” jer su mnogi aspekti njegovog programiranja držani u tajnosti. Prema admiralu Michaelu Gildayu, šefu mornaričkih operacija, Overmatch je namijenjen "omogućiti mornarici koja preplavljuje more, isporučujući sinkronizirane smrtonosne i nesmrtonosne učinke iz blizine i daljine, sa svake osi i sa svake domene." Još malo toga je otkriveno o projektu.

'Bljeskavi ratovi' i izumiranje ljudi

Unatoč svoj tajnovitosti koja okružuje ove projekte, ABMS, JADC2, Convergence i Overmatch možete zamisliti kao građevne blokove za buduću mega-mrežu super-računala nalik na Skynet dizajniranu za zapovijedanje svim američkim snagama, uključujući nuklearne, u naoružanju borbena.

Što se više Pentagon bude kretao u tom smjeru, to ćemo se više približavati vremenu kada će umjetna inteligencija imati moć na život ili smrt nad svim američkim vojnicima, zajedno s protivničkim snagama i svim civilima uhvaćenim u unakrsnoj vatri.

Takva perspektiva trebala bi biti dovoljan razlog za zabrinutost. Za početak, razmotrite rizik od pogrešaka i pogrešnih proračuna algoritama koji su u srcu takvih sustava. Kao što su nas vrhunski informatičari upozorili, ti algoritmi jesu sposoban za nevjerojatno neobjašnjive pogreške i, da upotrijebimo AI izraz ovog trenutka, "halucinacije" - to jest, naizgled razumni rezultati koji su potpuno iluzorni.

Pod ovim okolnostima, nije teško zamisliti da takva računala "haluciniraju" neposredni neprijateljski napad i pokreću rat koji bi se inače mogao izbjeći.

A to nije najgora opasnost koju treba uzeti u obzir. Uostalom, postoji očita vjerojatnost da će američki protivnici na sličan način opremiti svoje snage robotskim generalima. Drugim riječima, budući ratovi vjerojatno će se voditi od strane jednog skupa AI sustava protiv drugog, oba povezana s nuklearnim oružjem, s potpuno nepredvidivim — ali potencijalno katastrofalnim — rezultatima.

Ne zna se mnogo (barem iz javnih izvora) o naporima Rusije i Kine da automatiziraju svoje vojne sustave zapovijedanja i kontrole, ali se smatra da obje zemlje razvijaju mreže usporedive s Pentagonovim JADC2.

Naime, još 2014. Rusija je u Moskvi otvorila Centar za kontrolu nacionalne obrane (NDCC), centralizirano zapovjedno mjesto za procjenu globalnih prijetnji i pokretanje svih vojnih akcija koje se smatraju potrebnima, bilo nenuklearne ili nuklearne prirode.

Kao i JADC2, NDCC je konstruiran prikupljati informacije o potezima neprijatelja iz više izvora i dati višim časnicima smjernice o mogućim odgovorima.

Rečeno je da Kina slijedi još razrađeniji, iako sličan, pothvat pod rubrikom "Multi-Domain Precision Warfare" (MDPW).

Prema Pentagonovom izvješću iz 2022. o razvoju kineske vojske, njegova vojska, Narodna oslobodilačka vojska, obučava se i oprema za korištenje senzora i računalnih mreža s omogućenom umjetnom inteligencijom za “brzu identifikaciju ključnih ranjivosti u operativnom sustavu SAD-a i zatim kombiniranje zajedničkih snaga širom domene za pokretanje preciznih napada na te ranjivosti."

Zamislite, dakle, budući rat između SAD-a i Rusije ili Kine (ili oboje) u kojem JADC2 zapovijeda svim američkim snagama, dok ruski NDCC i kineski MDPW zapovijedaju snagama tih zemalja. Uzmite u obzir i to da će sva tri sustava vjerojatno doživjeti pogreške i halucinacije.

Koliko će ljudi biti sigurni kada roboti generali odluče da je vrijeme da "pobijede" u ratu nuklearnim napadima na svoje neprijatelje?

Ako vam se ovo čini čudnim scenarijem, razmislite ponovno, barem prema vodstvu Povjerenstva za nacionalnu sigurnost o umjetnoj inteligenciji, poduzeću s mandatom Kongresa kojim su predsjedavali Eric Schmidt, bivši šef Googlea, i Robert Work, bivši zamjenik tajnika obrane.

"Iako Komisija vjeruje da će pravilno dizajnirani, testirani i korišteni autonomni oružani sustavi s omogućenom umjetnom inteligencijom donijeti znatnu vojnu, pa čak i humanitarnu korist, neprovjerena globalna uporaba takvih sustava potencijalno riskira neželjenu eskalaciju sukoba i kriznu nestabilnost", navodi se. potvrđen u svom Završnom izvješću.

Takve bi opasnosti mogle nastati, navodi se, "zbog izazovnih i neprovjerenih složenosti interakcije između AI-omogućenih i autonomnih oružanih sustava na bojnom polju" - kada se, to jest, AI bori protiv AI-a.

Iako se ovo može činiti ekstremnim scenarijem, sasvim je moguće da bi suprotstavljeni sustavi umjetne inteligencije mogli izazvati katastrofalan "flash rat" — vojni ekvivalent "flash slomu" na Wall Streetu, kada ogromne transakcije super-sofisticiranih algoritama trgovanja izazovu paničnu prodaju prije ljudski operateri mogu uspostaviti red.

U zloglasnom "Flash Crash-u" od 6. svibnja 2010., računalno vođeno trgovanje ubrzalo je pad vrijednosti burze od 10 posto. Prema Paul Scharre iz Centra za novu američku sigurnost, koji je prvi proučavao fenomen, "vojni ekvivalent takvih kriza" na Wall Streetu pojavio bi se kada bi automatizirani zapovjedni sustavi suprotstavljenih snaga "postali zarobljeni u kaskadi eskalirajućih sukoba".

U takvoj situaciji, primijetio je, "autonomno oružje moglo bi dovesti do slučajne smrti i uništenja katastrofalnih razmjera u trenutku."

Trenutačno ne postoje praktički nikakve mjere za sprječavanje buduće katastrofe ove vrste, pa čak ni razgovori među velikim silama o osmišljavanju takvih mjera. Ipak, kao što je Nacionalno sigurnosno povjerenstvo za umjetnu inteligenciju primijetilo, hitno su potrebne takve mjere kontrole krize kako bi se integrirale "automatizirane eskalacijske veze" u takve sustave "koji bi spriječili automatiziranu eskalaciju sukoba".

U suprotnom, neka katastrofalna verzija Trećeg svjetskog rata čini se previše moguća. S obzirom na opasnu nezrelost takve tehnologije i nevoljkost Pekinga, Moskve i Washingtona da nametnu bilo kakva ograničenja na naoružavanje umjetne inteligencije, dan kada bi nas strojevi mogli odlučiti uništiti mogao bi doći mnogo ranije nego što zamišljamo, a izumiranje čovječanstva moglo bi biti kolateralna šteta takvog budućeg rata.

Michael T. Klare, a.s. TomDispatch redovan, petostruki je profesor emeritus studija mira i svjetske sigurnosti na Hampshire Collegeu i viši gostujući suradnik u Udruzi za kontrolu naoružanja. Autor je 15 knjiga od kojih je najnovija Pakao na slobodi: Perspektiva Pentagona o klimatskim promjenama. Osnivač je Odbor za zdravu američko-kinesku politiku.

Ovaj je članak iz TomDispatch.com.

Izražena stajališta isključivo su stajališta autora i mogu, ali ne moraju odražavati stajališta Vijesti konzorcija.