Os perigos militares da IA

Funcionários do Pentágono reconhecem que levará algum tempo até que generais-robôs comandem um grande número de tropas dos EUA e armas autônomas em batalha, escreve Michael T. Klare. Mas eles têm vários projetos para testar e aperfeiçoar.

By Michael T. Klare 
TomDispatch.com

A É horrível imaginar um mundo em que máquinas governadas pela inteligência artificial (IA) substituem sistematicamente os seres humanos na maioria das funções empresariais, industriais e profissionais.

Afinal, como nos alertam cientistas da computação proeminentes, os sistemas governados por IA são propenso a erros críticos e “alucinações” inexplicáveis, resultando em resultados potencialmente catastróficos.

Mas existe um cenário ainda mais perigoso que se pode imaginar a partir da proliferação de máquinas superinteligentes: a possibilidade de que essas entidades não-humanas acabem por lutar entre si, destruindo toda a vida humana no processo.

A noção de que computadores superinteligentes podem enlouquecer e massacrar humanos tem sido, claro, há muito tempo um elemento básico da cultura popular. No profético Filme 1983 Jogos de Guerra, um supercomputador conhecido como WOPR (que significa Resposta ao Plano de Operação de Guerra e, não surpreendentemente, pronunciado “whopper”) quase provoca uma guerra nuclear catastrófica entre os Estados Unidos e a União Soviética antes de ser desativado por um hacker adolescente (interpretado por Matthew Broderick).

O ESB ( Terminator A franquia de filmes, começando com o filme original de 1984, também imaginou um supercomputador autoconsciente chamado “Skynet” que, como o WOPR, foi projetado para controlar as armas nucleares dos EUA, mas opta por exterminar a humanidade, vendo-nos como uma ameaça à sua existência.

Embora antes confinado ao reino da ficção científica, o conceito de supercomputadores matando humanos tornou-se agora uma possibilidade distinta no mundo real do futuro próximo. Além de desenvolver uma ampla variedade de “Autônomo”, ou dispositivos robóticos de combate, as principais potências militares também estão correndo para criar sistemas automatizados de tomada de decisão no campo de batalha, ou o que poderia ser chamado de “generais robôs. "

Em guerras num futuro não muito distante, esses sistemas alimentados por IA poderiam ser utilizados para entregar ordens de combate aos soldados americanos, ditando onde, quando e como matarão as tropas inimigas ou dispararão contra os seus oponentes. Em alguns cenários, os decisores robóticos podem até acabar por exercer controlo sobre as armas atómicas da América, permitindo-lhes potencialmente desencadear uma guerra nuclear que resultará na morte da humanidade.

Agora, respire por um momento. A instalação de um sistema de comando e controle (C2) alimentado por IA como este pode parecer uma possibilidade distante. No entanto, o Departamento de Defesa dos EUA está a trabalhar arduamente para desenvolver o hardware e software necessários de uma forma sistemática e cada vez mais rápida.

Na sua apresentação orçamental para 2023, por exemplo, a Força Aérea solicitou $ 231 milhões desenvolver o Sistema avançado de gerenciamento de campo de batalha (ABMS), uma rede complexa de sensores e computadores habilitados para IA, projetada para coletar e interpretar dados sobre operações inimigas e fornecer aos pilotos e às forças terrestres um menu de opções de ataque ideais.

À medida que a tecnologia avança, o sistema será capaz de enviar instruções de “fogo” diretamente aos “atiradores”, contornando em grande parte o controle humano.

“Uma ferramenta de troca de dados máquina a máquina que oferece opções de dissuasão, ou de rampa [uma demonstração de força militar] ou engajamento precoce”, foi como Will Roper, secretário adjunto da Força Aérea para aquisição, tecnologia e logística, descrito o sistema ABMS em uma entrevista de 2020.

Sugerindo que “precisamos mudar o nome” à medida que o sistema evolui, Roper acrescentou: “Acho que a Skynet está fora, por mais que eu adorasse fazer isso como uma coisa de ficção científica. Só não acho que podemos ir até lá.”

E embora ele não possa ir para lá, é exatamente para onde o resto de nós pode, de fato, estar indo.

Veja bem, isso é apenas o começo. Na verdade, o ABMS da Força Aérea pretende constituir o núcleo de uma constelação maior de sensores e computadores que irão conectar todos os Forças de combate dos EUA, o Sistema Conjunto de Comando e Controle de Todos os Domínios (JADC2, pronunciado “Jad-C-two”). “O JADC2 pretende permitir que os comandantes tomem melhores decisões, coletando dados de vários sensores, processando os dados usando algoritmos de inteligência artificial para identificar alvos e, em seguida, recomendando a arma ideal… para atacar o alvo”, disse o Serviço de Pesquisa do Congresso. relatado em 2022.

IA e o gatilho nuclear

Inicialmente, o JADC2 será projetado para coordenar operações de combate entre forças americanas “convencionais” ou não nucleares. Eventualmente, porém, espera-se que conectar com os sistemas nucleares de comando, controle e comunicações (NC3) do Pentágono, dando potencialmente aos computadores um controle significativo sobre o uso do arsenal nuclear americano.

“JADC2 e NC3 estão interligados”, disse o General John E. Hyten, vice-presidente do Estado-Maior Conjunto. indicado em uma entrevista de 2020. Como resultado, acrescentou em pentágono típico, “NC3 tem de informar JADC2 e JADC2 tem de informar NC3”.

Não é necessária muita imaginação para imaginar um momento num futuro não muito distante em que uma crise de algum tipo - digamos, um confronto militar entre EUA e China no Mar da China Meridional ou perto de Taiwan - provoque combates cada vez mais intensos entre forças aéreas opostas. e forças navais.

Imagine então o JADC2 ordenando o intenso bombardeamento de bases inimigas e sistemas de comando na própria China, desencadeando ataques recíprocos às instalações dos EUA e uma decisão relâmpago do JADC2 de retaliar com armas nucleares tácticas, desencadeando um há muito temido holocausto nuclear.

A possibilidade de cenários de pesadelo deste tipo resultarem no início acidental ou não intencional de uma guerra nuclear há muito que preocupa os analistas da comunidade de controlo de armas. Mas a crescente automatização dos sistemas militares C2 gerou ansiedade não apenas entre eles, mas também entre os altos funcionários da segurança nacional.

Tão cedo quanto Em 2019, quando questionei o tenente-general Jack Shanahan, então diretor do Centro Conjunto de Inteligência Artificial do Pentágono, sobre uma possibilidade tão arriscada, ele respondeu, “Você não encontrará nenhum defensor mais forte da integração de capacidades de IA em grande escala no Departamento de Defesa, mas há uma área em que faço uma pausa, e tem a ver com comando e controle nuclear.”

Esta “é a decisão humana final que precisa ser tomada” e por isso “temos que ter muito cuidado”. Dada a “imaturidade” da tecnologia, acrescentou, precisamos de “muito tempo para testar e avaliar [antes de aplicar a IA ao NC3]”.

Nos anos que se seguiram, apesar de tais avisos, o Pentágono tem avançado com o desenvolvimento de sistemas C2 automatizados.

Na sua apresentação orçamental para 2024, o Departamento de Defesa solicitadas 1.4 mil milhões de dólares para o JADC2, a fim de “transformar a capacidade de combate, proporcionando vantagens de informação à velocidade da relevância em todos os domínios e parceiros”. Uh-oh! E então, solicitou outros US$ 1.8 bilhão para outros tipos de pesquisa de IA militar.

Os responsáveis ​​do Pentágono reconhecem que levará algum tempo até que generais robôs comandem um grande número de tropas dos EUA (e armas autónomas) em batalha, mas já lançaram vários projectos destinados a testar e aperfeiçoar precisamente essas ligações. Um exemplo é o Exército Convergência do Projeto, envolvendo uma série de exercícios de campo projetados para validar sistemas de componentes ABMS e JADC2.

Em um teste realizado em agosto de 2020 no Yuma Proving Ground, no Arizona, por exemplo, o Exército usou uma variedade de sensores aéreos e terrestres para rastrear forças inimigas simuladas e depois processar esses dados usando computadores habilitados para IA na Base Conjunta de Lewis. McChord no estado de Washington.

Esses computadores, por sua vez, emitiram instruções de fogo para a artilharia terrestre em Yuma. “Essa sequência inteira foi supostamente concluída em 20 segundos”, disse mais tarde o Serviço de Pesquisa do Congresso. relatado.

Menos se sabe sobre o equivalente de IA da Marinha, o “Project Overmatch”, já que muitos aspectos da sua programação foram mantidos em segredo. De acordo com o almirante Michael Gilday, chefe de operações navais, o Overmatch é Pretendido “para permitir uma Marinha que fervilha o mar, proporcionando efeitos letais e não letais sincronizados de perto e de longe, em todos os eixos e em todos os domínios.” Pouco mais foi revelado sobre o projeto.

‘Flash Wars’ e extinção humana

Apesar de todo o sigilo em torno desses projetos, você pode pensar em ABMS, JADC2, Convergence e Overmatch como blocos de construção para uma futura mega-rede de supercomputadores semelhante à Skynet, projetada para comandar todas as forças dos EUA, incluindo as nucleares, em forças armadas. combate.

Quanto mais o Pentágono se mover nessa direcção, mais perto chegaremos de um momento em que a IA possui poder de vida ou morte sobre todos os soldados americanos, juntamente com as forças opostas e quaisquer civis apanhados no fogo cruzado.

Tal perspectiva deveria ser motivo de grande preocupação. Para começar, considere o risco de erros e erros de cálculo cometidos pelos algoritmos que estão no centro de tais sistemas. Como os principais cientistas da computação nos alertaram, esses algoritmos são capaz de erros notavelmente inexplicáveis ​​e, para usar o termo da IA ​​do momento, “alucinações” – isto é, resultados aparentemente razoáveis ​​que são inteiramente ilusórios.

Nestas circunstâncias, não é difícil imaginar tais computadores “alucinando” um ataque inimigo iminente e iniciando uma guerra que de outra forma poderia ter sido evitada.

E esse não é o pior dos perigos a considerar. Afinal de contas, há a probabilidade óbvia de que os adversários da América equiparão igualmente as suas forças com generais robôs. Por outras palavras, é provável que as guerras futuras sejam travadas por um conjunto de sistemas de IA contra outro, ambos ligados ao armamento nuclear, com resultados totalmente imprevisíveis – mas potencialmente catastróficos.

Não se sabe muito (pelo menos de fontes públicas) sobre os esforços russos e chineses para automatizar os seus sistemas militares de comando e controlo, mas pensa-se que ambos os países estão a desenvolver redes comparáveis ​​à JADC2 do Pentágono.

Já em 2014, de facto, a Rússia inaugurou um Centro de Controlo de Defesa Nacional (NDCC) em Moscovo, um posto de comando centralizado para avaliar ameaças globais e iniciar qualquer acção militar considerada necessária, seja de natureza não nuclear ou nuclear.

Assim como o JADC2, o NDCC é projetado coletar informações sobre os movimentos do inimigo de diversas fontes e fornecer aos oficiais superiores orientação sobre possíveis respostas.

Diz-se que a China está a prosseguir um empreendimento ainda mais elaborado, embora semelhante, sob a rubrica de “Guerra de Precisão Multi-Domínio” (MDPW).

De acordo com o relatório de 2022 do Pentágono sobre os desenvolvimentos militares chineses, as suas forças armadas, o Exército de Libertação Popular, estão a ser treinadas e equipadas para utilizar sensores e redes de computadores habilitados para IA para “identificar rapidamente as principais vulnerabilidades no sistema operacional dos EUA e depois combinar forças conjuntas em todo o mundo”. domínios para lançar ataques de precisão contra essas vulnerabilidades.”

Imagine, então, uma guerra futura entre os EUA e a Rússia ou a China (ou ambas), na qual o JADC2 comanda todas as forças dos EUA, enquanto o NDCC da Rússia e o MDPW da China comandam as forças desses países. Considere também que todos os três sistemas provavelmente sofrerão erros e alucinações.

Quão seguros estarão os humanos quando os generais robôs decidirem que é hora de “vencer” a guerra detonando seus inimigos?

Se isto lhe parece um cenário estranho, pense novamente, pelo menos de acordo com a liderança da Comissão de Segurança Nacional sobre Inteligência Artificial, uma empresa mandatada pelo Congresso que foi presidida por Eric Schmidt, ex-chefe do Google, e Robert Work, ex-secretário adjunto. de defesa.

“Embora a Comissão acredite que sistemas de armas autônomos e habilitados para IA, adequadamente projetados, testados e utilizados, trarão benefícios militares e até mesmo humanitários substanciais, o uso global descontrolado de tais sistemas corre o risco potencial de escalada não intencional de conflitos e instabilidade de crise”, afirmou. afirmou no seu Relatório Final.

Tais perigos poderiam surgir, afirmou, “devido às complexidades desafiadoras e não testadas de interação entre sistemas de armas autônomos e habilitados para IA no campo de batalha” – isto é, quando a IA luta contra a IA.

Embora isto possa parecer um cenário extremo, é inteiramente possível que sistemas opostos de IA possam desencadear uma catastrófica “guerra relâmpago” – o equivalente militar de um “flash crash” em Wall Street, quando enormes transações realizadas por algoritmos de negociação super-sofisticados provocam vendas em pânico antes operadores humanos podem restaurar a ordem.

No infame “Flash Crash” de 6 de Maio de 2010, as negociações conduzidas por computador precipitaram uma queda de 10% no valor do mercado de acções. De acordo com o Paul Scharre, do Centro para uma Nova Segurança Americana, que primeiro estudou o fenómeno, “o equivalente militar de tais crises” em Wall Street surgiria quando os sistemas de comando automatizados das forças opostas “ficassem presos numa cascata de combates crescentes”.

Em tal situação, observou ele, “armas autônomas poderiam levar à morte acidental e à destruição em escalas catastróficas num instante”.

Actualmente, não existem praticamente quaisquer medidas em vigor para evitar uma catástrofe futura deste tipo ou mesmo conversações entre as grandes potências para conceber tais medidas. No entanto, como observou a Comissão Nacional de Segurança sobre Inteligência Artificial, tais medidas de controlo de crises são urgentemente necessárias para integrar “disparadores de escalada automatizada” em tais sistemas “que impediriam a escalada automatizada de conflitos”.

Caso contrário, alguma versão catastrófica da Terceira Guerra Mundial parece demasiado possível. Dada a perigosa imaturidade de tal tecnologia e a relutância de Pequim, Moscovo e Washington em impor quaisquer restrições à transformação da IA ​​em armas, o dia em que as máquinas poderão decidir aniquilar-nos poderá chegar muito mais cedo do que imaginamos e a extinção da humanidade poderá ser o danos colaterais de tal guerra futura.

Michael T. Klare, um TomDispatch regular, é professor emérito de estudos sobre paz e segurança mundial em cinco faculdades no Hampshire College e pesquisador visitante sênior na Associação de Controle de Armas. É autor de 15 livros, sendo o mais recente Todo o inferno: a perspectiva do Pentágono sobre as mudanças climáticas. Ele é um dos fundadores do Comitê para uma Política Sã entre EUA e China.

Este artigo é de TomDispatch.com.

As opiniões expressas são exclusivamente do autor e podem ou não refletir as de Notícias do Consórcio.