Les dangers militaires de l’IA

Les responsables du Pentagone reconnaissent qu’il faudra un certain temps avant que les généraux robots commandent un grand nombre de troupes américaines et d’armes autonomes au combat, écrit Michael T. Klare. Mais ils ont plusieurs projets pour le tester et le perfectionner.

By Michael T. Klare 
TomDispatch.com

A Il est horrible d’imaginer un monde dans lequel les machines régies par l’intelligence artificielle (IA) remplacent systématiquement les êtres humains dans la plupart des fonctions commerciales, industrielles et professionnelles.

Après tout, comme nous l’ont prévenu d’éminents informaticiens, les systèmes régis par l’IA sont sujettes à des erreurs critiques et des « hallucinations » inexplicables, entraînant des résultats potentiellement catastrophiques.

Mais il existe un scénario encore plus dangereux imaginable en raison de la prolifération de machines super intelligentes : la possibilité que ces entités non humaines finissent par se battre les unes contre les autres, anéantissant ainsi toute vie humaine.

L’idée selon laquelle des ordinateurs ultra-intelligents pourraient se déchaîner et massacrer des humains est, bien sûr, depuis longtemps un élément essentiel de la culture populaire. Dans le prophétique Film 1983 WarGames, un superordinateur connu sous le nom de WOPR (pour War Operation Plan Response et, sans surprise, prononcé « whopper » ») a failli provoquer une guerre nucléaire catastrophique entre les États-Unis et l'Union soviétique avant d'être désactivé par un hacker adolescent (joué par Matthew Broderick).

Les Terminator La franchise cinématographique, à commencer par le film original de 1984, envisageait de la même manière un superordinateur conscient de lui-même appelé « Skynet » qui, comme WOPR, a été conçu pour contrôler les armes nucléaires américaines, mais choisit plutôt d’anéantir l’humanité, nous considérant comme une menace pour son existence.

Bien qu’autrefois confiné au domaine de la science-fiction, le concept selon lequel des superordinateurs tuent des humains est désormais devenu une possibilité distincte dans le monde très réel d’un avenir proche. En plus de développer une grande variété de «autonome", ou dispositifs de combat robotisés, les grandes puissances militaires s'empressent également de créer des systèmes automatisés de prise de décision sur le champ de bataille, ou ce qu'on pourrait appeler "généraux robots. »

Dans les guerres d’un avenir pas si lointain, de tels systèmes basés sur l’IA pourraient être déployés pour transmettre des ordres de combat aux soldats américains, leur dictant où, quand et comment ils tueront les troupes ennemies ou subiront les tirs de leurs adversaires. Dans certains scénarios, les décideurs robots pourraient même finir par exercer un contrôle sur les armes atomiques américaines, ce qui leur permettrait potentiellement de déclencher une guerre nucléaire entraînant la disparition de l’humanité.

Maintenant, respirez un instant. L’installation d’un système de commande et de contrôle (C2) alimenté par l’IA comme celui-ci peut sembler une possibilité lointaine. Néanmoins, le ministère américain de la Défense travaille dur pour développer le matériel et les logiciels nécessaires de manière systématique et de plus en plus rapide.

Dans son projet de budget pour 2023, par exemple, l'Armée de l'Air demandé 231 millions de dollars développer le Système avancé de gestion du champ de bataille (ABMS), un réseau complexe de capteurs et d'ordinateurs compatibles avec l'IA conçu pour collecter et interpréter des données sur les opérations ennemies et fournir aux pilotes et aux forces terrestres un menu d'options d'attaque optimales.

À mesure que la technologie progresse, le système sera capable d’envoyer des instructions de « tir » directement aux « tireurs », contournant largement le contrôle humain.

"Un outil d'échange de données de machine à machine qui offre des options de dissuasion, de montée en puissance [une démonstration de force militaire] ou d'engagement précoce", a expliqué Will Roper, secrétaire adjoint de l'armée de l'air chargé des acquisitions et de la technologie. , et la logistique, décrit le système ABMS dans une interview de 2020.

Suggérant que « nous devons changer le nom » à mesure que le système évolue, Roper a ajouté : « Je pense que Skynet est sorti, même si j'adorerais faire cela comme un truc de science-fiction. Je ne pense tout simplement pas que nous puissions y aller.

Et même s’il ne peut pas y aller, c’est là que nous pourrions effectivement aller.

Attention, ce n'est que le début. En fait, l'ABMS de l'Armée de l'Air est destiné à constituer le noyau d'une plus grande constellation de capteurs et d'ordinateurs qui connecteront tous Forces de combat américaines, le système conjoint de commandement et de contrôle de tous les domaines (JADC2, prononcé « Jad-C-two »). "JADC2 a pour objectif de permettre aux commandants de prendre de meilleures décisions en collectant des données provenant de nombreux capteurs, en traitant les données à l'aide d'algorithmes d'intelligence artificielle pour identifier les cibles, puis en recommandant l'arme optimale... pour engager la cible", a déclaré le service de recherche du Congrès. rapporté dès 2022.

L'IA et le déclencheur nucléaire

Dans un premier temps, JADC2 sera conçu pour coordonner les opérations de combat entre forces américaines « conventionnelles » ou non nucléaires. Mais à terme, on s'attend à ce que relier avec les systèmes de commandement, de contrôle et de communication nucléaires (NC3) du Pentagone, ce qui pourrait donner aux ordinateurs un contrôle important sur l'utilisation de l'arsenal nucléaire américain.

"JADC2 et NC3 sont étroitement liés", a déclaré le général John E. Hyten, vice-président des chefs d'état-major interarmées. indiqué dans une interview de 2020. En conséquence, a-t-il ajouté dans un langage typique du Pentagone, "NC3 doit informer JADC2 et JADC2 doit informer NC3".

Il n'est pas nécessaire d'avoir beaucoup d'imagination pour imaginer un moment dans un avenir pas si lointain où une crise quelconque – par exemple un affrontement militaire entre les États-Unis et la Chine dans la mer de Chine méridionale ou près de Taiwan – déclencherait des combats toujours plus intenses entre les forces aériennes adverses. et les forces navales.

Imaginez alors le JADC2 ordonnant le bombardement intense des bases et des systèmes de commandement ennemis en Chine même, déclenchant des attaques réciproques contre les installations américaines et une décision éclair du JADC2 de riposter avec des armes nucléaires tactiques, déclenchant un holocauste nucléaire tant redouté.

La possibilité que des scénarios cauchemardesques de ce type puissent aboutir au déclenchement accidentel ou involontaire d’une guerre nucléaire inquiète depuis longtemps les analystes de la communauté du contrôle des armements. Mais l’automatisation croissante des systèmes militaires C2 a généré de l’anxiété non seulement parmi eux, mais aussi parmi les hauts responsables de la sécurité nationale.

Aussitôt que En 2019, lorsque j'ai interrogé le lieutenant-général Jack Shanahan, alors directeur du Joint Artificial Intelligence Center du Pentagone, sur une possibilité aussi risquée, il répondu" Vous ne trouverez pas de plus grand partisan de l'intégration des capacités d'IA au sein du ministère de la Défense, mais il y a un domaine sur lequel je m'arrête, et il a à voir avec le commandement et le contrôle nucléaires. "

C’est « la décision humaine ultime qui doit être prise » et donc « nous devons être très prudents ». Compte tenu de « l’immaturité » de la technologie, a-t-il ajouté, nous avons besoin de « beaucoup de temps pour tester et évaluer [avant d’appliquer l’IA à NC3] ».

Au cours des années qui ont suivi, malgré ces avertissements, le Pentagone a accéléré le développement de systèmes C2 automatisés.

Dans son projet de budget pour 2024, le ministère de la Défense demandé 1.4 milliard de dollars pour le JADC2 afin de « transformer la capacité de combat en fournissant un avantage informationnel à la vitesse de la pertinence dans tous les domaines et chez tous les partenaires ». Oh-oh ! Ensuite, il a demandé 1.8 milliard de dollars supplémentaires pour d’autres types de recherche sur l’IA à caractère militaire.

Les responsables du Pentagone reconnaissent qu’il faudra un certain temps avant que les généraux robots commandent un grand nombre de troupes américaines (et d’armes autonomes) au combat, mais ils ont déjà lancé plusieurs projets destinés à tester et perfectionner de tels liens. Un exemple est celui de l'armée Convergence du projet, impliquant une série d'exercices sur le terrain conçus pour valider les systèmes de composants ABMS et JADC2.

Lors d'un test effectué en août 2020 au Yuma Proving Ground en Arizona, par exemple, l'armée a utilisé une variété de capteurs aériens et terrestres pour suivre les forces ennemies simulées, puis traiter ces données à l'aide d'ordinateurs compatibles avec l'IA à Joint Base Lewis. McChord dans l'État de Washington.

Ces ordinateurs, à leur tour, donnaient des instructions de tir à l'artillerie terrestre à Yuma. "Cette séquence entière aurait été accomplie en 20 secondes", a déclaré plus tard le Congressional Research Service. rapporté.

On en sait moins sur l'équivalent de l'IA de la Marine, « Project Overmatch », car de nombreux aspects de sa programmation ont été gardés secrets. Selon l'amiral Michael Gilday, chef des opérations navales, Overmatch est prévu « pour permettre à une marine qui envahit la mer, délivrant des effets mortels et non létaux synchronisés de près et de loin, sur tous les axes et dans tous les domaines. » Rien d’autre n’a été révélé sur le projet.

« Flash Wars » et extinction humaine

Malgré tout le secret entourant ces projets, vous pouvez considérer ABMS, JADC2, Convergence et Overmatch comme les éléments constitutifs d'un futur méga-réseau de superordinateurs de type Skynet, conçu pour commander toutes les forces américaines, y compris les forces nucléaires, dans les opérations armées. combat.

Plus le Pentagone avance dans cette direction, plus nous nous rapprocherons d’un moment où l’IA possédera un pouvoir de vie ou de mort sur tous les soldats américains ainsi que sur les forces adverses et sur tous les civils pris entre deux feux.

Une telle perspective devrait être largement préoccupante. Pour commencer, considérons le risque d’erreurs et d’erreurs de calcul de la part des algorithmes au cœur de tels systèmes. Comme nous l’ont prévenu les meilleurs informaticiens, ces algorithmes sont capable d' des erreurs remarquablement inexplicables et, pour reprendre le terme IA du moment, des « hallucinations » – c’est-à-dire des résultats apparemment raisonnables mais entièrement illusoires.

Dans ces circonstances, il n'est pas difficile d'imaginer de tels ordinateurs « hallucinant » une attaque ennemie imminente et déclenchant une guerre qui autrement aurait pu être évitée.

Et ce n’est pas le pire des dangers à considérer. Après tout, il est fort probable que les adversaires américains équiperont également leurs forces de généraux robots. En d’autres termes, les guerres futures seront probablement menées par un ensemble de systèmes d’IA contre un autre, tous deux liés à l’armement nucléaire, avec des résultats totalement imprévisibles – mais potentiellement catastrophiques.

On ne sait pas grand-chose (du moins de sources publiques) sur les efforts russes et chinois visant à automatiser leurs systèmes de commandement et de contrôle militaires, mais on pense que les deux pays développent des réseaux comparables au JADC2 du Pentagone.

En effet, dès 2014, la Russie a inauguré à Moscou un Centre de contrôle de la défense nationale (NDCC), un poste de commandement centralisé chargé d’évaluer les menaces mondiales et de lancer toute action militaire jugée nécessaire, qu’elle soit de nature nucléaire ou non.

Comme JADC2, le NDCC est un collecter des informations sur les mouvements ennemis à partir de sources multiples et fournir aux officiers supérieurs des conseils sur les réponses possibles.

La Chine poursuivrait une entreprise encore plus élaborée, quoique similaire, sous la rubrique de la « guerre de précision multi-domaines » (MDPW).

Selon le rapport 2022 du Pentagone sur les développements militaires chinois, son armée, l'Armée populaire de libération, est formée et équipée pour utiliser des capteurs et des réseaux informatiques basés sur l'IA afin « d'identifier rapidement les principales vulnérabilités du système opérationnel américain, puis de combiner les forces conjointes de tous les pays ». domaines pour lancer des frappes de précision contre ces vulnérabilités.

Imaginez alors une guerre future entre les États-Unis et la Russie ou la Chine (ou les deux) dans laquelle le JADC2 commanderait toutes les forces américaines, tandis que le NDCC russe et le MDPW chinois commanderaient les forces de ces pays. Considérez également que les trois systèmes sont susceptibles de connaître des erreurs et des hallucinations.

Dans quelle mesure les humains seront-ils en sécurité lorsque les généraux robots décideront qu'il est temps de « gagner » la guerre en bombardant leurs ennemis ?

Si cela vous semble un scénario farfelu, détrompez-vous, du moins selon les dirigeants de la National Security Commission on Artificial Intelligence, une entreprise mandatée par le Congrès et présidée par Eric Schmidt, ancien patron de Google, et Robert Work, ancien secrétaire adjoint. de défense.

"Bien que la Commission estime que des systèmes d'armes autonomes et basés sur l'IA correctement conçus, testés et utilisés apporteront des avantages militaires et même humanitaires substantiels, l'utilisation mondiale incontrôlée de tels systèmes risque potentiellement une escalade involontaire du conflit et une instabilité de crise", a-t-elle déclaré. a affirmé dans son rapport final.

De tels dangers pourraient surgir, affirme-t-il, « en raison de la complexité difficile et non testée de l’interaction entre les systèmes d’armes activés par l’IA et les systèmes d’armes autonomes sur le champ de bataille » – lorsque, c’est-à-dire, l’IA combat l’IA.

Bien que cela puisse sembler un scénario extrême, il est tout à fait possible que des systèmes d'IA opposés déclenchent une « guerre éclair » catastrophique – l'équivalent militaire d'un « krach éclair » à Wall Street, lorsque d'énormes transactions effectuées par des algorithmes de trading ultra-sophistiqués déclenchent des ventes de panique avant. les opérateurs humains peuvent rétablir l’ordre.

Lors du fameux « Flash Crash » du 6 mai 2010, les échanges informatisés ont précipité une chute de 10 % de la valeur boursière. D’après Paul Scharre du Center for a New American Security, qui a été le premier à étudier le phénomène, « l’équivalent militaire de telles crises » à Wall Street surviendrait lorsque les systèmes de commandement automatisés des forces opposées « seraient piégés dans une cascade d’engagements croissants ».

Dans une telle situation, a-t-il noté, « les armes autonomes pourraient entraîner des morts accidentelles et des destructions à des échelles catastrophiques en un instant ».

À l’heure actuelle, il n’existe pratiquement aucune mesure en place pour empêcher une future catastrophe de ce type, ni même de discussions entre les grandes puissances pour élaborer de telles mesures. Pourtant, comme l’a noté la Commission de sécurité nationale sur l’intelligence artificielle, de telles mesures de contrôle de crise sont nécessaires de toute urgence pour intégrer des « fils déclencheurs d’escalade automatisée » dans de tels systèmes « qui empêcheraient l’escalade automatisée du conflit ».

Autrement, une version catastrophique de la Troisième Guerre mondiale semble tout à fait possible. Compte tenu de la dangereuse immaturité d’une telle technologie et de la réticence de Pékin, de Moscou et de Washington à imposer des restrictions à la militarisation de l’IA, le jour où les machines pourraient choisir de nous anéantir pourrait arriver bien plus tôt que nous ne l’imaginons et l’extinction de l’humanité pourrait être la catastrophe. dommages collatéraux d’une telle guerre future.

Michael T. Klare, un TomDispatch Standard, est professeur émérite d'études sur la paix et la sécurité mondiale au Hampshire College et chercheur principal invité à l'Arms Control Association. Il est l'auteur de 15 livres, dont le dernier est Tout l'enfer se détache: la perspective du Pentagone sur le changement climatique. Il est l'un des fondateurs de la Comité pour une politique saine entre les États-Unis et la Chine.

Cet article est de TomDispatch.com.

Les opinions exprimées sont uniquement celles de l'auteur et peuvent ou non refléter celles de Nouvelles du consortium.