Une opération militaire avortée contre la Chine à cause d’une intelligence artificielle erronée
Des responsables militaires américains ont évité un conflit potentiel avec la Chine après avoir découvert que les informations motivant une opération armée contre un navire chinois étaient fabriquées par un chatbot d’intelligence artificielle. Cette opération a été stoppée à la dernière minute au printemps dernier, comme l’a rapporté CNN.
L’incident, survenu pendant le conflit en cours avec l’Iran, a impliqué un rapport de renseignement défaillant alléguant que le navire transportait des matériaux pour un programme d’armement nucléaire. Cette désinformation provenait d’un analyste au sein du Commandement des opérations spéciales, qui avait consulté un chatbot d’IA pour combiner des données en source ouverte avec des renseignements classifiés. Le chatbot a mal interprété le manifeste de la cargaison du navire, entraînant des conclusions erronées.
L’analyste a utilisé l’outil d’IA à nouveau pour formater les conclusions inventées dans un résumé professionnel, qui a ensuite été diffusé par les canaux de communication militaire. Cet incident souligne une préoccupation croissante parmi les dirigeants militaires et les experts concernant la fiabilité des informations générées par l’IA dans les processus décisionnels critiques. À mesure que la dépendance à ces systèmes augmente, le potentiel d’erreurs en cascade devenant des directives opérationnelles grandit.
Alors que l’armée américaine avance dans ses efforts d’intégration de l’IA pour améliorer la prise de décision opérationnelle et contrer les capacités militaires de la Chine, la rapidité et l’efficacité des technologies d’IA présentent des risques inhérents. Le Pentagone a promu l’IA comme un moyen d’accélérer sa réactivité opérationnelle, la décrivant comme un élément clé pour rationaliser la chaîne de tir. Cependant, la fonctionnalité rapide des systèmes d’IA peut générer des résultats trompeurs qui pourraient ne pas recevoir une attention suffi sante de la part des opérateurs humains.
Jake Steckler, chercheur au GovAI et ancien officier de l’armée américaine, a souligné les risques associés à l’utilisation de modèles de langage de grande taille (LLMs) dans des contextes militaires. « Il est important pour les membres des forces armées de comprendre l’incertitude inhérente aux LLMs », a déclaré Steckler, soulignant que ces réalisations sont particulièrement cruciales pour les décisions ayant un impact sur l’usage potentiel de la force, telles que le ciblage et la planification opérationnelle.
Steckler a argué que plutôt que d’abandonner les technologies d’IA, l’armée devrait mettre en œuvre des protections plus robustes pour empêcher la désinformation d’influencer les opérations. Il a noté : « Ces outils peuvent être utiles dans les bons contextes et avec les bonnes protections en place », en soulignant que la priorité accordée à une adoption rapide sans contrôles appropriés pourrait entraîner une perte de confiance des membres des forces armées envers les systèmes d’IA.
L’appel du Pentagone à une supervision prudente de l’utilisation de l’IA continue de résonner alors que les opérations militaires s’entrelacent de plus en plus avec les technologies avancées. Cet incident spécifique sert de rappel saillant sur l’équilibre nécessaire entre l’exploitation de l’IA pour l’efficacité et la garantie de l’intégrité opérationnelle.
