Un développeur OpenAI crée une tourelle IA : recevez une notification pour arrêter le développement

Le 9 janvier 2025, OpenAI a mis fin à l'accès d'un développeur qui avait créé un appareil capable de répondre aux requêtes ChatGPT pour viser et tirer avec un fusil automatisé. Cette action s'est produite après la diffusion virale d'une vidéo sur Reddit montrant l'appareil en action. Dans la vidéo, le développeur a donné des commandes verbales au système d'IA, guidant le fusil pour viser et tirer avec une vitesse et une précision impressionnantes.

"ChatGPT, ils nous attaquent de face, à gauche et à droite", a déclaré le développeur dans la vidéo. "Répondez en conséquence." L'engin s'appuyait sur l'API en temps réel d'OpenAI pour interpréter les entrées et les traduire en instructions que l'appareil pouvait exécuter. Les observateurs ont noté que ChatGPT n'aurait besoin que d'une formation minimale pour gérer des commandes telles que « tourner à gauche » et les convertir en instructions lisibles par machine.

Dans une déclaration à Futurism, OpenAI a confirmé avoir vu la vidéo et a rapidement fermé l'accès au développeur. "Nous avons identifié de manière proactive cette violation de nos politiques et avons informé le développeur de cesser cette activité avant de recevoir sa demande", a déclaré la société. L’incident a relancé le débat sur les risques de la technologie de l’IA. Les avertissements du PDG d'OpenAI, Sam Altman, concernant le potentiel de l'IA à nuire à l'humanité semblent prémonitoires à la lumière de ces développements. Comme pour l’incapacité des photocopieurs à numériser les billets de banque, les appels à des garanties plus strictes ont gagné du terrain.

L'automatisation des armes meurtrières est depuis longtemps une préoccupation soulevée par les critiques de technologies de IA comme ceux développés par OpenAI. Les modèles multimodaux de l'entreprise peuvent interpréter des données audio et visuelles pour analyser l'environnement et répondre aux questions le concernant. Cette capacité, bien qu’innovante, présente des risques importants. Des drones autonomes capables d’identifier et d’attaquer des cibles sans intervention humaine sont déjà en cours de développement, une pratique qui constitue un crime de guerre et soulève des questions de responsabilité. De plus, le recours à l’IA pour la prise de décision pourrait conduire à la complaisance humaine.

Cette préoccupation n’est pas simplement hypothétique. Une enquête du Washington Post a révélé qu’Israël avait déjà utilisé l’IA pour sélectionner des cibles de bombardement, souvent sans vérification suffisante. Selon le rapport, les soldats mal entraînés s’appuyaient largement sur les prédictions de l’IA, attaquant des cibles humaines avec un minimum de corroboration. "Dans certains cas, la seule corroboration requise était que la cible était un homme", note le rapport, faisant référence au logiciel d'IA appelé Lavender.

Les partisans soutiennent que l’IA sur le champ de bataille pourrait améliorer la sécurité des soldats en permettant des opérations à distance, en neutralisant les arsenaux de missiles et en effectuant une reconnaissance précise. Cependant, les critiques mettent en garde contre les pièges éthiques et stratégiques de ces technologies. Certains suggèrent que les États-Unis devraient se concentrer sur le brouillage des systèmes de communication ennemis plutôt que sur le déploiement de drones dotés de l’IA, que des adversaires comme la Russie pourraient exploiter pour leurs programmes de drones ou nucléaires.

OpenAI interdit explicitement d'utiliser ses produits pour développer ou exploiter des armes ou automatiser des systèmes affectant la sécurité personnelle. Cependant, en 2024, l’entreprise s’est associée à la société de technologie de défense Anduril. L'objectif de cette collaboration était de développer des systèmes capables de contrer les attaques de drones en synthétisant les données en temps réel, en allégeant la charge des opérateurs humains et en améliorant la connaissance de la situation. Bien qu'OpenAI ait souligné son engagement envers les applications défensives, ce partenariat a fait sourciller compte tenu de la position anti-armes de l'entreprise.

L’intérêt de l’industrie technologique pour les technologies de défense n’est pas surprenant, étant donné que le budget annuel de la défense du gouvernement américain s’élève à près de 1 000 milliards de dollars. Réduire ces dépenses reste politiquement impopulaire, et la nouvelle administration, dirigée par le président élu Trump, comprend des personnalités technologiques telles qu’Elon Musk et David Sacks. Les analystes prédisent des gains significatifs pour les entreprises de technologie de défense, susceptibles de défier les géants de l’industrie comme Lockheed Martin.

Malgré les politiques d'OpenAI, les modèles d'IA open source offrent une voie alternative à la militarisation. Couplées aux progrès de l’impression 3D, qui ont été liées à la création de pièces d’armes à feu – comme on l’a vu dans le cas du tireur présumé de UnitedHealthcare, Luigi Mangione – les armes autonomes DIY sont accessibles de manière alarmante. Cette menace croissante souligne le besoin urgent d’une réglementation internationale et d’une surveillance éthique du développement de l’IA.

Même si l’action rapide d’OpenAI dans cette affaire souligne son engagement en faveur d’une utilisation éthique de l’IA, les risques plus larges posés par la potentielle militarisation de l’IA restent une préoccupation mondiale majeure. Les décideurs politiques et les leaders technologiques doivent relever ces défis pour empêcher l’utilisation abusive de cette technologie transformatrice.