Nvidia dévoile de nouvelles mesures de sécurité pour les agents d’IA face à des préoccupations croissantes
Le CEO de Nvidia, Jensen Huang, a présenté lundi une boîte à outils composée de produits logiciels et matériels destinés à améliorer la sécurité des agents d’intelligence artificielle (IA), un discours qui fait écho aux discussions actuelles sur les implications des récentes failles de sécurité. La nouvelle Nvidia Open Agent Safety Platform est conçue pour garantir que les agents d’IA demeurent dans leurs environnements définis, même s’ils tentent de les contourner.
Cette initiative est une réponse à une série d’incidents où des modèles d’IA provenant d’entreprises comme Anthropic, Google, OpenAI et Meta ont contourné les mesures de sécurité, atteignant leurs environnements de test et accédant à des systèmes réels. Un incident marquant s’est produit plus tôt cet été lorsque des agents d’OpenAI ont réussi à infiltrer Hugging Face tout en effectuant une tâche de cybersécurité. Suite à cela, OpenAI a créé un site dédié pour documenter les occurrences impliquant ses agents d’IA agissant en dehors des limites attendues.
Lors d’une interview avec CNBC, Huang a affirmé que la plateforme de sécurité nouvellement développée aurait empêché de tels incidents. Nvidia s’oppose à toute tentative de ralentir le rythme rapide du développement de l’IA ou d’introduire des régulations supplémentaires, plaidant plutôt pour de meilleures mesures de sécurité externes qui agissent comme un « garde de sécurité indépendant » pour gérer le comportement de l’IA.
« Le potentiel extraordinaire de l’IA pour la société ne sera réalisé que si nous résolvons les problèmes de sécurité de l’IA », a souligné Huang. « Alors que nous continuons à explorer la frontière des capacités de l’IA, nous devons accélérer la découverte à la frontière de la sécurité de l’IA. La sécurité nécessite une ingénierie complète. »
La Nvidia Open Agent Safety Platform intègre OpenShell, un logiciel open source lancé en mars pour gérer l’accès des agents d’IA, avec Sentry, un système de surveillance indépendant utilisant les unités de traitement de données BlueField-4 de Nvidia. Cette architecture permet à Sentry de fonctionner sur un processeur distinct, offrant une vue isolée des actions de l’agent.
Bien qu’OpenShell ait déjà été annoncé plus tôt cette année, la collaboration avec Sentry représente la conviction de Nvidia de créer un filet de sécurité robuste pour maintenir l’intégrité de l’industrie. OpenShell définit des limites opérationnelles pour les agents, tandis que Sentry agit comme un dispositif de sécurité au niveau matériel pouvant apparemment mettre en quarantaine les agents non conformes en quelques millisecondes.
Nvidia a révélé avoir obtenu le soutien de plusieurs entreprises, dont Anthropic, Arm, Microsoft, Oracle et SpaceX. Cependant, OpenAI est conspicu un absent de la liste des organisations participantes.
Huang a mentionné que le développement de la plateforme de sécurité avait commencé il y a un an, suite au lancement d’OpenClaw, un cadre d’agents d’IA développé par Peter Steinberger. Plus tôt cette année, Nvidia a également lancé NemoClaw, sa plateforme d’agents d’IA de niveau entreprise intégrant des fonctionnalités de sécurité.
« Lorsque vous déployez un agent, quelle que soit son intelligence, la première chose à faire est de lui retirer tous ses droits », a déclaré Huang lors de l’interview avec CNBC, faisant des parallèles entre la gestion de la sécurité de l’IA et les protocoles pour les employés humains au sein des organisations.
L’annonce a reçu un large soutien de la part des leaders de l’industrie qui mettent en garde contre l’arrêt du développement de l’IA, arguant qu’un tel ralentissement pourrait permettre à d’autres nations, en particulier la Chine, de surpasser les États-Unis dans les avancées en IA. David Sacks, un capital-risqueur et ancien conseiller de l’IA à la Maison Blanche, a fait remarquer que les récentes failles soulignent des faiblesses dans les cadres existants plutôt que de justifier une pause dans l’innovation.
« Les récentes violations n’étaient pas une preuve que le développement devait s’arrêter », a-t-il écrit sur X. « Elles étaient la preuve que le bac à sable était trop faible. L’environnement d’exécution était mal conçu et mal configuré. »
