Anthropic a annoncé le développement d’un système open-source destiné à vérifier le modèle d’IA responsable d’une sortie particulière, comme détaillé dans un article de blog publié mardi. Ce système, nommé FlashProve, vise à offrir ce que l’on appelle une « inférence prouvable », fournissant une preuve cryptographique garantissant qu’une sortie spécifique provient d’un modèle désigné, permettant aux utilisateurs de confirmer la source de la réponse qu’ils reçoivent, rapporte 24brussels.
FlashProve fonctionne de manière similaire aux signatures cryptographiques des emails, qui aident à vérifier qu’un message provient réellement de son expéditeur supposé. Les fonctionnalités de sécurité de FlashProve sont conçues pour protéger contre les tentatives d’imposteurs d’interchanger un modèle avec un autre, y compris dans des scénarios où la tromperie provient du laboratoire qui a développé le modèle. Les chercheurs indiquent que ce système peut empêcher une entreprise d’IA d’échanger sournoisement un modèle plus coûteux contre un modèle moins cher ou vice versa pour manipuler les métriques de performance.
La capacité de vérification de FlashProve s’étend à la validation des affirmations de tiers affirmant qu’une tâche a été accomplie par un modèle avancé. Les chercheurs ont noté : « Un développeur pourrait prétendre que sa bibliothèque logicielle a été scannée pour détecter des vulnérabilités par un modèle de cybersécurité de pointe, ou une entreprise pourrait affirmer que son plan d’affaires a été approuvé par un modèle approprié. Comment un utilisateur peut-il vérifier ces affirmations ? »
Pour que FlashProve fonctionne, les laboratoires d’IA doivent publier une « empreinte » pour chaque modèle publié, qui peut être associée à des sorties spécifiques et vérifiée de manière cryptographique par la suite. Notamment, ces empreintes ne divulguent pas les poids du modèle, les paramètres internes déterminant sa fonctionnalité, que des entreprises telles qu’Anthropic et OpenAI gardent généralement confidentiels. Cette conception garantit que les laboratoires peuvent partager des empreintes sans sacrifier leurs actifs principaux, facilitant ainsi l’utilisation de FlashProve avec des modèles commerciaux. De plus, le système est conçu pour être léger, permettant une vérification sur appareil.
En parallèle de l’annonce, les chercheurs ont mis à disposition une spécification technique détaillée ainsi que des éléments de code opérationnel sous licence open-source sur GitHub. La recherche sur ce système se poursuit, sans plans actuels de déploiement au sein d’Anthropic ou d’un autre laboratoire.
Les chercheurs ont déclaré : « Ce post de recherche a pour but de partager des progrès intermédiaires, et non une agenda de recherche complété. Nous le partageons expressément dans le but que d’autres examinent ce que nous avons fait, s’en emparent et l’améliorent. »
