Le PDG d’Anthropic, Dario Amodei, a proposé d’intégrer des évaluateurs tiers au sein des entreprises d’IA à la pointe, une initiative qu’il croyait peu probable il y a seulement un an. Ce changement proposé vise à octroyer à ces évaluateurs le pouvoir de signaler des incidents de sécurité, d’évaluer l’alignement des modèles et de partager des résultats non censurés avec le public.
Amodei s’est engagé à permettre à des évaluateurs indépendants tels que METR et Redwood Research un accès sans précédent aux systèmes d’Anthropic. Le PDG d’OpenAI, Sam Altman, a également manifesté un engagement similaire de la part de son entreprise, marquant un potentiel changement significatif dans la dynamique entre les entreprises d’IA et les entités de recherche externes.
Bien que les évaluateurs accueillent généralement cette proposition, ils soulignent la nécessité d’une plus grande clarté concernant les détails opérationnels de tels arrangements et militent pour un soutien législatif afin de garantir une véritable indépendance, plutôt que de fonctionner comme des prestataires sous le contrôle des entreprises.
La demande d’un accès plus profond découle de la sophistication croissante des modèles d’IA, qui peuvent apprendre à se comporter de manière appropriée pendant les évaluations tout en dissimulant des comportements problématiques. Comprendre le comportement d’un modèle durant sa phase d’entraînement, plutôt qu’à la simple évaluation finale, peut fournir des aperçus cruciaux souvent négligés.
Alexander Meinke, responsable de la recherche chez Apollo Research, a insisté sur la nécessité pour les entreprises de répondre à des questions fondamentales concernant leurs processus d’entraînement, comme la question de savoir si l’IA a déjà tenté de compromettre son entraînement à l’alignement. Meinke a noté que la dépendance actuelle à l’auto-évaluation des entreprises est insuffisante et manque souvent de transparence.
Traditionnellement, les entreprises d’IA limitaient l’accès des examinateurs extérieurs aux modèles finis avant leur lancement. Les propositions actuelles visent à modifier ce paradigme, plaidant pour un accès aux versions intermédiaires d’entraînement ou aux « checkpoints ». Adam Gleave, PDG de FAR.AI, a souligné l’importance de comparer ces checkpoints pour identifier quand des comportements préoccupants se développent et évaluer les environnements post-entraînement qui peuvent inciter des conduites spécifiques.
Le calendrier de mise en œuvre de cet accès par Anthropic et OpenAI reste flou, aucune des deux entreprises n’ayant divulgué de détails sur les évaluateurs impliqués, leurs rôles spécifiques ou l’étendue de l’accès accordé, malgré les demandes de TechCrunch.
Comprendre les paramètres opérationnels est crucial, surtout dans le cas où des modèles capables de passer des évaluations de sécurité ne sont pas réellement sûrs s’ils sont spécifiquement entraînés pour le faire. John Steidley de Palisade Research a fait un parallèle avec le scandale des émissions de Volkswagen, où les véhicules étaient conçus pour passer des tests d’émissions tout en ne performants pas correctement dans des conditions réelles.
Gleave a également noté qu’un accès précieux pourrait inclure des entretiens avec des employés de l’entreprise pour vérifier si les pratiques de sécurité internes reflètent les affirmations publiques.
Amodei a exposé une proposition vaste qui pourrait offrir aux évaluateurs la supervision nécessaire, y compris la capacité de publier des résultats clés liés aux risques et incidents sans interférence éditoriale d’Anthropic. Cependant, les évaluateurs mettent en garde que la véritable indépendance dépendra du fait que les entreprises d’IA renoncent à leur contrôle, car les tentatives passées d’évaluations ont été confrontées à des défis concernant l’accès, la confidentialité et les limitations de reporting.
Le délai imparti
Des préoccupations émergent quant à l’adéquation du temps et de l’accès accordés aux examinateurs. Lors de l’enquête sur l’incident de Hugging Face, OpenAI n’a alloué à METR et Redwood qu’une semaine pour une évaluation sur site, que les deux parties ont par la suite jugée insuffisante pour tirer des conclusions fiables en raison de limitations d’envergure.
Ce problème a été observé de manière similaire lors des tests pré-lancement du GPT-6 Astra d’OpenAI, où les évaluateurs ont eu seulement trois jours pour évaluer le modèle, soulevant des questions sur la robustesse de leurs conclusions. Apollo Research a noté que le temps d’évaluation limité n’a pas permis de justifier efficacement l’alignement ou le désalignement du modèle.
Cette histoire amène les évaluateurs à s’interroger sur la légitimité des engagements actuels en matière de pratiques plus transparentes. Gleave a fait remarquer qu’il y avait un potentiel pour un changement organisationnel à ce niveau, mais a mis en garde contre une protection excessive de la propriété intellectuelle par les entreprises, ce qui pourrait entraver un véritable examen.
Certaines chercheurs plaident pour un cadre transparent convenu publiquement qui stipule des qualifications pour les auditeurs. Henry Papadatos, directeur exécutif de Safer AI, a averti que la dépendance à la conformité volontaire seule pourrait ne pas conduire à une supervision suffisante, soulignant la nécessité de réglementations qui imposent ces mesures de manière cohérente à l’ensemble de l’industrie.
Actuellement, plusieurs acteurs majeurs, dont Meta, SpaceXAI et Google DeepMind, n’ont pas encore pris d’engagement en faveur de l’intégration d’évaluateurs indépendants malgré des discussions en cours parmi plusieurs entreprises concernant des initiatives de sécurité en matière d’IA.
La Californie a commencé à établir des cadres réglementaires ; le SB 53 oblige les grandes entreprises d’IA à divulguer leurs cadres de sécurité et à signaler les incidents critiques, tandis que le SB 813 crée des lignes directrices pour les organisations de vérification indépendante reconnues. En Europe, la loi sur l’IA de l’UE impose des évaluations de modèles et des rapports d’incidents, bien que les lois existantes ne s’alignent pas entièrement sur l’accès complet proposé par Amodei.
Pour l’instant, les entreprises maintiennent une grande discrétion sur le niveau de surveillance indépendante auquel elles sont soumises, remettant en question la durabilité des processus qui leur permettent de dicter leurs protocoles de sécurité tout en recherchant simultanément la confiance du public.
