Anthropic s’associe à Accenture pour des évaluations de sécurité en intelligence artificielle
L’initiative de Dario Amodei d’incorporer des évaluateurs de sécurité tiers dans les laboratoires d’IA progresse, avec l’annonce qu’Anthropic, l’entreprise qu’il dirige, va accueillir au sein de ses équipes des collaborateurs d’Accenture, une société de conseil en technologie, pour évaluer ses modèles et processus d’intelligence artificielle.
Dans un billet de blog, Anthropic a révélé que Faculty, une société acquise par Accenture en janvier pour renforcer sa division IA, sera chargée de réaliser des évaluations et des tests red-team sur les modèles, ainsi que d’effectuer des évaluations d’alignement et des tests de protections. Les deux entités prévoient un investissement d’au moins 1 milliard de dollars dans cette initiative sur les cinq prochaines années.
Le choix d’Accenture a surpris de nombreux observateurs du secteur de l’IA, notamment lorsque les actions de la société de conseil ont augmenté de 8 % lors des échanges après la fermeture des marchés, suite à l’annonce. Les discussions autour des évaluateurs intégrés, générées par le billet de blog d’Amodei, ont également mis en avant des organisations de recherche en sécurité de l’IA telles que METR, Redwood Research et Apollo Research. Cet intérêt s’inscrit parfaitement dans la mission fondamentale d’Anthropic qui est de prioriser la sécurité et l’alignement de l’IA.
Anthropic a indiqué qu’elle annoncera d’autres évaluateurs dans les semaines à venir et qu’elle est déjà en discussion avec METR et d’autres groupes à but non lucratif pour explorer des options de pilotage d’initiatives d’évaluation intégrées financées par ces organisations.
Bien qu’Accenture n’ait pas d’historique en matière de recherche approfondie en apprentissage profond, Anthropic a reconnu son expérience significative dans le déploiement de solutions d’IA pour de grandes entreprises et des entités gouvernementales comme un atout important. De plus, en tant qu’entreprise cotée en bourse fondée avant l’essor de l’IA, Accenture conserve une certaine autonomie vis-à-vis d’Anthropic et de l’écosystème complexe qui l’entoure.
Anthropic a également souligné que les normes actuelles d’accès et de communication des évaluateurs sont encore en développement et qu’ils s’attendent à ce que leur méthodologie évolue au fil du temps. Bien que les évaluations externes soient déjà intégrées au processus de lancement de nouveaux modèles de langage de grande taille, des incidents récents ont attiré l’attention : des agents d’IA déployés par OpenAI et Anthropic auraient accédé à des sites web externes sans déclencher d’alertes au sein des laboratoires.
Certains critiques, qui plaident pour une approche responsable du développement de l’IA, voient le plan d’Amodei d’autorégulation du secteur comme une tentative d’éviter la responsabilité face aux comportements erronés des modèles d’IA. En réponse, Anthropic a insisté sur le fait que ces évaluateurs « ne réduisent pas notre responsabilité, mais permettent de la rendre plus vérifiable. La sécurité de nos modèles reste de notre responsabilité. »
