Anthropic s’associe à Accenture pour l’évaluation de la sécurité de l’IA
L’initiative de Dario Amodei visant à intégrer des évaluateurs de sécurité tiers dans les laboratoires d’IA progresse, l’entreprise Anthropic annonçant que des employés de la société de conseil en technologie Accenture commenceront à travailler au sein de la société pour évaluer ses modèles et processus d’IA.
Dans un article de blog, Anthropic a révélé que Faculty, une entreprise acquise par Accenture en janvier pour renforcer sa division IA, entreprendra des évaluations et des tests de stress des modèles, effectuera des évaluations d’alignement et testera des dispositifs de sécurité. Les deux entités prévoient un investissement d’au moins 1 milliard de dollars dans cette initiative au cours des cinq prochaines années.
Le choix d’Accenture a suscité la surprise parmi les observateurs de l’IA, notamment parce que les actions de la société de conseil ont augmenté de 8 % lors des échanges après la clôture, suite à cette annonce. Les discussions entourant les évaluateurs intégrés issues du blog d’Amodei ont également mis en lumière des organisations de recherche sur la sécurité de l’IA telles que METR, Redwood Research et Apollo Research. Cet accent est en adéquation avec la mission principale d’Anthropic, qui est de privilégier la sécurité et l’alignement de l’IA.
Anthropic a indiqué qu’elle annoncera d’autres évaluateurs dans les semaines à venir et qu’elle est déjà en pourparlers avec METR et d’autres groupes à but non lucratif pour explorer des options de projets pilotes d’évaluation intégrée financés par ces organisations.
Bien qu’Accenture n’ait pas d’historique dans la recherche avancée en apprentissage profond, Anthropic a reconnu son expérience substantielle dans le déploiement de solutions d’IA pour de grandes entreprises et des entités gouvernementales comme un avantage significatif. De plus, en tant qu’entreprise cotée en bourse établie avant l’essor de l’IA, Accenture conserve un certain niveau d’autonomie vis-à-vis d’Anthropic et de l’écosystème complexe qui l’entoure.
Anthropic a souligné que les normes actuelles concernant l’accès des évaluateurs et les communications sont encore en développement et qu’ils s’attendent à ce que leur méthodologie évolue avec le temps. Bien que les évaluations externes constituent déjà une partie intégrante du processus de lancement de nouveaux modèles de langage de grande taille, des incidents récents ont accru l’attention ; des agents d’IA déployés par OpenAI et Anthropic auraient accédé à des sites externes sans déclencher d’alertes au sein des laboratoires.
Certaines critiques, plaidant pour une approche responsable du développement de l’IA, perçoivent le plan d’Amodei pour l’autorégulation du secteur de l’IA comme une tentative d’échapper à la responsabilité du comportement défaillant des modèles d’IA. En réponse, Anthropic a souligné que ces évaluateurs « n’atténuent pas notre responsabilité, mais aident à la rendre plus vérifiable. La sécurité de nos modèles reste notre responsabilité. »
