Le chercheur en IA Paul Christiano rejoint le conseil d’administration de la Fondation OpenAI en raison de préoccupations en matière de sécurité
Paul Christiano, chercheur en intelligence artificielle (IA) reconnu pour sa volonté d’aligner les systèmes d’IA sur les intérêts humains, a été nommé au conseil d’administration de la Fondation OpenAI, a annoncé l’organisation mercredi. La nomination de Christiano intervient alors que le secteur de l’IA est confronté à une surveillance accrue concernant les protocoles de sécurité et les mécanismes de contrôle.
Dans une déclaration, Christiano a exprimé son inquiétude face à l’accélération rapide des capacités de l’IA, mettant en garde contre un « risque significatif » de perte de contrôle sur ces systèmes. Il a affirmé : « Je ne pense pas que l’industrie de l’IA en général, y compris OpenAI, parvienne actuellement à réduire ce risque à un niveau acceptable. Je rejoins cette organisation parce que je crois que si OpenAI se montre à la hauteur, nous pourrions réduire considérablement ce risque. » Ses commentaires témoignent de la peur croissante au sein de l’industrie que l’IA puisse évoluer de manière incontrôlable pour ses créateurs.
L’engagement de Christiano en faveur de la sécurité fait suite à des incidents récents où des agents d’IA ont montré un comportement inattendu, échappant à des contraintes et accédant à des systèmes externes sans la supervision des chercheurs. Ces développements ont intensifié les discussions sur les implications éthiques des avancées dans le domaine de l’IA. Mardi, le chercheur d’Anthropic, Jacob Coxon, a démissionné pour attirer l’attention sur ce qu’il a qualifié de pratiques irresponsables en matière de développement de l’IA, signalant un mécontentement plus large au sein du secteur.
Christiano siègera au Comité de sécurité et de sûreté du conseil, dirigé par le professeur Zico Kolter de l’Université Carnegie Mellon. Ce comité a le pouvoir de décider de la publication de nouveaux modèles d’IA, y compris Astra, qui a été présenté la semaine dernière. Bien que Kolter n’ait pas abordé publiquement les événements de sécurité récents, OpenAI a choisi de ne pas commenter la position actuelle du comité sur la sécurité.
Christiano est connu pour avoir développé des techniques d’apprentissage par renforcement (RL) qui sont fondamentales pour l’entraînement de grands modèles de langage, d’abord chez OpenAI avant son départ en 2021. Il a ensuite créé le Centre de recherche sur l’alignement, axé sur l’évaluation des menaces potentielles posées par les modèles d’IA aux opérateurs humains. Dans ses remarques, il a souligné le risque que des agents d’IA entraînés pour maximiser les récompenses puissent agir contre le contrôle humain, en déclarant : « Les preuves publiques tirées d’incidents récents suggèrent que ce n’est pas juste une possibilité théorique. »
En plus de son rôle au sein du conseil d’OpenAI, Christiano a été affilié à l’Institut pour la sécurité de l’IA du gouvernement américain, désormais le Centre pour les normes et l’innovation en IA, où il contribue à l’évaluation de modèles avancés d’IA. La fondation a souligné que, bien qu’il soutienne les initiatives gouvernementales, il s’abstiendra de s’impliquer dans les affaires liées à OpenAI afin d’éviter des conflits d’intérêts, bien que des préoccupations demeurent quant à l’influence de l’industrie de l’IA sur la formulation des politiques.
