Des inquiétudes grandissantes concernant le modèle Astra d’OpenAI et sa nouvelle technique de raisonnement
Le dernier modèle d’IA d’OpenAI, Astra, suscite des inquiétudes au sein de la communauté de l’intelligence artificielle en raison de son utilisation d’une technique de raisonnement connue sous le nom de « profondeur récurrente ». Cette méthode permet au modèle de fonctionner en dehors des méthodes de raisonnement séquentiel traditionnelles, rapporte The Information.
L’émergence de cette technique, également appelée « récurrence opaque », soulève des craintes importantes parmi les experts en sécurité de l’IA, surtout en ce qui concerne la difficulté potentielle de suivre le fil de pensée du modèle. Bien que son application soit apparemment limitée, les implications pourraient être considérables.
Le PDG de Redwood, Buck Shlegeris, a exprimé ses préoccupations, déclarant : « Je suis extrêmement inquiet par le rapport selon lequel Astra utilise la récurrence opaque. Je ne sais pas si Astra est beaucoup moins contrôlable en chaîne de pensée que les modèles précédents. Mais si OpenAI pousse cette technique plus loin, ils auront la possibilité d’augmenter massivement la récurrence et de détruire complètement la contrôlabilité de la chaîne de pensée. »
L’avocat de la sécurité de l’IA, Zvi Mowshowitz, a ajouté qu’une législation pourrait être nécessaire pour éviter une « course vers le bas » parmi les laboratoires d’IA. Il a noté : « La technique joue avec le feu, risquant un tabou qu’OpenAI et Anthropic se sont battus pour établir, en s’efforçant de maintenir la fidélité et la contrôlabilité de la chaîne de pensée aussi longtemps que possible. Une utilisation plus intensive de telles techniques nuirait probablement à la contrôlabilité. »
Typiquement, la chaîne de pensée d’un modèle de raisonnement fournit des étapes séquentielles exécutées lors de tentatives de résolution de problèmes. Malgré ses imperfections, elle sert d’outil vital pour surveiller les problèmes liés au comportement ou à l’alignement. Dans des cas récents d’activités erratiques des agents chez OpenAI, ces chaînes ont été cruciales pour comprendre les causes sous-jacentes.
Le concept de récurrence opaque, cependant, implique une méthodologie moins linéaire où le modèle traite les requêtes plusieurs fois en boucle, produisant moins de traces visibles et contournant les enregistrements traditionnels de la chaîne de pensée.
Il est important de noter qu’Astra devrait maintenir une chaîne de pensée lisible, OpenAI minimisant les préoccupations quant à un passage au « neuralese ». L’entreprise s’est engagée à mettre en œuvre des systèmes de contrôle de la chaîne de pensée complets dans ses initiatives de sécurité en cours.
Dans un post sur X, le scientifique en chef d’OpenAI, Jakub Pachocki, a réaffirmé l’engagement du laboratoire envers la clarté, déclarant : « OpenAI a travaillé pour préserver et utiliser le contrôle de la chaîne de pensée depuis nos tout premiers modèles de raisonnement. C’est un objectif central de notre programme de recherche actuel. »
Bien qu’il soit standard pour les modèles d’IA d’avoir recours à une certaine forme de raisonnement opaque, de nombreux chercheurs ne considèrent pas les journaux de la chaîne de pensée comme un reflet direct du raisonnement d’un modèle. Cependant, la possibilité que la récurrence opaque complique la surveillance du raisonnement de l’IA reste une préoccupation pressante à mesure que son utilisation s’étend à diverses plateformes. Un rapport ultérieur a indiqué des discussions autour de la technique tant par Anthropic que par Google DeepMind.
Réagissant à la situation, le scientifique en chef de Redwood Research, Ryan Greenblatt, a déclaré que le raisonnement opaque pourrait surpasser le raisonnement conventionnel en chaîne de pensée, obscurcissant efficacement tout raisonnement de l’observation. Il a affirmé : « Ma plus grande préoccupation est qu’une progression naturelle à partir de là impliquerait d’augmenter le raisonnement opaque au point où le modèle raisonne entièrement ou presque entièrement dans un espace latent. J’espère qu’il n’est pas trop tard pour éviter les architectures les plus préoccupantes et qu’OpenAI s’arrêtera ici. »
