Des expériences récentes menées par Ethan Mollick, professeur associé à la Wharton School de l’Université de Pennsylvanie, ont testé les capacités du nouveau modèle Claude Fable 5.2 d’Anthropic dans divers domaines, notamment l’entrepreneuriat, la littérature et la programmation. L’intelligence artificielle a montré des compétences jusqu’alors attendues des spécialistes ; cependant, elle n’a pas réussi à identifier un certain nombre de lacunes significatives dans ses résultats. Selon Mollick, cela indique des avancées vers l’intelligence générale artificielle (AGI), mais ne signifie pas pour autant qu’elle soit atteinte, rapporte 24brussels.
Dans un billet de blog intitulé « Une chose utile », Mollick a développé ses expériences avec Fable 5.2, auquel il a eu accès avant son lancement public. Il a décrit l’état actuel de la technologie comme étant de l’« AGI inégale », se référant à une forme inégale d’intelligence générale capable de gérer une majorité des tâches intellectuelles typiquement réalisées par des humains. Son évaluation a montré que, bien que Fable 5.2 se soit rapproché de ce niveau, il a encore du mal à auto-évaluer la qualité de ses résultats.
Performance du modèle
Un des premiers tests consistait à créer quelque chose de captivant pour démontrer les capacités du nouveau modèle lors de son lancement. Mollick a permis à Fable de choisir sa propre idée et a demandé un résultat interactif engageant. Le modèle a produit une vidéo créative avec une tournure inattendue de l’intrigue, s’appuyant uniquement sur l’invite initiale sans nécessiter d’autres entrées de la part du chercheur.
Un autre défi consistait à transformer un petit clavier Codex Micro d’OpenAI, conçu pour être utilisé avec ChatGPT, en console de jeux. Le modèle a navigué avec succès dans le code logiciel de l’appareil, créant six jeux, dont Simon et un jeu de déverrouillage, en utilisant un ensemble limité de touches, un stylo et un joystick.
Dans un exercice entrepreneurial, Mollick a chargé le modèle de concevoir une entreprise capable de générer au moins 20 000 $ par an et dont l’implication ne dépasserait pas 20 minutes par mois. Après avoir analysé 22 idées, Fable a conçu Prebid Brief, un service pour les représentants commerciaux afin de suivre des projets liés aux parcs et aux plans d’eau établis par les administrations municipales et de comté.
Pour préparer les premières lancements, le modèle a passé en revue des plans ouverts provenant de 201 entités gouvernementales locales, a construit des bases de données sur les équipements et leurs coûts, a élaboré une stratégie marketing, et a proposé des tarifs. Il a même commencé à configurer des tâches automatisées et a demandé la permission de soumettre des demandes d’information publiques. Cependant, Mollick a interrompu l’expérience avant sa pleine exécution.
En tant que professeur d’entrepreneuriat, il a considéré le plan d’affaires comme convaincant, même si le modèle n’a prédit qu’une chance de succès de 20 à 40 %. Mollick a exprimé qu’il serait impressionné si un tel travail était présenté par une équipe de ses étudiants en Master of Business Administration (MBA) à la fin du semestre, mais la capacité de l’IA à gérer une entreprise de manière autonome reste à prouver.
De plus, Fable s’est engagé à recréer un cours de littérature européenne donné par le poète W.H. Auden à l’Université du Michigan en 1941. Le cours incluait un examen redoutable nécessitant la lecture de 6 000 pages et des tâches complexes, jugées « impossibles et inhumaines » par les étudiants de l’époque.
Mollick a demandé à Fable de reconstruire le cours « Destin et individu dans la littérature européenne » basé sur les notes d’élèves préservées et la correspondance d’Auden. Le modèle a développé un site web avec des matériaux pour 35 œuvres clés du programme, accompagné d’annotations, de musiques que le poète écoutait, et de devoirs. Cependant, la version initiale était précise mais monotone, et ses explications sur la poésie ne correspondaient pas toujours aux perspectives d’Auden, poussant Mollick à réviser la sortie plusieurs fois.
Dans une autre analyse, Fable a préparé une recherche sur la relation entre le coût de l’enregistrement des entreprises et l’activité entrepreneuriale. L’analyse a révélé qu’après une réduction des frais d’enregistrement pour les LLC dans le Colorado de 50 $ à 1 $, les nouvelles inscriptions ont augmenté d’environ 17 %, tandis qu’une augmentation des frais au Royaume-Uni de 12 £ à 50 £ a entraîné un déclin similaire.
Cependant, les indicateurs suivants d’activité commerciale n’ont pas reflété de changements correspondants, soulevant des doutes quant à la qualité des nouvelles entreprises créées. Le document s’est étendu à 182 pages, et GPT-6 Pro a identifié des problèmes nécessitant corrections lors du processus de révision. De plus, l’enregistrement des hypothèses préalables a été largement omis.
Mollick a également demandé au modèle d’analyser 1 186 histoires provenant de différents pays pour déterminer s’il existe une structure narrative universelle. Fable a conclu qu’aucune seule narration n’existe ; cependant, la plupart des histoires sont bâties à partir d’un ensemble d’éléments récurrents.
Mondes virtuels
Une expérience distincte a consisté à créer un voyage sans fin à travers des mondes tridimensionnels connectés par des portails. Après 20 heures de travail, Fable a généré 204 mondes, dépassant finalement 450.
Le modèle les a développés en temps réel par programmation, sans s’appuyer sur des modèles tridimensionnels ou des images préexistantes. Parmi ses créations figuraient des mondes inspirés par les œuvres de M.C. Escher et Hokusai, des monuments anciens et des lieux inhabituels comprenant des maisons en nylon, des collines en denim et des canyons façonnés par des murs de tiroirs.
Au dixième jour du projet, il était opéré par un agent IA principal et 28 équipes d’autres agents travaillant en parallèle. Le modèle a estimé que le projet impliquait environ 25 000 lancements d’agents, dont la majorité effectuait de petites tâches individuelles. Cependant, le système a commencé à répéter des idées et la qualité des résultats variait.
Bureaucratie
Lorsque Mollick a demandé l’arrêt de la création de nouveaux mondes pour affiner les existants, les agents ont mis en œuvre de manière indépendante un système d’évaluation complexe pour mettre à jour les versions, entravant au final la productivité. Plus précisément, les agents ont commencé à exiger des approbations pour les idées, des évaluations par trois juges IA et la vérification du code avant de lancer chaque monde.
« L’IA a créé de la bureaucratie », a noté le chercheur.
Un ensemble de règles, qui n’a été demandé par personne, s’est étendu à 204 sections et 87 500 mots en 12 jours. Par conséquent, au lieu de produire des centaines de nouveaux mondes par jour, le modèle n’a généré qu’environ dix.
Pour rectifier la situation, Mollick a instruit Fable de former une équipe séparée d’agents consultants. Suite à leur intervention, la productivité a augmenté à plus de 30 mondes par jour tout en maintenant un certain contrôle de qualité.
Pourquoi Fable 5.2 n’est pas encore AGI
Mollick reconnaît que bien que le modèle ait démontré des capacités dans un large éventail de domaines, son principal défaut réside dans son incapacité à auto-évaluer sa performance. Il a pu créer des matériaux éducatifs ennuyeux, des articles académiques excessivement longs, répliquer des idées créatives et compliquer les projets avec des règles bureaucratiques.
Impliquer des critiques, des vérificateurs de faits et des juges IA n’a pas résolu le problème. Ils ont identifié des erreurs et suggéré des corrections, mais n’ont pas pu reconnaître que le résultat pourrait être peu intéressant, trop long ou de mauvaise qualité du point de vue de l’utilisateur.
Le chercheur a souligné que la capacité à discerner quand son propre travail est insuffisant est un indicateur vital d’expertise. Cette compétence essentielle reste déficiente chez Fable
