La startup Vals s’attaque à la révolution du benchmarking en intelligence artificielle
Vals, une startup fondée en 2024, vise à transformer le système actuel de benchmarking des modèles d’intelligence artificielle (IA), en répondant aux lacunes des systèmes existants qui ne mesurent pas adéquatement les capacités modernes. En moins de deux ans, Vals a su gagner en notoriété, en levant un montant de 40 millions de dollars lors d’un tour de financement de série A, dirigé par Andreessen Horowitz le mois dernier.
Le co-fondateur de Vals, Rayan Krishnan, a cité ses expériences et observations lors de ses précédents stages dans des entreprises comme Palantir et Microsoft comme des moteurs clés de la mission de la startup. « Nous avons vu un certain nombre de nouveaux modèles très performants arriver rapidement sur le marché, et les benchmarks académiques ne suivaient pas cette avancée de pointe, » a-t-il expliqué. La priorité de l’entreprise est de concevoir des benchmarks qui vérifient avec précision les capacités des modèles d’IA, comme les entreprises affirment pouvoir le faire.
Vals opère depuis un bureau de deux étages situé sur la historique Folsom Street à San Francisco, un espace qui a précédemment abrité une brasserie. Cet environnement reflète la culture startup, encourageant l’innovation dans un paysage technologique concurrentiel.
Contrairement à de nombreux systèmes de benchmarking traditionnels qui peuvent être exploités par les entreprises formant leurs modèles sur des tests disponibles publiquement, Vals protège ses matériaux d’évaluation. La startup évalue non seulement les connaissances générales, mais examine également les capacités des modèles dans des secteurs spécialisés tels que le droit, la finance et la programmation. « Ce que nous faisons, c’est examiner quels sont les véritables impacts des modèles, » a déclaré Krishnan, soulignant l’importance d’évaluer la performance sur des tâches complexes.
Vals élargit ses critères de benchmarking, incluant des domaines tels que l’auto-amélioration récursive, la santé mentale, la cybersécurité, et même des considérations liées à la Convention de Genève. Les entreprises utilisent les services de Vals pour obtenir des informations sur la performance de leurs modèles, aidant ainsi à résoudre des problèmes et à améliorer itérativement. Krishnan compare cela à des étudiants payant le College Board pour des évaluations SAT.
La demande pour des évaluations indépendantes a été en forte augmentation, avec un chiffre d’affaires de Vals qui aurait été multiplié par huit par rapport à l’année précédente. L’équipe est passée de huit à 25 employés en peu de temps, avec des plans d’élargissement et de déménagement vers un espace de bureau plus grand. Vals a également lancé des programmes pour fournir des évaluations pour des agences fédérales, se positionnant comme un acteur clé dans l’industrie de l’IA en pleine évolution.
Krishnan a formulé une vision dans laquelle, à mesure que les entreprises d’IA se préparent à entrer en bourse, les types de benchmarks offerts par Vals deviendront essentiels pour guider leurs décisions opérationnelles et établir la confiance du public. Il a noté : « À mesure que les modèles d’IA deviennent une partie intégrante de l’économie… les types de benchmarks et d’évaluations que nous faisons vont influencer leur utilisation et constituer une partie centrale de la manière dont ces entreprises soumettent des dépôts publics ou parlent des investissements prévus qu’elles vont réaliser dans l’IA. »
