AIUC lance une levée de fonds de 40 millions de dollars pour améliorer la sécurité de l’IA
Artificial Intelligence Underwriting Company (AIUC) a annoncé une levée de fonds de série A de 40 millions de dollars, visant à apporter des mesures de sécurité renforcées aux entreprises utilisant les technologies d’IA. Cette annonce survient peu après le départ du chercheur d’Anthropic, Jacob Coxon, qui a démissionné en raison de préoccupations liées aux risques potentiels associés à l’IA d’ici la fin de la décennie.
Fondée par Rune Kvist et Rajiv Dattani, AIUC cherche à répondre à des défis croissants dans le secteur de l’IA en développant un système d’audit et de certification tiers spécifiquement pour les agents d’IA. La startup a déjà attiré des clients tels que Cursor, Lovable, Harvey et ElevenLabs. Avec ce nouveau financement, dirigé par Ribbit Capital et comprenant des contributions de First Harmonic, AIUC atteint désormais un total de 55 millions de dollars de fonds, suite à un précédent tour de table de 15 millions de dollars.
Les investisseurs ont été séduits par l’approche innovante d’AIUC, qui applique un modèle de cybersécurité bien connu pour atténuer les nouveaux risques liés à l’IA. Selon Kvist, des organisations telles que des banques, des hôpitaux et des gouvernements sont de plus en plus hésitants à déployer des technologies d’IA, non pas en raison des capacités des modèles, mais en raison du manque de garanties concernant leur comportement. En créant un standard appelé AIUC-1, inspiré du célèbre standard de cybersécurité SOC 2, l’entreprise vise à fournir un cadre d’évaluation pour les agents d’IA.
Pour établir ce standard, AIUC a réuni un consortium d’environ 250 leaders en sécurité et gestion des risques, qui fournissent des retours essentiels sur leurs attentes lors de l’achat d’agents d’IA. Ce retour d’information informe un ensemble d’environ 5 000 tests que les agents subissent pour évaluer leur performance dans diverses conditions, telles que les tentatives de jailbreak et les fuites de données. Les résultats se condensent dans un rapport détaillé d’environ 100 pages, qui identifie à la fois les aspects fiables et préoccupants de la performance d’un agent. Notamment, AIUC utilise des agents d’IA pour aider à réaliser ces tests, tandis que des auditeurs humains assurent l’exactitude des évaluations finales.
Dattani a souligné l’importance de ces évaluations, déclarant : “Voici où ça passe et où vous pouvez lui faire confiance. Et voici où se trouvent les préoccupations. Vous devriez être au courant de ces références avant de prendre la décision d’acheter.” Cette méthode fait écho aux pratiques de METR, où Dattani a précédemment été COO, en se concentrant sur les évaluations de performance des cadres d’IA.
Dans des commentaires récents, le PDG d’Anthropic, Dario Amodei, a souligné la nécessité pour l’industrie de l’IA de réguler ses développements de pointe en raison d’une augmentation rapide des incidents de sécurité. Il a suggéré l’inclusion d’évaluateurs indépendants dans les évaluations de l’IA, un concept qui résonne avec la mission d’AIUC de fournir des évaluations de sécurité impartiales.
À mesure que les technologies d’IA continuent d’évoluer et de s’intégrer dans divers secteurs, les initiatives d’AIUC visent à renforcer la confiance des utilisateurs et des parties prenantes concernant la sécurité et la fiabilité des agents d’IA, marquant une avancée significative dans le dialogue en cours sur le déploiement responsable de l’IA.
