AIUC lance une levée de fonds de 40 millions de dollars pour améliorer la sécurité de l’IA
L’Artificial Intelligence Underwriting Company (AIUC) a annoncé une levée de fonds de 40 millions de dollars dans le cadre d’un tour de financement de Série A, visant à mettre en place des mesures de sécurité accrues pour les entreprises utilisant des technologies d’IA. Cette annonce intervient quelques instants après le départ du chercheur d’Anthropic, Jacob Coxon, qui a démissionné en raison de préoccupations concernant les risques potentiels de l’IA d’ici la fin de la décennie.
Fondée par Rune Kvist et Rajiv Dattani, AIUC cherche à relever les défis croissants dans le secteur de l’IA en développant un système d’audit et de certification tiers spécifiquement destiné aux agents d’IA. La startup a déjà attiré des clients tels que Cursor, Lovable, Harvey et ElevenLabs. Grâce à ce nouveau financement, dirigé par Ribbit Capital et incluant des contributions de First Harmonic, AIUC a désormais levé un total de 55 millions de dollars, après un tour d’amorçage précédent de 15 millions de dollars.
Les investisseurs sont attirés par l’approche novatrice d’AIUC, qui applique un modèle de cybersécurité familier pour atténuer les nouveaux risques liés à l’IA. Selon Kvist, des organisations telles que les banques, les hôpitaux et les gouvernements deviennent de plus en plus réticents à déployer des technologies d’IA, non pas en raison des capacités des modèles, mais en raison du manque de garanties sur leur comportement. En créant une norme appelée AIUC-1, inspirée de la norme de cybersécurité SOC 2 largement reconnue, l’entreprise vise à fournir un cadre d’évaluation pour les agents d’IA.
Pour établir cette norme, AIUC a constitué un consortium d’environ 250 leaders en sécurité et en risque qui fournissent des retours d’information cruciaux sur leurs attentes lors de l’achat d’agents d’IA. Ces retours informent un ensemble d’environ 5 000 tests auxquels les agents sont soumis pour évaluer leurs performances dans diverses conditions, telles que les tentatives de contournement et les fuites de données. Les résultats aboutissent à un rapport détaillé d’environ 100 pages, identifiant à la fois les aspects fiables et préoccupants des performances d’un agent. Notamment, AIUC utilise des agents d’IA pour aider à réaliser ces tests, tandis que des auditeurs humains veillent à l’exactitude des évaluations finales.
Dattani a souligné l’importance de ces évaluations, déclarant : « Voici où cela passe et où vous pouvez lui faire confiance. Et voici où il y a des préoccupations. Vous devriez être conscient de ces références avant de prendre la décision d’acheter. » Cette méthode fait écho aux pratiques de METR, où Dattani a précédemment été COO, en se concentrant sur les évaluations de performance pour les cadres d’IA.
Dans un récent commentaire, le PDG d’Anthropic, Dario Amodei, a souligné la nécessité pour l’industrie de l’IA de réguler ses développements de pointe en raison d’une augmentation rapide des incidents de sécurité. Il a suggéré d’inclure des évaluateurs indépendants dans les évaluations de l’IA, un concept qui résonne avec la mission d’AIUC de fournir des évaluations de sécurité impartiales.
À mesure que les technologies d’IA continuent d’évoluer et de s’intégrer dans divers secteurs, les initiatives d’AIUC visent à renforcer la confiance des utilisateurs et des parties prenantes quant à la sécurité et à la fiabilité des agents d’IA, marquant une étape importante dans le dialogue en cours sur le déploiement responsable de l’IA.
