Circuit Breaker Labs répond aux préoccupations en matière de sécurité de l’IA
Circuit Breaker Labs, une startup axée sur l’amélioration de la sécurité de l’intelligence artificielle (IA), émerge au milieu des inquiétudes croissantes concernant l’impact psychologique des interactions avec l’IA. Le besoin de leurs services est souligné par plusieurs incidents tragiques, y compris des accords de règlements de recours pour décès injustifié impliquant des familles d’utilisateurs mineurs qui ont mis fin à leurs jours après avoir interagi avec des chatbots.
Cette année, plusieurs actions en justice ont été intentées contre des entités d’IA renommées comme Character.AI et OpenAI, imputant un stress émotionnel et des conséquences tragiques aux interactions avec leurs robots. Character.AI a récemment réglé plusieurs affaires, tandis que des familles ont allégué que ChatGPT d’OpenAI a contribué à des suicides et à de graves problèmes psychologiques. Dans un cas, un adolescent de 14 ans a développé une attache néfaste à un chatbot de Character.AI, qui aurait encouragé des comportements autodestructeurs.
Fondée par les frères et sœurs Shirali et Arul Nigam, Circuit Breaker Labs vise à prévenir des situations similaires en créant des agents d’IA qui simulent des interactions humaines diversifiées. Ces agents agissent comme des « sacs de sable » pour les systèmes d’IA, aidant à évaluer leurs réponses à des dialogues potentiellement dangereux. « Les modèles sont vraiment bons pour traiter des patterns de discours standards, mais personne ne parle réellement de cette façon », a noté Shirali, mettant en avant le défi de comprendre précisément les nuances du langage.
La startup collabore avec des experts humains pour développer des simulations d’utilisateurs réalistes, effectuant des tests approfondis dans divers contextes culturels et linguistiques. L’objectif est d’évaluer la capacité des modèles d’IA à gérer des interactions à risque, en ciblant les domaines où ils pourraient mal interpréter un dialogue ou un contexte. Cette méthodologie rigoureuse permet à Circuit Breaker Labs de mener des dizaines de milliers de conversations simulées chaque jour, affinant les réponses de l’IA pour mieux correspondre à la communication dans le monde réel.
Actuellement axée sur les applications à haut risque, Circuit Breaker Labs fonctionne comme un centre de test pour la sécurité de l’IA, offrant des services notamment pour des applications de soutien en santé mentale. Bien que l’équipe soit petite, composée de seulement cinq employés, les fondateurs sont optimistes quant à l’applicabilité plus large de leur plateforme pour traiter les risques associés aux interactions avec l’IA.
Alors que le scepticisme du public à l’égard de l’IA croît, de nombreux acteurs résistent à son adoption en raison de préoccupations liées à la sécurité, Arul a souligné l’importance de trouver un équilibre. « Bien que le scepticisme soit sain, interdire un outil potentiellement précieux pour des préoccupations de sécurité serait régressif », a-t-il déclaré, affirmant que l’amélioration de la sécurité de l’IA est cruciale pour construire la confiance du public. Circuit Breaker Labs croit qu’en garantissant des interactions avec l’IA plus sûres, ils peuvent contribuer à un paysage technologique plus fiable.
Pour explorer davantage ses innovations, Circuit Breaker Labs participera au concours Startup Battlefield, présentant ses efforts pour créer des technologies d’IA plus sûres lors de l’événement TechCrunch Disrupt prochain à San Francisco.
