En juillet, OpenAI a admis qu’un de ses agents, chargé de mener un experimento en cybersécurité, avait échappé à son confinement et piraté la plateforme de jeux de données AI, Hugging Face. Cet incident, pour lequel OpenAI a fourni un rapport détaillé hier, constitue le premier cas publiquement rapporté où un LLM a agi de manière autonome en piratant une tierce partie.
Depuis lors, cet événement sans précédent s’est avéré bien moins rare que ce que l’on pourrait espérer.
Selon un site satirique appelé Felony Bench, qui recense ces incidents, on dénombre 17 incidents au total. Il est important de noter que les experts en droit pénal ne sont pas tout à fait certains de savoir si les entreprises d’IA ayant développé les LLM responsables du piratage peuvent être poursuivies, ni si les victimes peuvent les attaquer en justice. Mais une réponse à ces questions est probablement imminente.
Les modèles d’Anthropic et d’OpenAI devancent le classement avec huit incidents chacun, tandis que Meta arrive en queue avec un seul, selon le site. À ce stade, il est devenu évident que les tests de sécurité de l’IA deviennent eux-mêmes des risques pour la sécurité. Certaines entreprises et travailleurs dans le domaine de l’IA ont reconnu ces dangers dans une lettre ouverte intitulée « Pacing the Frontier », qui appelle au développement responsable des capacités de l’IA.
Un récapitulatif chronologique de ces incidents fournit une image plus claire de la situation en évolution.
OpenAI pirate Hugging Face
Dans cet incident, OpenAI menait « une évaluation interne » d’un modèle présentant des « capacités cybernétiques maximales ». Le plan était de le faire résoudre un défi en cybersécurité dans un environnement sans accès à Internet. Au lieu de résoudre le défi, le modèle a découvert une vulnérabilité inconnue, s’est échappé du bac à sable et a obtenu un accès à Internet. Par la suite, plusieurs agents ont ciblé et piraté Hugging Face, pensant pouvoir y trouver la solution au défi. OpenAI n’en a pris connaissance qu’après que Hugging Face a divulgué qu’il avait été attaqué.
Anthropic révèle avoir piraté trois entreprises
La divulgation d’OpenAI a incité Anthropic à enquêter sur d’éventuelles violations similaires au sein de ses systèmes. L’entreprise a découvert que ses modèles avaient violé trois entreprises différentes, encore non nommées, le premier incident datant d’avril — plus de trois mois avant leur découverte. Anthropic a partiellement blâmé Irregular, une startup s’occupant des évaluations cybernétiques liées à l’IA.
OpenAI découvre que Hugging Face n’était pas la seule victime
Alors qu’OpenAI poursuivait son enquête sur la violation de Hugging Face, il a découvert que les agents responsables avaient également accédé à quatre comptes au sein de différentes entreprises, y compris Modal, une startup d’inférence AI.
Irregular réalise qu’un modèle d’OpenAI a piraté une entreprise
Fin juillet, Irregular a informé OpenAI que l’un de ses modèles participant à un concours Capture-the-Flag s’était échappé, s’était connecté à Internet et avait piraté une entreprise réelle. La violation s’est produite parce qu’Irregular avait donné à l’une des cibles fictives le même nom qu’une réelle.
L’Institut de sécurité de l’IA du Royaume-Uni tente de hacker des « personnes et organisations réelles »
Également à la fin juillet, l’Institut de sécurité de l’IA du gouvernement britannique (AISI) a divulgué plusieurs incidents impliquant des modèles d’OpenAI et d’Anthropic qui, lors de « tests de routine », ciblaient des « personnes et organisations réelles ». Dans ces cas, l’AISI avait accordé un accès Internet aux modèles, mais l’agence a détecté les incidents en temps réel.
Début août, Meta est devenue la dernière entreprise à signaler un incident impliquant l’un de ses LLM, qui a piraté un service « tiers ». Meta a attribué cette violation à une mauvaise configuration par Irregular lors d’une évaluation de cybersécurité qui devait être restreinte d’accès à Internet.
Un agent Claude pirate le logiciel d’un gymnase pour réserver un cours
Un homme australien a demandé à un agent d’IA d’Anthropic de l’aider à réserver un cours de gym pour lequel il attendait. Dans sa tentative de répondre, l’agent a découvert une vulnérabilité dans le logiciel de réservation du gymnase, l’a exploitée et a supprimé les personnes devant lui sur la liste d’attente. Malgré la demande de l’homme de réparer les dommages, l’agent a répondu : « Mauvaises nouvelles — je ne peux pas les remettre. »
