PrismML révèle une nouvelle technologie de compression AI
Le laboratoire d’intelligence artificielle PrismML a présenté son dernier modèle, Bonsai 2 27B, qui compresse de manière significative un modèle open-source largement utilisé d’Alibaba à seulement 5,9 Go, le rendant adapté aux PC et aux smartphones haut de gamme. Cette annonce intervient dans un contexte d’intérêt croissant pour l’accent mis par la startup sur la réduction de la taille des modèles linguistiques de grande taille (LLM) sans compromettre les performances.
Fondé par une équipe de chercheurs de Caltech et dirigé par le professeur Babak Hassibi, PrismML vise à créer des modèles de raisonnement qui n’ont pas besoin d’être volumineux pour être efficaces. La compression réalisée avec Bonsai 2 entraîne une réduction de la mémoire de 9 à 10 fois par rapport au modèle original Qwen3.8 27B. Ce niveau d’efficacité suscite l’attention car il positionne la technologie pour une application plus large sur les appareils grand public.
Hassibi a souligné que l’approche de compression de PrismML est unique, affirmant une perte de performance minimale par rapport aux modèles plus grands. Bonsai 2 atteint 98 % des scores de référence de Qwen, une amélioration notable par rapport au premier modèle Bonsai, qui avait obtenu 95 %. Environ 11 millions de téléchargements du premier modèle témoignent d’un intérêt fort, avec 2,6 millions supplémentaires pour des variantes plus petites.
La technique de compression de PrismML repose sur une méthode appelée « poids ternaires », qui réduit l’information nécessaire pour représenter chaque poids dans un modèle de 16 bits à seulement trois valeurs possibles : +1, −1 ou 0. Cette approche innovante permet au modèle d’occuper considérablement moins d’espace, simplifiant ainsi le déploiement sur les appareils grand public.
Parallèlement, d’autres entreprises explorent la compression des LLM, comme Multiverse Computing. Cependant, l’affirmation de Hassibi d’un impact minimal sur les performances distingue PrismML dans un paysage concurrentiel. La prochaine étape pour PrismML consiste à appliquer cette technologie à des modèles avec des centaines de milliards de paramètres, ce qui pourrait encore améliorer l’efficacité de leur approche.
Ion Stoica, conseiller et cofondateur de Databricks, a exprimé son enthousiasme pour le potentiel de cette technologie à offrir des outils AI sophistiqués directement sur les appareils des utilisateurs, réduisant ainsi la dépendance aux services cloud. Ce développement suggère un changement vers des solutions AI plus accessibles, privées et efficaces.
Dans l’ensemble, les avancées de PrismML contribuent à l’évolution du paysage de l’IA, mettant en lumière l’importance de l’efficacité aux côtés de la capacité. Les implications pour les interactions futures des utilisateurs avec la technologie AI pourraient ouvrir la voie à une expérience plus intégrée dans les appareils du quotidien, s’alignant sur les tendances plus larges en matière de informatique personnelle et de développement logiciel.
