Kog vise à libérer le potentiel de l’IA avec la technologie GPU existante
La startup française Kog se distingue dans le domaine compétitif de l’intelligence artificielle, en se concentrant sur l’exploitation des GPU conventionnels pour améliorer la vitesse d’inférence et réduire les coûts. Cette initiative survient alors que la demande pour des capacités d’IA plus rapides s’intensifie dans divers secteurs.
Kog a suscité un intérêt considérable en mai en présentant sa technologie, démontrant que « le décodage à une seule requête, extrêmement rapide, est possible sur les GPU standard des centres de données que les entreprises possèdent déjà », y compris l’AMD MI300X et le Nvidia H200. Le PDG Gaël Delalleau a indiqué que le succès de cette démonstration a conduit à plus de 200 pistes commerciales tangibles, reflétant l’intérêt marqué des clients potentiels.
Malgré des réactions mitigées—certains étant déçus que la technologie ne s’applique pas aux GPU de laptop—la proposition de Kog a attiré l’attention des entreprises dépendantes des flux de travail pilotés par l’IA. Alors que les sociétés font face à des délais dans leurs processus d’IA, Kog vise à résoudre ces goulets d’étranglement avec son Kog Inference Engine (KIE), permettant potentiellement aux utilisateurs de générer des applications et du contenu interactif plus rapidement.
Bien que Kog reconnaisse l’immaturité actuelle du marché concernant l’ajustement de petits modèles, la startup se concentre sur l’accélération du développement de modèles plus larges. Delalleau a déclaré : « Nous nous sommes entièrement concentrés sur l’accélération du développement de modèles plus larges pour répondre à la demande que nous avons observée », admettant le bond considérable nécessaire pour atteindre leur objectif d’« une inférence LLM 30 fois plus rapide. » Leur démonstration a atteint un débit impressionnant de 3 000 tokens par seconde sur un petit modèle d’environ 2 milliards de paramètres.
Delalleau affirme que les améliorations de la technologie GPU peuvent être exploitées au-delà des capacités actuelles, remettant en question les idées reçues sur leur efficacité dans le traitement des modèles de langage de grande taille (LLMs). Il a souligné que les GPU modernes possèdent une bande passante mémoire accrue qui, si elle est optimisée de manière appropriée, peut conduire à des améliorations significatives des performances.
La stratégie de Kog n’est pas unique ; elle s’aligne avec d’autres initiatives cherchant à améliorer la fonctionnalité des GPU par le biais de solutions logicielles. Néanmoins, Delalleau a souligné que l’approche de Kog s’aligne plus étroitement avec les axes de recherche des institutions académiques plutôt que de simplement concurrencer d’autres startups, positionnant ainsi Kog comme un leader en matière d’accélération des GPU.
Le parcours de Delalleau en physique des solides et en cybersécurité influence l’approche de la startup concernant l’optimisation des GPU. Il cherche à insuffler une mentalité au sein de l’équipe axée sur la compréhension des fonctions complexes des GPU, garantissant que Kog puisse exploiter leur plein potentiel. Cependant, le processus minutieux de rétro-ingénierie de chaque nouveau modèle de GPU nécessite un investissement de temps considérable.
Avec une équipe modeste de 11 personnes, Kog fait face à des contraintes quant au nombre de nouvelles puces qu’elle peut analyser et optimiser. En regardant vers l’avenir, la startup espère mettre en œuvre des pipelines basés sur des agents pour prendre en charge une gamme plus large de GPU et de modèles, alors que l’Europe s’efforce d’améliorer ses capacités en technologie IA.
Alors que Kog cherche à valider sa technologie sur des modèles plus grands, le succès sera crucial non seulement pour démontrer ses capacités, mais aussi pour attirer un financement supplémentaire. Delalleau anticipe qu’atteindre une amélioration de la vitesse de 10 fois sur un modèle majeur d’ici septembre ouvrira la voie à un engagement accru des clients et à un tour de financement de Série A par la suite. L’avenir de Kog dépend de sa capacité à traduire ses promesses technologiques ambitieuses en applications concrètes.
