Une course contre la montre, des cerveaux en fusion des deux côtés de l’Atlantique, et une IA capable de résoudre des problèmes de maths dignes des Olympiades : l’équipe NVIDIA, alias NemoSkills, a décroché l’or à la compétition d’IA de Kaggle ! Préparez-vous à plonger dans l’univers fascinant de l’intelligence artificielle et des mathématiques.
Un relais transcontinental pour la victoire
Imaginez la scène : chaque soir, deux membres de l’équipe NVIDIA, basés aux États-Unis, soumettent leur modèle d’IA à l’épreuve ultime sur Kaggle, la plateforme de compétition pour les data scientists et les spécialistes du machine learning. S’ensuivent cinq heures d’attente insoutenable avant de découvrir les résultats. Le suspense est à son comble !
Une fois le verdict tombé, le relais est passé à leurs collègues en Europe – Arménie, Finlande, Allemagne et Irlande du Nord – qui prennent le flambeau pour une journée entière de tests, de modifications et d’optimisations. Un véritable marathon intellectuel !
« Chaque soir, j’étais déçu par nos scores, mais au réveil, les messages de nos coéquipiers européens me redonnaient espoir », confie Igor Gitman, chercheur appliqué senior chez NVIDIA. Une belle illustration de la persévérance et de la collaboration internationale.
L’IA qui fait des miracles
Malgré des résultats mitigés sur les données publiques du concours, le modèle d’IA de NemoSkills a finalement créé la surprise. Le véritable test résidait dans sa capacité à généraliser ses connaissances à des données inédites. Et là, bingo ! L’IA a explosé les scores, résolvant 34 problèmes mathématiques sur 50 en seulement cinq heures, grâce à la puissance de quatre GPU NVIDIA L4. Impressionnant, non ?
« On a finalement trouvé la formule magique ! », s’exclame Darragh Hanley, membre de l’équipe basé en Irlande du Nord, grand maître Kaggle et expert en grands modèles de langage (LLM). Une victoire bien méritée après des jours et des nuits de travail acharné.
La recette du succès : NeMo-Skills et un soupçon de génie
Le nom d’équipe, NemoSkills, est un clin d’œil à la collection de pipelines NeMo-Skills utilisée pour l’entraînement, l’évaluation et l’inférence accélérés des LLM. Les sept membres de l’équipe ont mis en commun leurs expertises, couvrant l’entraînement des LLM, la distillation des modèles et l’optimisation de l’inférence.
Le défi Kaggle consistait à résoudre 50 problèmes de maths complexes, dignes des Olympiades Nationales, en cinq heures. Algèbre, géométrie, combinatoire, théorie des nombres : un vrai casse-tête pour les IA !
Le modèle gagnant combine raisonnement en langage naturel et exécution de code Python. Pour relever ce défi sur le petit cluster de GPU NVIDIA L4 fourni par Kaggle, l’équipe a dû faire preuve d’ingéniosité.
Leur modèle utilise Qwen2.5-14B-Base, un modèle de base capable de raisonnement en chaîne, affiné sur des millions de solutions synthétiques à des problèmes mathématiques. Ces solutions ont été générées par deux modèles de raisonnement plus importants – DeepSeek-R1 et QwQ-32B – et utilisées pour « enseigner » au modèle de base via une forme de distillation des connaissances. Résultat : un modèle plus petit, plus rapide et capable de s’attaquer à des problèmes complexes.
Pour optimiser les performances, la solution explore plusieurs réponses en parallèle avant de choisir la plus fréquente. Une technique d’arrêt précoce innovante, utilisant les capacités de traitement asynchrone de NeMo-Skills et NVIDIA TensorRT-LLM, a permis de gagner un temps précieux.
TensorRT-LLM a également permis d’utiliser la quantification FP8, une méthode de compression offrant une accélération de 1,5x par rapport au format FP16. ReDrafter, une technique de décodage spéculatif développée par Apple, a apporté une accélération supplémentaire de 1,8x.
Partage des connaissances et impact positif
L’équipe publiera prochainement un rapport technique détaillant les techniques utilisées, et prévoit de partager son jeu de données et une série de modèles sur Hugging Face. Les avancées et optimisations réalisées ont été intégrées aux pipelines NeMo-Skills disponibles sur GitHub.
« Tout au long de cette collaboration, nous avons utilisé des outils de la suite logicielle NVIDIA », explique Christof Henkel, membre des Kaggle Grandmasters of NVIDIA (KGMON). « En travaillant en étroite collaboration avec nos équipes de recherche et développement LLM, nous pouvons intégrer quotidiennement les enseignements tirés de la compétition dans les bibliothèques open-source de NVIDIA. »
Suite à cette victoire, Christof Henkel a reconquis le titre de champion du monde Kaggle, se classant n°1 parmi plus de 23 millions d’utilisateurs. Un autre membre de l’équipe, Ivan Sorokin, a obtenu le titre de Grandmaster Kaggle, détenu par un peu plus de 350 personnes dans le monde.
Le prix de 262 144 $ remporté par l’équipe sera reversé à la Fondation NVIDIA pour soutenir des organisations caritatives. Une belle initiative !
Les exemples de questions mathématiques dans l’image ci-dessus proviennent de l’American Invitational Mathematics Examination 2025. Retrouvez l’ensemble des questions et solutions sur le wiki Art of Problem Solving.
