Les accélérateurs AMD Instinct™ : une année 2024 transformative
L’année 2024 a été marquante pour les accélérateurs AMD Instinct™. Au cours des 12 derniers mois, nous avons livré avec succès des dizaines de plateformes Instinct MI300X à nos partenaires cloud et OEM. Nous avons permis à de nombreux clients d’entrer en production de masse, notamment Microsoft, qui a atteint « les meilleures performances-prix du marché pour l’inférence GPT4 », et Meta, qui utilise MI300X comme « solution d’inférence exclusive pour son modèle Llama 405B ». Il est important de noter que les déploiements en production et les engagements de pré-production continuent de croître à la fois chez les clients établis et les startups émergentes d’IA, pour les applications d’inférence et d’entraînement.
L’accélération de la feuille de route logicielle : une priorité absolue
Malgré les progrès réalisés avec notre matériel et nos plateformes, l’accélération de notre feuille de route logicielle reste notre priorité absolue. Notre vision est de faire d’AMD ROCm™ la première pile d’IA ouverte de l’industrie, permettant le choix et une innovation rapide. Nous avons fait d’excellents progrès à tous les niveaux de la pile cette année. Plus d’un million de modèles sur HuggingFace fonctionnent désormais prêts à l’emploi sur AMD et nos plateformes sont bien prises en charge dans les principaux frameworks tels que PyTorch et JAX, les compilateurs émergents comme OpenAI Triton et les solutions de service comme vLLM et SGLang. Nous continuons également à renforcer la pile avec la prise en charge de bibliothèques, de types de données et d’algorithmes clés comme FlashAttentionv3, et nous avons démontré d’excellentes performances d’inférence avec notre toute première soumission MLPerf plus tôt cette année. Afin d’accélérer la cadence des mises à jour logicielles pour notre base croissante de clients, nous avons introduit des versions de conteneurs optimisées toutes les deux semaines, en plus des versions régulières de ROCm qui incluent de nouvelles fonctionnalités et capacités.
L’écoute des utilisateurs : essentielle à notre succès
Écouter les utilisateurs sur les capacités réelles des produits a été fondamental pour notre succès. Nous pensons également qu’une collaboration ouverte et des retours d’information sont essentiels pour stimuler l’innovation et construire un écosystème robuste.
Feuille de route logicielle ambitieuse pour 2025
Bien que nous ayons réalisé de bons progrès dans de nombreux domaines, l’éventail des charges de travail d’IA est à la fois vaste et en constante évolution. Nous savons qu’il y a encore du travail à faire pour fournir un support complet à l’ensemble de l’écosystème. Un récent article de SemiAnalysis a mis en évidence certaines lacunes dans notre support de l’écosystème de formation et a fourni des commentaires constructifs sur l’amélioration de la convivialité. Nous pensons qu’un écosystème open source pour l’IA est dans le meilleur intérêt de l’industrie, et nous encourageons toujours les commentaires de la communauté alors que nous intégrons des améliorations dans les versions ultérieures de ROCm. En tant que tel, nous avons une feuille de route logicielle ambitieuse pour 2025 qui incorpore de nombreuses améliorations qui permettront une adoption plus facile et une meilleure prise en charge prête à l’emploi pour les applications d’inférence et de formation.
Principales priorités pour soutenir l’écosystème plus large
- Prise en charge étendue de la formation à grande échelle.
- Prise en charge étendue de l’inférence couvrant les LLM, les non-LLM et les modèles multimodaux.
- Prise en charge plus riche prête à l’emploi.
- Mises à jour de performances fréquentes et faciles à consommer.
Nous invitons la communauté à nous rejoindre dans ce voyage pour rendre ROCm encore meilleur. Ensemble, nous pouvons construire un écosystème open source robuste pour l’IA et le calcul haute performance.
Restez à l’écoute pour plus d’informations sur l’écosystème ROCm, l’activation des développeurs et les progrès des performances sur notre communauté ROCm, AMD Infinity Hub ou sur Discord.