L’IA générative d’images, c’est la folie en ce moment ! On est passé d’images un peu bizarres avec des doigts en trop à des visuels carrément photoréalistes. Mais contrôler précisément sa création, c’est encore un peu galère. NVIDIA débarque avec une solution pour simplifier tout ça, et franchement, ça a l’air plutôt cool.
La 3D au service de l’IA
Décrire une image à l’IA, ça devient facile. Mais pour les détails plus subtils comme la composition, l’angle de la caméra ou la position des objets, c’est une autre histoire. NVIDIA propose une solution astucieuse avec son « AI Blueprint for 3D-guided generative AI » : utiliser la 3D pour guider l’IA.
Concrètement, on crée une scène 3D basique dans Blender. Cette scène génère une carte de profondeur qui est ensuite envoyée à FLUX.1-dev (l’IA de génération d’images). L’IA utilise cette carte, combinée à votre description textuelle, pour créer l’image. L’avantage ? Pas besoin de modèles 3D ultra-détaillés, juste une ébauche pour guider l’IA.
Et comme on est en 3D, modifier la scène est super simple : on déplace les objets, on change l’angle de la caméra, et hop ! L’IA s’adapte.
Sous le capot : un workflow optimisé
Derrière ce Blueprint, on retrouve ComfyUI, un outil puissant qui permet d’enchaîner différents modèles d’IA. Le plugin ComfyUI pour Blender fait le lien entre les deux logiciels. Et grâce à un microservice NVIDIA NIM, FLUX.1-dev tourne à fond sur les cartes graphiques GeForce RTX, en utilisant toute la puissance de TensorRT et des formats optimisés comme FP4 et FP8. Par contre, il vous faudra au minimum une GeForce RTX 4080.
Un kit prêt à l’emploi pour les artistes et les développeurs
Ce Blueprint est livré avec tout le nécessaire : Blender, ComfyUI, les plugins, le microservice FLUX.1-dev, et même des instructions détaillées. Pour les artistes, c’est un excellent moyen de se lancer dans la génération d’images avec un workflow préconfiguré et adaptable.
Les développeurs ne sont pas en reste : le code source, les données d’exemple et la documentation permettent de construire des pipelines similaires ou d’étendre ceux existants.
La puissance RTX au service de la génération en temps réel
Les AI Blueprints fonctionnent sur les PC et stations de travail NVIDIA RTX AI, profitant des performances de l’architecture Blackwell. Le microservice FLUX.1-dev est optimisé avec TensorRT et quantifié en FP4 pour les GPU Blackwell, ce qui double la vitesse d’inférence par rapport à PyTorch FP16.
Pour les utilisateurs de GPU Ada Lovelace, des variantes FP8 accélérées par TensorRT sont disponibles. Ces optimisations rendent les workflows plus accessibles et permettent des itérations rapides. La quantification réduit également la VRAM nécessaire.
NVIDIA propose actuellement 10 microservices NIM pour RTX, couvrant la génération d’images et de texte, l’IA vocale et la vision par ordinateur. D’autres Blueprints et services sont en préparation.
Disponibles sur https://build.nvidia.com/nvidia/genai-3d-guided, les AI Blueprints et les microservices NIM offrent une base solide pour explorer et repousser les limites de l’IA générative sur les PC et stations de travail RTX.
Pour en savoir plus sur les microservices NIM et les AI Blueprints, rendez-vous sur le blog RTX AI Garage. Vous y trouverez des innovations et du contenu axés sur la communauté pour créer des agents IA, des workflows créatifs, des humains numériques, des applications de productivité et bien plus encore.
