L’IA est en train de révolutionner l’utilisation du PC, que ce soit pour la génération d’images en temps réel ou les flux de travail contrôlés par la voix. Et forcément, plus l’IA devient puissante, plus elle devient complexe à gérer. Exploiter tout son potentiel peut vite ressembler à un parcours du combattant dans un labyrinthe de paramètres système, de logiciels et de configurations matérielles. Heureusement, NVIDIA débarque avec une solution plutôt cool.
Project G-Assist : Votre assistant IA personnel
NVIDIA lance Project G-Assist, un assistant IA expérimental intégré à l’application NVIDIA. Son but ? Simplifier et améliorer l’expérience PC grâce à l’IA embarquée. Imaginez : contrôler les performances, ajuster les paramètres et interagir avec vos périphériques, le tout avec des commandes vocales ou textuelles. On peut même invoquer d’autres IA alimentées par les PC GeForce RTX. Pas mal, non ?
Des plugins pour personnaliser votre expérience
Et ce n’est pas tout ! Pour ceux qui veulent pousser l’expérience encore plus loin, Project G-Assist est compatible avec des plugins personnalisés. Grâce au nouveau G-Assist Plug-In Builder basé sur ChatGPT, les développeurs et les passionnés peuvent créer et personnaliser les fonctionnalités de G-Assist. Ajouter de nouvelles commandes, connecter des outils externes et créer des flux de travail IA adaptés à leurs besoins devient un jeu d’enfant. Le plug-in builder permet même de générer du code correctement formaté grâce à l’IA, pour une intégration rapide et efficace dans G-Assist. De quoi répondre à vos commandes vocales et textuelles en un clin d’œil.
Plugins et APIs : Comment ça marche ?
Les plugins sont des petits modules complémentaires qui ajoutent de nouvelles fonctionnalités à un logiciel. Dans le cas de G-Assist, ils permettent de contrôler la musique, de se connecter à des modèles de langage et bien plus encore.
En coulisses, ces plugins utilisent des interfaces de programmation d’applications (API), qui permettent à différents logiciels et services de communiquer entre eux. Les développeurs peuvent définir des fonctions en JSON, écrire de la logique en Python et intégrer rapidement de nouveaux outils ou fonctionnalités à G-Assist.
Avec le G-Assist Plug-In Builder, on peut :
- Utiliser un petit modèle de langage localement sur les GPU GeForce RTX pour une inférence rapide et privée.
- Étendre les capacités de G-Assist avec des fonctionnalités personnalisées.
- Interagir avec G-Assist directement depuis l’overlay NVIDIA, sans quitter son application.
- Invoquer des contrôles système et GPU via des liaisons C++ et Python.
- Intégrer G-Assist dans des systèmes multi-agents grâce à des outils comme Langflow.
Un écosystème ouvert et accessible
Le répertoire GitHub de NVIDIA fournit tout le nécessaire pour commencer à développer avec G-Assist : exemples de plugins, instructions étape par étape et documentation. Définir des fonctions en JSON et déposer des fichiers de configuration dans un répertoire dédié suffit pour que G-Assist les charge et les interprète automatiquement. Il est même possible de soumettre ses propres plugins pour qu’ils soient intégrés au répertoire GitHub de NVIDIA et mis à disposition de la communauté.
Des centaines d’API gratuites et faciles à utiliser sont disponibles pour étendre les fonctionnalités de G-Assist, de l’automatisation des flux de travail à l’optimisation des configurations PC, en passant par l’amélioration des achats en ligne. Pour trouver l’inspiration, des index d’API gratuites sont disponibles sur publicapis.dev, free-apis.github.io, apilist.fun et APILayer.
Parmi les plugins disponibles, on retrouve Spotify, pour contrôler la musique et le volume en mode mains libres, et Google Gemini, qui permet à G-Assist d’invoquer une IA cloud plus puissante pour des conversations complexes, du brainstorming et des recherches web via une clé API Google AI Studio gratuite.
Dans la vidéo ci-dessous, G-Assist demande à Gemini quel personnage choisir dans Apex Legends en solo, et s’il est judicieux de passer en mode Cauchemar au niveau 25 dans Diablo IV :
Dans l’extrait suivant, un développeur utilise le plug-in builder pour créer un plugin Twitch qui vérifie si un streamer est en direct :
G-Assist peut également contrôler certains périphériques et logiciels avec des commandes simples, comme ajuster la vitesse des ventilateurs, modifier l’éclairage des appareils Logitech G, Corsair, MSI et Nanoleaf compatibles, ou encore lancer des benchmarks.
D’autres exemples incluent un plugin Stock Checker pour consulter les cours boursiers en temps réel, ou un plugin Météo pour connaître les conditions météorologiques de n’importe quelle ville.
Tous les détails sur la création, le partage et le chargement des plugins sont disponibles sur le répertoire GitHub de NVIDIA.
L’avenir de l’IA sur PC se construit aujourd’hui
Avec le G-Assist Plugin Builder et la prise en charge des API ouvertes, chacun peut adapter G-Assist à ses besoins. Explorez le répertoire GitHub et soumettez vos idées pour contribuer à la prochaine génération d’expériences PC optimisées par l’IA.
Suivez l’actualité de NVIDIA AI PC sur Facebook, Instagram, TikTok et X, et abonnez-vous à la newsletter RTX AI PC. Suivez également NVIDIA Workstation sur LinkedIn et X.
