Après la keynote virtuelle de GTC la semaine dernière et l’annonce de leur architecture Ampère, NVIDIA a tenu cette semaine la moitié de son calendrier de conférences. Comme pour le vrai événement, la société a publié de nombreuses sessions sur tout ce qui concerne NVIDIA, de Ampere à CUDA en passant par le bureau à distance. Mais peut-être le discours le plus intéressant – et certainement le plus amusant – vient du groupe de recherche de NVIDIA.

Chargé de développer les technologies futures et de trouver de nouvelles utilisations pour les technologies actuelles, le groupe annonce aujourd’hui avoir enseigné un réseau de neurones Pac-Man.

Et non, je ne veux pas dire comment jouer Pac-Man. Je veux dire comment être le jeu de Pac-Man.

La révélation, programmée pour coïncider avec les 40e anniversaire du jeu de grignotage de fantômes, est issu de la recherche de NVIDIA sur les Réseaux Génératifs Adversaires (GAN). À un niveau très élevé, les GAN sont un type de réseau neuronal où deux réseaux neuronaux sont formés l’un contre l’autre – généralement l’un apprenant à exécuter une tâche et l’autre apprenant à repérer la première à effectuer cette tâche – avec l’objectif final étant que la concurrence entre les réseaux peut contribuer à améliorer les deux réseaux en les forçant à s’améliorer pour gagner. En termes d’applications pratiques, les GAN ont été utilisés dans des projets de recherche pour créer des programmes qui peuvent créer des images réalistes d’éléments du monde réel, mettre à l’échelle des images existantes et d’autres tâches de synthèse / manipulation d’images.

Pour Pac-Man, cependant, les chercheurs à l’origine du projet GameGAN, qui porte bien son nom, sont allés plus loin en se concentrant sur la création d’un GAN qui peut apprendre à émuler / générer un jeu vidéo. Cela comprend non seulement la recréation de l’apparence d’un jeu, mais peut-être plus important encore, les règles d’un jeu. En substance, GameGAN est destiné à apprendre comment fonctionne un jeu en le regardant, un peu comme le ferait un humain.

Pour leur premier projet, les chercheurs de GameGAN se sont installés sur Pac-Man, qui est aussi bon point de départ que n’importe quel autre. Le jeu de 1980 a des règles et des graphiques relativement simples, et surtout pour le processus de formation, un jeu complet peut être joué en peu de temps. En conséquence, plus de 50K «épisodes» de formation, les chercheurs ont enseigné à un GAN comment être Pac-Man uniquement en faisant regarder le jeu par le réseau de neurones.

Et le plus impressionnant de tous, la chose folle fonctionne réellement.

Dans une vidéo publiée par NVIDIA, la société montre brièvement le GameGAN formé par Pac-Man en action. Bien que le jeu résultant ne soit pas une recréation parfaite de Pac-Man au pixel près – notamment, la résolution simulée de GameGAN est inférieure – le jeu ressemble néanmoins et fonctionne comme la version arcade de Pac-Man. Et ce n’est pas seulement pour l’apparence: la version GameGAN de Pac-Man accepte les entrées des joueurs, tout comme le vrai jeu. En fait, bien qu’il ne soit pas encore prêt pour la consommation publique, NVIDIA a déjà déclaré qu’il souhaitait publier une version jouable publiquement cet été, afin que tout le monde puisse la voir en action.

Convenablement pour un projet de recherche lié au jeu, la formation et le développement du GameGAN étaient tout aussi stupides à certains moments. Parce que le réseau devait consommer des milliers et des milliers de sessions de jeu – et NVIDIA ne veut probablement pas payer son personnel pour jouer à Pac-Man toute la journée – les chercheurs se sont appuyés sur un bot Pac-Man pour jouer automatiquement au jeu. En conséquence, l’IA qui est GameGAN a essentiellement été formée à Pac-Man par une autre IA. Et cela n’est pas sans répercussions – dans leur présentation, les chercheurs ont noté que parce que le bot Pac-Man était si bon dans le jeu, GameGAN a développé une tendance à éviter de tuer Pac-Man, comme s’il faisait partie des règles. Ce qui, à tout le moins, est beaucoup plus réconfortant que de découvrir que nos futurs seigneurs de l’IA jouent aux favoris.

Tout compte fait, la formation du GameGAN pour Pac-Man a pris une configuration quad GV100 de quatre jours, au cours de laquelle il a surveillé 50 000 sessions de jeu. Ce qui, pour mettre les choses en perspective sur la quantité de matériel utilisé, 4 GPU GV100 représente 84,4 milliards de transistors, près de 10 millions de fois plus de transistors que dans le processeur Z80 du jeu d’arcade d’origine. Donc, tout en enseignant à un GAN comment être un Pac-Man est incroyablement impressionnant, ce n’est peut-être pas un moyen particulièrement efficace d’exécuter le jeu.

Pendant ce temps, trouver comment enseigner à un réseau neuronal à être Pac-Man a également des objectifs pratiques. Selon le groupe de recherche, l’un des principaux objectifs à l’heure actuelle est d’utiliser ce concept pour former plus rapidement des simulateurs, qui doivent traditionnellement être soigneusement construits par les humains afin de capturer toutes les interactions possibles. Si un réseau de neurones peut plutôt apprendre comment quelque chose se comporte en observant ce qui se passe et quelles entrées sont effectuées, cela pourrait en théorie rendre la création de simulateurs beaucoup plus rapide et plus facile. Fait intéressant, le concept entier mène à une sorte de boucle d’auto-rétroaction, car l’idée est ensuite d’utiliser ces simulateurs pour ensuite former d’autres réseaux de neurones à effectuer une tâche, comme l’objectif préféré de NVIDIA de voitures autonomes.

En fin de compte, que cela conduise à des gains dans le monde réel ou non, il y a quelque chose d’amusement humain à propos d’un réseau de neurones qui apprend un jeu en observant – même (et surtout) s’il n’apprend pas toujours la leçon souhaitée.