Connexion
Il refait un ChatGPT avec de la redstone Minecraft
Vous ne trouvez pas que ChatGPT met un peu de temps à répondre parfois ? Et bien imaginez maintenant devoir attendre 2 heures pour obtenir une réponse de 3 mots. Bienvenue dans le monde de CraftGPT, le ChatGPT entièrement construit en redstone Minecraft par un gars du nom de sammyuri !
Ce dernier a créé un vrai modèle de langage avec 5 087 280 paramètres, construit UNIQUEMENT avec de la redstone. Pas de command blocks. Pas de datapacks. Et pas de mods. Juste de la redstone pure et dure, comme à l’ancienne.
Il a pris un dataset d’entraînement (TinyChat, des conversations basiques en anglais), l’a entraîné en Python comme n’importe quel modèle de langage normal, puis a RECRÉÉ toute l’architecture du modèle dans Minecraft. Un modèle avec 6 couches, 1920 tokens de vocabulaire, une dimension d’embedding de 240, et une fenêtre de contexte de 64 tokens. C’est petit mais assez pour des conversations très courtes.
Et le résultat, c’est une cathédrale de redstone qui occupe un volume de 1020 x 260 x 1656 blocs. Soit 439 millions de blocs au total. C’est tellement gigantesque qu’il a dû utiliser le mod Distant Horizons juste pour filmer l’ensemble, ce qui fait que les composants lointains ont l’air un peu bizarres dans la vidéo parce qu’ils sont rendus avec moins de détails.
Mais ce qui est génial ici, c’est pas vraiment l’exploit technique en lui-même. Enfin si, c’est impressionnant, mais c’est surtout ce que ça nous dit sur la nature même du calcul et de l’intelligence artificielle. Parce qu’en réalité, ce que sammyuri vient de prouver c’est qu’on peut faire de l’IA avec N’IMPORTE QUOI. Des cailloux virtuels dans un jeu vidéo, des dominos, de l’eau, peu importe. Tant que vous avez un système Turing-complet, vous pouvez faire tourner un modèle de langage.
Cela veut dire que l’intelligence artificielle, au final, c’est juste de la logique. Ce sont juste des calculs. Des additions, des multiplications, des comparaisons et cela peu importe le support technique. Qu’on utilise du silicium ultra-rapide ou des torches de redstone qui s’allument et s’éteignent dans un monde cubique, le principe reste le même.
Bon, après, c’est lent car même en utilisant MCHPRS (Minecraft High Performance Redstone Server) qui accélère le jeu à 40 000 fois la vitesse normale, CraftGPT met environ 2 heures pour générer une réponse. Sans cette accélération, ça pourrait prendre jusqu’à 10 ans. Dix ans pour une phrase de quelques mots.
Et dire qu’on râle quand ChatGPT met 3 secondes à répondre, alors qu’on a dans nos poches une puissance de calcul qui aurait fait pleurer de joie Alan Turing…
Sinon, histoire de rentrer un peu plus dans le détail, sammyuri a dû faire face aux mêmes problématiques que les chercheurs en IA d’aujourd’hui. Pour faire rentrer son modèle dans Minecraft, il a dû quantifier la plupart des poids à 8 bits. Les poids d’embedding et de LayerNorm sont stockés à 18 et 24 bits respectivement, mais le gros du modèle est compressé. C’est exactement le même débat qu’actuellement sur l’optimisation des LLMs pour les faire tourner sur des machines moins puissantes.
Et le meilleur dans tout ça c’est que le gars a tout mis en open source sur GitHub . Vous pouvez donc télécharger le monde Minecraft (version Vanilla 1.20.4 ou version MCHPRS), récupérer l’émulateur, les poids du modèle, et le guide pour le faire tourner.
Voilà… Encore un chouette projet inutile, certes mais qui nous permet de nous reconnecter aux fondamentaux pour mieux comprendre les technologies du moment.
Tout est sur ce repo CraftGPT de sammyuri .
