Vous vous rappelez ce gamin chauve dans Matrix qui plie des cuillères avec son esprit ? Il balance OKLM au petit Neo que “La cuillère n’existe pas”…

Eh bien, les chercheurs de Google DeepMind viennent de créer une IA qui applique exactement ce principe à Minecraft. Dreamer 4 (c’est son nom) n’a jamais touché au jeu, jamais cliqué, jamais bougé, jamais miné… (comme moi quoi…). Mais par contre, elle a regardé d’autres jouer, s’est construit son propre Minecraft mental, et s’est entraînée dans son imagination. Du coup, cela fait d’elle la première IA à atteindre les diamants en mode offline pur. Plus de 20 000 actions maîtrisées sans jamais poser un doigt (virtuel) sur le clavier.

“Minecraft n’existe pas” pourrait dire le petit chauve…

Bref, ce que Danijar Hafner et son équipe ont réussi à faire, c’est de créer ce qu’on appelle un “world model”… une simulation mentale du jeu. L’IA observe des vidéos de joueurs, comprend les règles implicites de l’univers, puis s’entraîne dans cette version simulée qu’elle s’est construite dans sa “tête”. Aucune interaction avec le vrai jeu. Juste de l’imagination pure.

Et le truc surprenant (et c’est pour ça que je vous en parle), c’est que ça marche mieux qu’avec les approches traditionnelles.

De base, les IA classiques apprennent par essai-erreur dans un environnement réel. Elles testent des milliers d’actions, se plantent, recommencent, ajustent. C’est long, c’est coûteux en calcul, et dans certains domaines comme la robotique, ça peut carrément casser du matériel.

Dreamer 4 contourne donc tout ça en apprenant dans sa simulation interne, un peu comme un sportif de haut niveau quand il visualise mentalement sa performance avant de la réaliser.

Au-delà du jeu, faut imaginer à termes des robots qui s’entraînent dans leur tête avant de manipuler des objets fragiles par exemple. Ou des NPCs dans les jeux vidéo qui apprennent de nouvelles stratégies sans grinder pendant des heures. Même des simulations médicales qui testent des traitements sans expérimentation animale ou humaine… Tout ça et plus encore devient possible avec cette approche.

Et pour info, j’ai demandé à mes enfants et ils m’ont bien confirmé que les diamants dans Minecraft, c’est pas de la tarte. Il faut enchaîner plus de 20 000 actions souris-clavier dans le bon ordre… couper du bois, fabriquer des outils, miner des ressources spécifiques, éviter les dangers, descendre dans les profondeurs. C’est l’un des objectifs les plus complexes du jeu, et Dreamer 4 y arrive sans jamais avoir interagi avec l’environnement réel.

Voilà, si ça vous intéresse, sachez que tout est détaillé dans ce document sur arXiv si vous voulez creuser. Mais l’idée principale est simple : Et si l’imagination était plus efficace que la mise pratique ? On dirait que c’est une sorte de loi de l’attraction appliquée aux machines…

Bref, pendant qu’on se demande si l’IA va nous piquer nos jobs, elle, elle apprend à faire des trucs sans y toucher…

Et encore un article un peu technique pour finir la journée en beauté ! Si je vous disais que votre serveur Linux pouvait gérer 10 exaoctets de données sans broncher ? Vous ne me croiriez pas je pense… D’ailleurs c’est quoi 10 exaoctets ?? Et bien ça correspond à 10 millions de To. C’est pas mal hein ?

Hé bien c’est exactement ce que permet de gérer TernFS, le système de fichiers qu’XTX Markets vient de libérer après trois ans d’utilisation intensive. XTX Markets est une boîte d’algo-trading qui brasse 250 milliards de dollars par jour et j’avoue que c’est un joli cadeau de presque-Noël qu’elle vient de nous faire…

D’après ce qu’ils expliquent sur leur site , NFS et les autres solutions classiques ne tenaient plus la charge face à leurs 650 pétaoctets de données utilisées leur machine learning. Alors ils ont fait ce que font les vrais geeks, ils ont codé leur propre solution… et après trois ans de production sans perdre “un seul octet”, ils ont tout balancé en en open source sur GitHub .

Le truc génial avec TernFS, c’est qu’il a été pensé pour les fichiers immuables, vous savez, ces gros datasets de plusieurs gigaoctets qu’on écrit une fois et qu’on relit des milliers de fois pour entraîner des modèles. Pas de modification après création, pas de prise de tête avec les locks et la cohérence. C’est simple et efficace.

L’architecture repose sur quatre composants principaux qui bossent ensemble : les metadata shards (256 shards logiques pour gérer les métadonnées), le CDC (Cross-Directory Coordinator) pour les opérations entre répertoires, les block services pour stocker les données, et un registry pour orchestrer tout ce petit monde. Le tout communique en UDP/TCP avec du Reed-Solomon pour l’erasure coding et du CRC32-C pour vérifier l’intégrité. Bref, ça semble être du solide.

Et les chiffres qu’ils donnent sur leur production sont assez dingues. Ils parlent de 500+ pétaoctets répartis sur 30 000 disques durs et 10 000 SSD, dans 3 datacenters différents, avec des débits qui montent à plusieurs téraoctets par seconde en vitesse de pointe. Et leur système gère ça tranquille, avec du multi-région natif et une tolérance aux pannes qui ferait pâlir d’envie n’importe quel admin sys.

Si ça vous chauffe, pour installer TernFS, c’est du classique. Vous clonez le repo, vous lancez ./build.sh alpine ou ./build.sh ubuntu selon votre distrib, et c’est parti. Il y a un module kernel Linux pour gratter les perfs maximales et toucher les étoiles, mais vous pouvez aussi utiliser FUSE si vous préférez rester en userspace. Ils ont même implémenté une API S3 pour ceux qui veulent migrer depuis AWS sans tout réécrire.

git clone https://github.com/XTXMarkets/ternfs
cd ternfs
./build.sh alpine
# Et pour tester en local
./scripts/ternrun