Karman Industries vient de lever 20 millions de dollars pour un truc qui va faire plaisir aux écolos anti-cloud : Refroidir les datacenters sans utiliser une seule goutte d'eau ! Oui, nada !

Vous n'êtes pas sans savoir que les datacenters actuels, c'est un peu le scandale écologique dont personne ne parle. On estime qu'en 2028, ces usines à calcul vont engloutir entre 34 et 68 milliards de gallons d'eau par an rien qu'aux États-Unis. C'est comme si votre frigo tournait à la vitesse d'un réacteur d'avion...

Ah bah tiens, justement en parlant de réacteur...

David Tearse et CJ Kalra, les deux fondateurs de Karman Industries, ont décidé d'appliquer des techniques d'ingénierie aérospatiale au refroidissement de datacenters. Leur bébé s'appelle le HPU (Heat Processing Unit), une plateforme thermique modulaire de 10 MW qui utilise de la turbomachinerie ultra-rapide inspirée des moteurs de fusée de SpaceX.

Au lieu d'utiliser de l'eau comme réfrigérant, ils ont opté pour du CO2 liquide. Résultat ? Plus de 25% d'économies d'énergie pour le refroidissement, jusqu'à 80% d'espace en moins, et surtout... pas une goutte d'eau. Quand on sait que le refroidissement représente environ 40% de la facture électrique d'un datacenter, ça commence à chiffrer sérieusement.

L'équipe a levé plus de 30 millions de dollars au total, avec Riot Ventures en lead sur ce dernier tour donc c'est pas exactement une PME du coin, quoi.

Comme je l'avais déjà évoqué dans mon article sur la consommation d'eau des datacenters , le problème est déjà critique avec l'explosion de l'IA. Chaque requête ChatGPT, chaque image Midjourney, ça consomme à mort de la flotte quelque part. Bref, si la techno de Karman fonctionne comme prévu, ça pourrait changer pas mal de choses. Reste à voir combien ça coûte mais les premières livraisons sont prévues pour le troisième trimestre 2026, avec une usine de fabrication à Long Beach en Californie.

Voilà, y'a plus qu'à voir si ça tient ses promesses en conditions réelles ! Et j'espère que le meilleure hébergeur du monde, O2Switch s'équipera bientôt car j'ai vraiment envie de voir ça de mes yeux ^^.

Source

Si vous voulez pimper votre propre QR Code pour vous différencier un peu des autres nazes qui font aussi leur QR Code, je vous invite à tester rapidos un petit outil qui m'a tapé dans l'œil.

Je vous ai déjà parlé des QR Codes générés par IA via ControlNet y'a un petit moment. Il sont visuellement dingues, mais là, on retourne aux sources, aux vraies mathématiques de quand vous étiez petit (enfin jeune quoi...lol).

Ce site, que je viens de découvrir c'est QArt Coder , un projet de Russ Cox (oui, LE Russ Cox de l'équipe Go chez Google, calmez vous les groupies) et comme d'hab, le gars n'est pas là pour enfiler des perles puisqu'il nous proposer de générer des QR codes qui intègrent une image... mais sans tricher comme avec ControlNet.

Je m'explique... Quand vous voyez un QR code avec logo classique, c'est souvent du bricolage : on colle une image au milieu et on compte sur la correction d'erreur du QR code (Reed-Solomon) pour compenser les zones masquées. C'est un peu sale, même si ça marche...

Russ Cox, lui, a pris le problème à l'envers. Plutôt que de casser le code et de le réparer, il utilise des maths (notamment le pivot de Gauss) pour manipuler les bits de redondance. En gros, il fait en sorte que les pixels "inutiles" du QR code s'arrangent pour former visuellement l'image, tout en conservant des données parfaitement valides.

Il est fort hein ?

Alors comment ça marche ?

C'est hyper simple :

• Vous allez sur QArt Coder .
• Vous uploadez votre image (préférez un truc bien contrasté, pixel art ou logo N&B).
• Vous jouez avec la taille, le positionnement et les cases "Dither" et autres pour que ça ressemble à quelque chose.
• Et voilà, vous obtenez un QR code valide qui affiche votre motif.

Un exemple de QR Code généré avec ma tête

Le résultat est un QR code où l'image est dessinée par les données elles-mêmes, et pas juste collée dessus. Ça reste donc lisible par la plupart des lecteurs standards, tant que vous n'avez pas trop abusé sur la complexité de l'image source et que le contraste est suffisant.

C'est sûr, ça a un look plus "rétro" et "glitchy" que les délires sous Stable Diffusion, mais c'est techniquement beaucoup plus élégant car chaque pixel est à sa place par nécessité mathématique et pas par hasard.

Voilà, si vous aimez les algos un peu pointus et les QR codes qui ne sont pas juste des damiers tristounes, foncez voir ça et pour ceux qui veulent creuser la théorie (et y'a de quoi faire), Russ Cox a tout détaillé sur sa page de recherche .

Après le PC sous Linux, le serveur sous OpenBSD ou le smartphone sous LineageOS, voici peut-être enfin le " Linux du quantique ".

Ahaha, et là vous vous dites, "Mais c'est quoi encore cette merde ?"

Bah non, c'est un vrai truc très sérieux ! En effet, l'Université de Waterloo vient de balancer un projet assez dingue baptisé Open Quantum Design (OQD) et pour une fois, ce n'est pas un simple simulateur qui tourne sur votre vieux PC poussiéreux, mais un vrai design complet d'ordinateur quantique full-stack... Full Stack, c'est pas un film avec JCVD, ça veut juste dire qu'ils proposent une solution de A à Z, du hardware physique jusqu'au soft qui pilote les lasers.

Car jusqu'à présent, même si des accès cloud existaient (merci IBM Q Experience), le cœur des machines restait souvent une boîte noire jalousement gardée par les géants de la tech ou d'affreuses startups aux dents longues.

Alors, pour comprendre vraiment comment ça marche "sous le capot", c'était bien coton. C'est pourquoi avec ce projet, l'idée est de péter ces barrières en proposant une architecture transparente et surtout collaborative.

Leur matos repose sur la technologie des ions piégés (ion-trapping) où en gros, on isole des ions (des atomes chargés) dans un vide poussé (ultra-high vacuum) et on les manipule avec des lasers et des champs électromagnétiques.

Ça permet de manipuler les qubits avec une précision de dingue, et d'en afficher les mesures. Ces ions servent de qubits pour traiter l'information quantique et le plus beau dans l'histoire, c'est que l'équipe partage tout : les plans du hardware, les couches électroniques de contrôle et bien sûr le logiciel !

Maintenant, pour ceux qui se demandent ce que change un ordi quantique open source, par rapport à un ordi quantique totalement fermé, c'est simple... Faut voir ça comme la fin du "croyez-nous sur parole". Ça met peu de lumière sur ce secteur et via ce hub, les chercheurs vont pouvoir contribuer et vérifier les progrès réels sans pression commerciale. OQD compte déjà plus de 30 contributeurs et des partenaires de poids comme Xanadu (côté hardware) ou la Unitary Foundation.

Maintenant, je vous vois venir les barbus du dimanche avec votre tournevis et votre sourire plein de miettes... "Est-ce qu'on peut fabriquer son ordinateur quantique DIY soi-même dans son garage ?"

Bon, calmez-vous direct les copains ! Désolé mais c'est pas encore un machin qu'on monte avec un tournevis et une pile 9V. Les lasers et le système de vide, c'est pas du matos qu'on trouve chez Casto (pour le moment) mais c'est quand même une sacrée avancée vers une science plus éthique, un peu comme quand j'écrivais sur les PCB en argile . On sort enfin du modèle propriétaire pour entrer dans l'ère de la collaboration ouverte.

D'ailleurs, ça me rappelle mes articles sur Quantum Echoes ou sur les dérives des benchmarks quantiques bidonnés . Ici, la transparence est la clé et comme le projet s'appuie sur des années de recherche au sein de l'IQC (Institute for Quantum Computing), ça permet enfin aux chercheurs de tester leurs algos sur du hardware dont ils connaissent chaque boulon !

Source

Hello les amis, j'espère que vous êtes en grande forme !

Moi en ce moment c'est un peu la galère et j'ai pas mal de trucs à gérer du coup, voyant mon désarroi, mon pote Vincent m'a conseillé de jouer à Animal Crossing parce que ça aide à faire le vide, histoire de bien se détendre le bulbe après une dure journée de boulot.

Je vous avoue que le scepticisme m'a gagné au début... enfin bon vous savez comment je suis.. C'est impossible pour moi de ne pas fouiller un peu le sujet... Et résultat ce que j'ai découvert, c'est qu'il existe des tas d'études scientifiques qui confirment effectivement qu'Animal Crossing est bon pour la santé !

La vie paisible sur l'île dans Animal Crossing New Horizons

De mon côté, j'ai donc suivi le conseil de Vincent et je me suis lancé ! Je suis encore dans une tente (oui oui une tente jaune pipi), je ramasse coquillages plus des papillons, que je revends ensuite dans le dos des Douanes, pour rembourser mon prêt à Tom Nook, ce fdp requin de la finance insulaire.

Les mauvaises herbes en prennent aussi pour leur grade, ah et puis j'ai même acheté un banc LEGO pour décorer mon campement.

Après quelques recherches, j'ai donc appris que le truc a été sérieusement étudié par des chercheurs d'Oxford . 2 756 joueurs ont été analysés par l'équipe du professeur Przybylski en 2020. Encore un chercheur avec des problèmes de clavier ^^ mais ce qu'il a trouvé chez ces joueurs, c'est qu'un bonheur globalement supérieur était ressenti par ceux qui jouaient environ 4 heures par jour. Pas "un peu", hein mais vraiment plus heureux !

Le truc cool c'est que jamais avant ça, une recherche n'avait été menée avec des données réelles fournies par Nintendo (car d'habitude quand on demande directement aux joueurs, ils estiment n'importe comment leur temps de jeu).

Côté confinement les témoignages de 1053 joueurs ont également été épluchés par des chercheurs (étude Frontiers in Virtual Reality 2021 ) et ceux qui recevaient des visiteurs sur leur île se sentaient moins seuls. Bref se faire des potes virtuels ça marche vraiment pour le moral !

D'ailleurs si vous êtes du genre tendu du string comme moi, sachez que ces bienfaits sont expliqués par les psychologues via la Self-Determination Theory (la théorie de l'autodétermination).

Je vais bien, tout va bien - Merci à Lorenper pour le portrait ;)

En gros les 3 cases du bien-être psychologique sont cochées par le jeu de Nintendo : ✅ le lien social (visites d'amis échanges de navets à prix d'or le dimanche matin...), ✅ la compétence (satisfaction de voir son musée se remplir petit à petit c'est grisant) sans oublier ✅ l'autonomie (on fait ce qu'on veut sur son île et y'a pas de libristes en mousse, euh, y'a personne pour nous casser les pieds ^^).

Voilà, après avoir joué quelques heures, je comprends maintenant pourquoi j'ai été poussé par Vincent à essayer ce truc. C'est comme un "reset mental" où la tête se vide en se concentrant sur des trucs simples. Et c'est ainsi que la pression de la vie retombe.

C'est de la science pas de la magie les amis !

Alors j'avoue... J'ai peut-être déjà passé trop de temps à chasser les papillons mais cela dit au moins, j'ai une excuse scientifique maintenant ^^.

Allez, bon jeu à tous et prenez soin de vous !

Source

Vous pensiez avoir tout vu en matière de projets geeks complètement déjantés ?

Hé bien accrochez-vous à vos slips, parce que des chercheurs, menés par le neuro-ingénieur Viktor Tóth, ont réussi à faire "jouer" des rats à DOOM. Pas en appuyant sur des boutons au hasard, non non, mais avec un casque de réalité virtuelle sur mesure, une boule de déplacement sous leurs pattes, et même une gâchette pour tirer sur les démons !

Je vous jure que c'est vrai. Le projet s'appelle " Rats Play DOOM " et c'est à la croisée de la neuroscience, de la robotique et du game design. L'idée de base, c'est de prouver qu'on peut entraîner des rongeurs à interagir avec des environnements virtuels contrôlés basés sur un moteur de jeu. Et quitte à faire ça, autant le faire avec le jeu le plus iconique des années 90.

Gros plan sur le casque VR panoramique pour rongeurs ( Source )

Le setup est assez dingue. Le rat est équipé d'un casque panoramique intégrant un écran AMOLED pliable qui offre 180 degrés de champ horizontal et 80 degrés de vertical. Il est installé sur une boule sphérique qui détecte ses mouvements via des capteurs, un peu comme une trackball géante. Quand il marche, court ou tourne, ça se traduit directement en déplacements dans le jeu.

Et pour ceux qui se demandent comment un rat peut vraiment dégommer des monstres... Hé bien oui, car Viktor a même fabriqué un levier custom avec un encodeur rotatif que le rat actionne avec ses pattes pour faire feu. Donc oui, les rats tirent sur des démons avec leurs petites papattes !

Le nouveau setup modulaire V2 ( Source )

Pour motiver nos petits rongeurs gamers, y'a évidemment un système de récompense. À chaque action réussie, le système distribue 10 microlitres d'eau sucrée via un solénoïde. C'est pas grand-chose mais pour un rat, c'est le graal. Au bout de deux semaines d'entraînement environ, les rats Todd, Kojima et Gabe (oui, ils ont des noms de légendes du jeu vidéo, on adore l'humour des chercheurs) ont réussi à naviguer dans l'environnement virtuel. Et là, ils ont même appris à déclencher le mécanisme de tir.

Bon, faut être honnête, ils n'ont pas encore terminé le jeu. L'équipe explique que les rats ont vieilli avant de pouvoir passer à l'entraînement avancé. Du coup, c'est plus une preuve de concept qu'un speedrun, mais quand même, c'est impressionnant. On est loin du simple contrôle neuronal de base, là car c'est une vraie interaction avec un moteur de jeu.

Setup V1 du projet Rats Play DOOM ( Source )

Côté technique, tout tourne sur un combo Raspberry Pi pour l'acquisition des capteurs en temps réel, et un PC qui fait tourner une version modifiée de ViZDoom. Le tout communique en TCP et hop, c'est géré par un script Python central. Et comme si ça suffisait pas, le projet est entièrement open source. Vous pouvez récupérer le code, les schémas électroniques et même les fichiers 3D pour imprimer les pièces sur le repo GitHub. Donc si vous avez un rat de compagnie et beaucoup trop de temps libre...

Le projet en est à sa deuxième version. Cette V2 est plus modulaire, avec des composants imprimables en 3D et une électronique plus fiable. C'est typiquement le genre de bidouille qui me rappelle pourquoi j'aime tant farfouiller dans les projets Raspberry Pi les plus improbables ^^.

D'ailleurs, si vous êtes fan de portages improbables, vous vous souvenez peut-être de cet article sur DOOM Retro , mais là avec les rats, on est clairement passé au niveau supérieur.

Bref, on vit vraiment une époque formidable où des gens financent des projets pour apprendre à des rats à buter des démons en VR. Et j'adore l'idée !

Il semblerait que l'intelligence artificielle ait fait suffisamment de progrès pour pourvoir assister à terme nos médecins débordés et en sous-nombre... C'est vrai que je vous parle souvent ici de comment les technos peuvent faire évoluer la médecine , mais là Google vient de passer un nouveau cap avec sa collection HAI-DEF (pour Health AI Developer Foundations, oui ils adorent les acronymes de barbares, je sais..).

Et là dedans, on trouve un gros morceau baptisé MedGemma 1.5 . Si la version précédente gérait déjà les radios 2D classiques, cette mise à jour s'attaque maintenant à la "haute dimension". En gros, le modèle peut maintenant analyser des volumes 3D issus de scanners (CT) ou d'IRM, et même des coupes d'histopathologie (l'étude des tissus biologiques).

Pas mal hein ?

L'idée n'est pas de remplacer le radiologue (pas encore... brrr), mais de lui servir d'assistant survitaminé pour repérer des anomalies ou localiser précisément des structures anatomiques. Ainsi, sur les tests de Google, MedGemma 1.5 améliore la précision de 14 % sur les IRM par rapport à la V1. C'est un sacré gain qui permet d'avoir des diagnostics plus justes et plus rapides.

Mais ce n'est pas tout puisque Google a aussi dégainé MedASR, un modèle de reconnaissance vocale (Speech-to-Text) spécialement entraîné pour la dictée médicale. Parce que bon, on sait tous que le vocabulaire d'un toubib, c'est un peu une langue étrangère pour une IA classique comme Whisper. Grâce à ça, MedASR affiche 58 % d'erreurs en moins sur les comptes-rendus de radios pulmonaires, soit de quoi faire gagner un temps précieux aux praticiens qui passent souvent des heures à saisir leurs notes.

D'ailleurs, si vous vous souvenez de mon article sur l'ordinateur plus efficace que les médecins , on y est presque ! Sauf que là, l'approche est plus collaborative. Les modèles sont d'ailleurs disponibles en "open" (enfin, avec les licences Google quoi) sur Hugging Face pour que les chercheurs et les boites de santé puissent bidouiller dessus.

Alors bien sûr, faut toujours rester prudent et Google précise bien que ce sont des outils de recherche et pas des dispositifs médicaux certifiés pour poser un diagnostic tout seuls. Je me souviens bien de Google Health et des questions sur la vie privée que ça soulevait à l'époque, mais techniquement, ça déchire.

Voilà, si ça vous intéresse, je vous laisse regarder leurs explications et vous faire votre propre avis sur la question... Maintenant, est-ce que vous seriez prêts à confier votre prochaine analyse à une IA (assistée par un humain, quand même) ?

Moi oui !

Bon, on n'est pas encore sur de la recharge de smartphone à distance depuis un satellite, lol, mais on vient de franchir une étape assez sympa dans le monde du "power beaming" c'est à dire de la transmission d'énergie sans fil...

Une startup de Virginie, Overview Energy, vient en effet de réussir un petit exploit. Ils ont envoyé de l'énergie depuis un avion en plein vol vers des récepteurs au sol. Ça s'est passé au-dessus de la Pennsylvanie, avec un vieux Cessna qui se faisait secouer par des vents de 70 nœuds à 5 000 mètres d'altitude et pourtant, malgré les turbulences, le faisceau a tenu bon.

Alors, calmez-vous tout de suite, les geekos, on ne parle pas de quoi alimenter une ville entière, hein ! Les chercheurs décrivent ça plutôt comme une manière de saupoudrer du courant. Ici l'enjeu n'était pas la puissance pure, mais simplement de prouver qu'on pouvait garder un faisceau parfaitement aligné sur sa cible malgré les mouvements d'un avion. C'est donc une première mondiale pour une plateforme mobile à cette distance.

Le truc intéressant, je trouve, c'est le choix de la technologie car là où beaucoup misent sur les micro-ondes, Overview Energy utilise de l'infrarouge (un faisceau laser, quoi).

Ils ont fait ce choix, parce que le spectre des micro-ondes est déjà complètement saturé et avec l'infrarouge, on peut surtout utiliser les fermes solaires déjà installées au sol comme récepteurs. Comme ça pas besoin de construire des antennes géantes et moche... Suffit de taper directement sur les panneaux photovoltaïques existants.

Derrière ce projet, on retrouve également du beau monde, notamment Paul Jaffe, un ancien cador de la DARPA et du Naval Research Laboratory, qui a lâché son poste de chef de projet pour rejoindre l'aventure. Le mec a l'air vraiment convaincu que c'est la solution pour débloquer le solaire spatial.

Parce que vous l'aurez compris, l'idée ULTIME avec cette techno, c'est évidemment de mettre tout ça sur des satellites en orbite géostationnaire. Là-haut, le soleil brille H24, sans nuages, sans politicien ^^, ni atmosphère pour faire chier.

Overview Energy vise un premier test en orbite basse d'ici 2028, avec pour objectif de balancer les premiers mégawatts depuis l'espace en 2030. C'est ambitieux, surtout quand on pense au coût de lancement et aux débris spatiaux, mais cette démo aérienne montre que la partie "visée" est sur la bonne voie.

Bref, on n'a plus qu'à attendre que le prix des lancements baisse encore un peu et peut-être qu'un jour, notre maison sera alimentée par un rayon laser tombant du ciel.

Si on ne meurt pas tout à cause du changement climatique, le futur sera radieux !

Source

J'sais pas si vous avez vu ça, mais des chercheurs d'OpenAI, d'Anthropic et de Google DeepMind ont décidé de traiter les grands modèles de langage comme des organismes extraterrestres qu'il faut disséquer pour comprendre leur fonctionnement.

Et pour cela, ils utilisent des techniques empruntées à la biologie pour analyser ces réseaux de neurones qu'on a pourtant créés nous-mêmes !

Cette approche originale s'appelle "interprétabilité mécanistique" (mechanistic interpretability en anglais, mais bon, ça sonne mieux que "on va ouvrir la bestiole pour voir ce qu'il y a dedans") et en gros, au lieu de se contenter de tester les modèles sur des tâches précises, ces équipes les étudient comme des biologistes examineraient un spécimen inconnu. Ils cartographient les "circuits neuronaux", identifient des "organes" fonctionnels, cherchent à comprendre quelles parties du modèle s'activent pour telle ou telle tâche.

Ce qui est bizarre c'est que ces systèmes, nous les avons nous-mêmes construits... On les a entraînés, on a choisi l'architecture, on a fourni les données... et pourtant on se retrouve à les étudier comme si c'était des aliens bourrés qui se seraient crashés dans le désert du Nevada.

Du coup, plusieurs équipes ont publié des résultats sur cette approche. Chez Anthropic, par exemple, ils ont cartographié des millions de "features" dans Claude, identifiant des groupes de neurones qui s'activent pour différents concepts abstraits, avec des recherches en cours pour détecter des comportements comme la tromperie. OpenAI a de son côté développé des outils pour visualiser comment l'information circule dans ses modèles, révélant l'existence de circuits neuronaux spécialisés dans différentes tâches.

Et ce qui ressort de ces recherches, c'est surtout qu'on commence à peine à grattouiller la surface. En effet, les modèles de langage présentent des comportements émergents qu'on ne peut pas prédire juste en regardant le code ou l'architecture. Du coup, une des façons majeures de comprendre ce qui se passe vraiment là-dedans, c'est de les observer en action et de déduire leur fonctionnement interne comme on le ferait avec n'importe quel système biologique.

Et l'enjeu va bien au-delà de la simple curiosité scientifique car comprendre le fonctionnement interne de ces modèles permettrait de les rendre plus sûrs, de détecter quand ils sont sur le point de générer des réponses problématiques , ou de mieux cibler leur entraînement. C'est aussi crucial pour la recherche sur l'alignement car si on veut s'assurer que les IA futures font vraiment ce qu'on veut qu'elles fassent, il faut d'abord comprendre comment elles prennent leurs décisions.

Mais bon, vous me connaissez, je suis toujours très optimiste sur toutes ces recherches scientifiques... Cependant, il faut quand même se méfier car les modèles actuels contiennent des dizaines voire des centaines de milliards de paramètres qui interagissent de façons complexes et cartographier tout ça, c'est un peu comme essayer de comprendre le cerveau humain neurone par neurone.

Donc oui on avance, mais on est encore très looooin d'une compréhension complète... Faudra être patient.

Source

On sait que l'IA bouffe le monde et la santé n'est pas épargnée... En effet, NVIDIA vient d'annoncer un partenariat massif avec le géant pharmaceutique Eli Lilly pour créer un labo de co-innovation en plein cœur de la Silicon Valley ou pas loin...

Ça discute quand même d'un investissement commun qui pourrait grimper jusqu'à 1 milliard de dollars sur les cinq prochaines années. Et le but c'est d'utiliser la puissance de calcul de NVIDIA et ses modèles d'IA pour trouver de nouveaux médicaments plus vite et plus efficacement. Jensen Huang, le boss de NVIDIA, est d'ailleurs convaincu que c'est dans les sciences de la vie que l'IA aura son impact le plus profond. Et quand Jensen dit un truc, en général, les serveurs chauffent derrière ^^.

En gros, ils vont monter un système d'apprentissage continu afin de faire bosser en boucle les "wet labs" de Lilly (les vrais labos avec des éprouvettes et des chercheurs) avec des "dry labs" computationnels (les serveurs de NVIDIA). Ce sont des expériences réelles qui vont nourrir les modèles d'IA, qui suggèreront ensuite de nouvelles expériences, et ainsi de suite, 24h/24.

Côté matos, ils vont s'appuyer sur la plateforme BioNeMo de NVIDIA et sur la future architecture Vera Rubin (qui devrait pointer le bout de son nez fin 2026). Et de ce que j'ai compris, ils ne vont pas s'arrêter à la recherche pure puisqu'ils comptent aussi utiliser l'IA, la robotique et les jumeaux numériques (via NVIDIA Omniverse) pour optimiser les lignes de production et la chaîne logistique, histoire d'être sûr que quand ils trouveront un remède miracle afin de le fabriquer à grande échelle sans galérer.

Ahaha, on n'a pas fini d’entendre chialer les complotistes adorateurs de la 5G ^^

C'est fou comme ça avance vite quand même... on est passé de la phase "je demande à ChatGPT c'est quoi ces boutons que j'ai sur les fesses" à la phase "on construit des usines à médicaments pilotées par IA".

C'est prometteur pour la suite !

Source

Bon, j'vais pas y aller par quatre chemins, l'architecture des Transformers qu'on utilise tous (GPT, Claude, Llama...) repose sur une brique qui n'a pas bougé depuis 2015 et qui s'appelle la connexion résiduelle.

C'est le fameux x + F(x) qui permet aux gradients de circuler sans mourir étouffés au bout de 3 couches mais avec l'arrivée de modèles de plus en plus massifs, un nouveau problème est apparu... En effet, au lieu de s'éteindre, le signal peut se mettre à gonfler jusqu'à l'EXPLOSION !!.

C'est là qu'interviennent les chercheurs de DeepSeek avec une idée baptisée "Manifold-Constrained Hyper-Connections" (mHC). Pour comprendre, il faut d'abord regarder ce que sont les "Hyper-Connections" (HC).

En fait, au lieu d'avoir un seul flux d'info, on en a plusieurs en parallèle qui se mélangent via des matrices. En pratique, cela veut dire que c'est vite le chaos. Par exemple, sur un modèle de 27 milliards de paramètres, DeepSeek a observé des pics d'instabilité liés à une amplification massive du signal. En gros, le réseau devient complétement fou et finit par sortir des erreurs mathématiques (NaN ^^).

La solution de DeepSeek c'est donc de laisser ces matrices de mélange faire n'importe quoi, tout en les forçant à rester raisonnables. Ils utilisent pour cela une contrainte dite "doublement stochastique". Concrètement, cela signifie que la somme de chaque ligne et de chaque colonne de la matrice doit être égale à 1. Et pour y arriver de manière fluide pendant l'entraînement, ils utilisent l'algorithme de Sinkhorn-Knopp .

En rouge, c'est le chaos (HC). En vert c'est pareil mais stabilisé grâce au mHC.

Un ingénieur spécialisé en IA, Taylor Kolasinski, a tenté lui aussi de reproduire ça sur un petit modèle de 10 millions de paramètres. Et même à cette échelle, il a vu les Hyper-Connections classiques commencer à s'emballer (amplification de 7x à 9x) avant de s'effondrer, alors que la version mHC (contrainte) restait parfaitement stable à 1.0.

Alors oui, mettre de telles barrières au réseau a un coût... Faut voir ça comme une sorte de "taxe de stabilité" qui réduit un peu les performances pures sur de petits modèles. Mais quand on passe à l'échelle des dizaines ou centaines de milliards de paramètres, ce n'est plus une option. Ça évite tout simplement au modèle d'exploser en plein vol.

Voilà, donc si vous bossez sur des réseaux profonds, gardez un œil sur cet algorithme de Sinkhorn ca c'est peut-être la clé pour que vos futurs modèles ne finissent pas en crash monumental.

Source