En effet, des chercheurs de Columbia Engineering viennent de présenter EMO, un humanoïde capable de synchroniser ses lèvres avec ce qu'il dit, et le plus dingue dans l'histoire c'est comment il a appris à faire ça.

En fait, il se mate dans un miroir tout en regardant des vidéos sur YouTube. Comme nous quoi quand on fait les gros muscles dans le miroir de la salle de bain pour se rassurer rapport à Tibo InShape, sauf que lui c'est pour apprendre à parler et il n'a pas besoin de 47 tentatives pour retenir un truc. Vous me direz, depuis le temps qu'on nous promet des androïdes capables de communiquer naturellement, je pense qu'on a le droit d'être sceptique mais là, y'a un petit truc qui change, vous allez voir...

En fait la bête embarque 26 petits moteurs sous une peau en silicone rien que pour sa tronche et ça lui permet de reproduire des expressions faciales plutôt convaincantes. Le hic c'est que jusqu'ici, ce genre de bidule ressemblait plus à un cauchemar animatronique ou à Bogdanov (paix à leur âme) qu'à autre chose.

Alors pour contrer ça, l'équipe de Hod Lipson au Creative Machines Lab de Columbia a utilisé ce qu'ils appellent une approche VLA (vision-to-action). En gros, EMO s'observe d'abord lui-même pour comprendre comment sa tronche bouge, puis il s'entraîne sur des heures de vidéos pour associer les sons aux mouvements de lèvres correspondants. Un peu comme ces travaux japonais sur l'apprentissage par les émotions mais poussé BEAUCOUP plus loin.

Et c'est scotchant parce qu'EMO peut parler et même chanter en anglais, français, arabe, chinois, japonais, coréen... oui le gars est plus polyglotte que la plupart d'entre nous et l'équipe qui l'a conçu a même sorti un album entier généré par IA et baptisé " Hello World ", où cette petite tête interprète les morceaux avec ses expressions faciales synchronisées.

C'est un peu déroutant c'est vrai mais avouez que c'est FOUFOU nan ?!

Bon, on est pas encore dans "iRobot" non plus, faut pas s'emballer et les sons en "B" et en "W" lui posent encore quelques soucis, parce que la peau en silicone, c'est pas aussi souple que des vraies lèvres... Et cette petite bouille qui vous regarde en chantonnant, ça reste un poil creepy comme un discours de Macron au nouvel an, mais pour une fois, j'ai envie d'y croire les amis ! Parce que ce genre de techno, ça ouvre des portes intéressantes telles que des interfaces naturelles pour les assistants vocaux, des frérots mécaniques moins flippants qu'un sourire d'Elon Pèlon, ou des prothèses faciales animées pour les personnes qui en auraient besoin.

J'ai hâte de voir la suite en tout cas ! Et si vous voulez voir les plus merveilleux robots de Korben info , il suffit de cliquer ici !

Source

Côté matériel, on est sur de la bidouille high level puisque l'automate de Josh embarque un microcontrôleur ESP32 qui pilote 12 solénoïdes pour presser les boutons A, B, X, Y et les gâchettes. Mais le vrai défi, c'était le joystick car pour contrôler les mouvements à 360°, il a fallu concevoir un manipulateur parallèle sphérique (SPM) avec des moteurs pas à pas NEMA 17.

L'architecture complexe du manipulateur de joystick ( Source )

Et là où ça devient vraiment impressionnant, c’est son utilisation de la fonction StallGuard des drivers TMC2209. Ça permet de calibrer les moteurs sans interrupteurs physiques en détectant quand le joystick arrive en butée. C’est pas idiot et ça offre une sacrée précision pour les mini-jeux qui demandent de la finesse.

Josh a même prévu un "Puppet System" c'est à dire un troisième Joy-Con connecté en Bluetooth à l'ESP32 pour reprendre la main manuellement si besoin. C’est un peu comme Mario Party en carton mais avec des muscles en métal et un cerveau dopé à la vision intelligente.

Le stand Deep-Boo a attiré les foules à l'Open Sauce 2025 ( Source )

Lors de l'évènement, le petit fantôme mécanique a même défié Ludwig , le célèbre streameur, au jeu de "button mashing" Domination.

Et sans surprise, notre petit robot l'a complétement fumé avec un score de 99 !

Voilà et comme vous connaissez mon amour pour le DIY, vous vous doutez bien que je ne vais pas vous laisser comme ça sur votre faim ! En effet, si vous voulez vous lancer dans la robotique de gaming, tout le code et les fichiers de design sont dispo sur le dépôt GitHub de Josh !

Source