Un modèle text-to-video open source, gratuit et capable de tourner ailleurs que sur un supercalculateur de la NASA ?

J'avoue, j'ai cru au fake en découvrant le truc, surtout quand on voit la puissance de feu qu'il faut chez OpenAI (Sora) ou Google (Veo) pour sortir le moindre clip de 3 secondes. Mais BON, parfois, il suffit de deux frères motivés pour bousculer un peu les géants de l'IA.

Et c'est 2 frères, ce sont Sahil et Manu Chopra, qui depuis l'automne 2022 bosse avec acharnement sur leur modèle de génération de vidéos baptisé Linum .

Leur histoire est assez dingue et c'est pour ça que je vous la raconte aujourd'hui. En fait, au début, ils ont fait comme tout le monde. C'est à dire qu'ils ont essayé de bidouiller Stable Diffusion XL pour lui faire cracher de la vidéo. Ils ont fini par mettre au point une extension un peu "hacky" basé sur un modèle image, sauf que ça ne marchait pas très bien.

Enfin si, ça sortait des GIFs d'une seconde en 180p pour Discord mais pas vraiment de quoi faire trembler Hollywood et Matthew McConaughey (lol). Le problème, c'est que les VAE (les encodeurs d'images) ne comprennent rien au temps qui passe, alors ils traitent chaque frame indépendamment et ça donne cet effet de scintillement insupportable qu'on retrouve dans pas mal de générateurs vidéo libre ou open source.

Du coup, ils ont pris une décision radicale. Tout foutre à la poubelle et repartir de zéro !

Ils ont donc passé deux longues années à batir Linum v2 "from scratch". Cela veut dire qu'il ont du trouver les données, entraîner des modèles de vision pour filtrer le dataset, mettre manuellement des légendes sur des milliers de vidéos, gérer les clusters de GPU... et j'en passe !

Votre navigateur ne supporte pas la lecture de vidéos HTML5. Voici un
<a href="/quand-2-frangins-construisent-une-ia-video-dans-leur-garage/quand-2-frangins-construisent-une-ia-video-dans-leur-garage-1.mp4">lien vers la vidéo</a>.

Votre navigateur ne supporte pas la lecture de vidéos HTML5. Voici un
<a href="/quand-2-frangins-construisent-une-ia-video-dans-leur-garage/quand-2-frangins-construisent-une-ia-video-dans-leur-garage-1.mov">lien vers la vidéo</a>.

Vous pensiez avoir tout vu avec les manipulations d'images ? Les générateurs de mèmes, les filtres rigolos, tout ça... Bon, on rigole bien entre potes. Sauf que là, c'est la Maison Blanche qui s'y met et tristement c'est pas pour faire du "lol".

Je vous explique le délire. Jeudi dernier, l'administration Trump a voulu crâner sur les réseaux sociaux. Ils ont annoncé l'arrestation de plusieurs manifestants qui avaient perturbé un office religieux dimanche dernier à Cities Church (St. Paul). Ils protestaient contre un pasteur, David Easterwood, qui serait également le directeur par intérim de l'antenne locale de l'agence fédérale U.S. Immigration and Customs Enforcement (ICE).

Jusque-là, de la politique classique. Mais là où ça dérape sévère, c'est quand ils ont balancé la photo de l'une des personnes arrêtées. La dame en question s'appelle Nekima Levy Armstrong et c'est pas n'importe qui. Avocate des droits civils, ancienne présidente du chapitre de Minneapolis de la NAACP. Elle est une figure très respectée. Sur la photo originale de son arrestation, elle a un visage neutre. Digne.

Sauf que la Maison Blanche a trouvé ça trop "calme" sans doute. Alors ils ont diffusé une version de la photo manipulée numériquement pour la transformer complètement.

Résultat, sur l'image postée par le compte officiel @WhiteHouse, on voit Nekima Levy Armstrong en train de sangloter à chaudes larmes. Genre gros bébé qui chiale. Et c'est là que le venin se diffuse car ce n'est pas juste une modification esthétique.

C'est carrément une manipulation symbolique dégueulasse !

A gauche la photo IA, à droitela VRAIE photo

En faisant ça, ils activent un vieux levier bien rance : le stéréotype de la "Sapphire" ou de la " Angry Black Woman ". C'est un genre d'hyperbole qui trouve ses racines dans les représentations caricaturales du XIXe siècle (les fameux minstrel shows ) avant d'être codifié au XXe siècle.

L'idée c'est de présenter les femmes noires comme des êtres intrinsèquement hystériques, incapables de se contrôler, qui hurlent et chouinent pour un rien. C'est une technique de déshumanisation pure et simple. La Maison Blanche a transformé une opposante politique digne en caricature pleurnicharde pour lui ôter toute crédibilité.

Et quand les journalistes ont demandé des comptes, le service de presse de la Maison Blanche a renvoyé vers un post sur X de Kaelan Dorr (directeur adjoint de la communication) dont la réponse est glaciale : "L'application de la loi continuera. Les mèmes continueront." Hop. Circulez, y'a rien à voir. C'est assumé. Ils manipulent l'information, déforment la réalité pour servir un discours politique, et ils appellent ça un "mème".

Putain, que ces gens sont à vomir.

Le fond de l'histoire maintenant, c'est que ces gens demandaient justice pour Renee Good, une mère de famille abattue par un agent de l'ICE le 7 janvier dernier. L'administration invoque la légitime défense, mais des vidéos et des analyses contestent fermement cette version. Ce sont des vies brisées, des tragédies réelles et en face, on a un gouvernement qui s'amuse avec des outils IA pour transformer la douleur et la dignité en "blague" raciste.

Y'a vraiment de quoi se taper la tête contre les murs. Ça me rappelle un peu les dérives qu'on voit avec les IA qui manipulent les émotions pour du business ou de la politique. Cette technologie devrait faire avancer la science et booster la productivité mais pour l'instant, dans les mains de certains, ça sert surtout à industrialiser la haine et à maquiller le mensonge. Comme le dit souvent Mikko Hyppönen, si c'est intelligent, c'est vulnérable et là c'est pas de l'IoT, mais notre perception de la réalité déjà bien fragilisée depuis quelques années, qui est visée.

Voilà... quand la technologie sert à fabriquer de la désinformation d'État, il est grand temps, je pense, de se réveiller. Donc restez aux aguets les amis, parce que les fascistes, eux la vérité, ils s'en tamponnent le coquillard.

Source