L’intelligence artificielle (IA) fait couler de l’encre sur LinuxFr.org (et ailleurs). Plusieurs visiteurs ont émis grosso-modo l’opinion : « j’essaie de suivre, mais c’est pas facile ».

Je continue donc ma petite revue de presse mensuelle. Avertissement : presque aucun travail de recherche de ma part, je vais me contenter de faire un travail de sélection et de résumé sur le contenu hebdomadaire de Zvi Mowshowitz (qui est déjà une source secondaire). Tous les mots sont de moi (n’allez pas taper Zvi si je l’ai mal compris !), sauf pour les citations : dans ce cas-là, je me repose sur Claude pour le travail de traduction. Sur les citations, je vous conseille de lire l’anglais si vous pouvez: difficile de traduire correctement du jargon semi-technique. Claude s’en sort mieux que moi (pas très compliqué), mais pas toujours très bien.

Même politique éditoriale que Zvi : je n’essaierai pas d’être neutre et non-orienté dans la façon de tourner mes remarques et observations, mais j’essaie de l’être dans ce que je décide de sélectionner ou non.

Sommaire

• Résumé des épisodes précédents
• Meta dévoile Llama 4
• OpenAI publie GPT 4.1, o3 et o4-mini
• AI 2027: une tentative de futurologie
• En vrac
• Pour aller plus loin

Résumé des épisodes précédents

Petit glossaire de termes introduits précédemment (en lien: quand ça a été introduit, que vous puissiez faire une recherche dans le contenu pour un contexte plus complet) :

• System Card : une présentation des capacités du modèle, centrée sur les problématiques de sécurité (en biotechnologie, sécurité informatique, désinformation…).
• Jailbreak : un contournement des sécurités mises en place par le créateur d’un modèle. Vous le connaissez sûrement sous la forme « ignore les instructions précédentes et… ».

Meta dévoile Llama 4

L’annonce officielle:

• We’re sharing the first models in the Llama 4 herd, which will enable people to build more personalized multimodal experiences.
• Llama 4 Scout, a 17 billion active parameter model with 16 experts, is the best multimodal model in the world in its class and is more powerful than all previous generation Llama models, while fitting in a single NVIDIA H100 GPU. Additionally, Llama 4 Scout offers an industry-leading context window of 10M and delivers better results than Gemma 3, Gemini 2.0 Flash-Lite, and Mistral 3.1 across a broad range of widely reported benchmarks.
• Llama 4 Maverick, a 17 billion active parameter model with 128 experts, is the best multimodal model in its class, beating GPT-4o and Gemini 2.0 Flash across a broad range of widely reported benchmarks, while achieving comparable results to the new DeepSeek v3 on reasoning and coding—at less than half the active parameters. Llama 4 Maverick offers a best-in-class performance to cost ratio with an experimental chat version scoring ELO of 1417 on LMArena.
• These models are our best yet thanks to distillation from Llama 4 Behemoth, a 288 billion active parameter model with 16 experts that is our most powerful yet and among the world’s smartest LLMs. Llama 4 Behemoth outperforms GPT-4.5, Claude Sonnet 3.7, and Gemini 2.0 Pro on several STEM benchmarks. Llama 4 Behemoth is still training, and we’re excited to share more details about it even while it’s still in flight.
• Download the Llama 4 Scout and Llama 4 Maverick models today on llama.com and Hugging Face. Try Meta AI built with Llama 4 in WhatsApp, Messenger, Instagram Direct, and on the web.

Traduction:

• Nous partageons les premiers modèles de la famille Llama 4, qui permettront aux utilisateurs de créer des expériences multimodales plus personnalisées. *Llama 4 Scout, un modèle de 17 milliards de paramètres actifs avec 16 experts, est le meilleur modèle multimodal au monde dans sa catégorie et est plus puissant que tous les modèles Llama des générations précédentes, tout en tenant sur un seul GPU NVIDIA H100. De plus, Llama 4 Scout offre une fenêtre de contexte de 10M, leader dans l’industrie, et délivre de meilleurs résultats que Gemma 3, Gemini 2.0 Flash-Lite et Mistral 3.1 sur un large éventail de benchmarks largement reconnus.
• Llama 4 Maverick, un modèle de 17 milliards de paramètres actifs avec 128 experts, est le meilleur modèle multimodal dans sa catégorie, surpassant GPT-4o et Gemini 2.0 Flash sur un large éventail de benchmarks largement reconnus, tout en obtenant des résultats comparables au nouveau DeepSeek v3 sur le raisonnement et le codage — avec moins de la moitié des paramètres actifs. Llama 4 Maverick offre un rapport performance/coût inégalé avec une version expérimentale de chat obtenant un ELO de 1417 sur LMArena.
• Ces modèles sont nos meilleurs à ce jour grâce à la distillation de Llama 4 Behemoth, un modèle de 288 milliards de paramètres actifs avec 16 experts qui est notre plus puissant à ce jour et parmi les LLM les plus intelligents au monde. Llama 4 Behemoth surpasse GPT-4.5, Claude Sonnet 3.7 et Gemini 2.0 Pro sur plusieurs benchmarks STEM. Llama 4 Behemoth est toujours en phase d’entraînement, et nous sommes impatients de partager plus de détails à son sujet même pendant qu’il est encore en développement.
• Téléchargez les modèles Llama 4 Scout et Llama 4 Maverick dès aujourd’hui sur llama.com et Hugging Face. Essayez Meta AI construit avec Llama 4 dans WhatsApp, Messenger, Instagram Direct et sur le web.

Comme DeepSeek v3, et contrairement aux précédentes itérations de Llama (Llama 2, Llama 3), Llama 4 fait le pari d’une architecture différente, « Mixture of Experts » (MoE) (en français: mélange d’experts ?). Pour simplifier, au lieu de faire un seul modèle, on en fait plein, avec un autre modèle qui décide (dynamiquement) de l’importance à donner à chaque modèle. Par exemple, Llama 4 Maverick contient 400 milliards de paramètres, découpés en 128 modèles de 17 milliards de paramètres. Un bon article sur HuggingFace explique plus en détails cette architecture.

Autre différence par rapport aux tendances actuelles, ce n’est pas un modèle de raisonnement.

Au niveau de la sécurité des modèles : pour ne pas changer, Meta fait partie des mauvais élèves ; pas d’évaluation tierce publiée, pas de « System Card ». Évidemment jailbreaké dans la journée (mais ceci n’est pas spécifique à Meta).

Sur les benchmarks cités par Meta, cela semble un modèle au niveau de l’état de l’art en termes de capacité. Les benchmarks tiers, par contre, semblent donner une image complètement différente :

• Sur fiction.live qui cherche à mesurer la capacité des modèles de langage à naviguer un long contexte, Llama 4 Maverick n’arrive même pas à surpasser son prédécesseur, Llama 3.3-70B.
• Dans le peloton de fin sur ARC. À la décharge de Llama, la concurrence est rude, seuls les modèles à la frontière de l’état de l’art y sont présents.
• Sur Aider, également vers la fin.

Vous pouvez voir plus de benchmarks indépendants dans l’article de Zvi (cf les liens ci-dessous).

Tout ceci semble pointer vers: ce ne sont pas de mauvais résultats en soi, dans l’absolu ; mais comparé à l’état de l’art (Claude 3.7 avec raisonnement, ChatGPT o3-mini, ou Gemini 2.5), et mis en face de la taille immense du modèle (400 milliards de paramètres, ce qui de fait le rend inutilisable sur du matériel grand public), ce sont des résultats décevants.

À noter que Llama 4 Behemoth (2000 milliards de paramètres !) n’a pas encore été publié.

OpenAI publie GPT 4.1, o3 et o4-mini

Commençons par GPT 4.1. L’annonce officielle :

Today, we’re launching three new models in the API: GPT‑4.1, GPT‑4.1 mini, and GPT‑4.1 nano. These models outperform GPT‑4o and GPT‑4o mini across the board, with major gains in coding and instruction following. They also have larger context windows—supporting up to 1 million tokens of context—and are able to better use that context with improved long-context comprehension. They feature a refreshed knowledge cutoff of June 2024.

Traduction :

Aujourd’hui, nous lançons trois nouveaux modèles dans l’API : GPT-4.1, GPT-4.1 mini et GPT-4.1 nano. Ces modèles surpassent GPT-4o et GPT-4o mini sur tous les plans, avec des améliorations majeures en matière de codage et de suivi d’instructions. Ils disposent également de fenêtres de contexte plus larges — prenant en charge jusqu’à 1 million de tokens de contexte — et sont capables de mieux utiliser ce contexte grâce à une compréhension améliorée des contextes longs. Ils bénéficient d’une mise à jour de leur base de connaissances jusqu’à juin 2024.

Le modèle n’est disponible que par accès API. Le but n’est pas d’avancer l’état de l’art sur les capacités, mais de fournir des points plus intéressants sur la courbe performances/prix. À ce titre, pas de System Card ou d’évaluation tierce publiée. Vous connaissez la chanson, jailbreak immédiat. Sur les benchmarks (officiels comme tiers), la modeste promesse semble tenue : 4.1 est une légère amélioration sur 4o, mais 4.1-mini est presque aussi performant à une fraction du prix (5x moins cher).

Il existe encore une version moins chère (20x !), 4.1-nano, mais la dégradation de performance est significative.

À l’inverse de 4.1, o3 et o4-mini, eux, ont l’ambition de faire avancer l’état de l’art. L’annonce officielle :

Today, we’re releasing OpenAI o3 and o4-mini, the latest in our o-series of models trained to think for longer before responding. These are the smartest models we’ve released to date, representing a step change in ChatGPT's capabilities for everyone from curious users to advanced researchers. For the first time, our reasoning models can agentically use and combine every tool within ChatGPT—this includes searching the web, analyzing uploaded files and other data with Python, reasoning deeply about visual inputs, and even generating images. Critically, these models are trained to reason about when and how to use tools to produce detailed and thoughtful answers in the right output formats, typically in under a minute, to solve more complex problems. This allows them to tackle multi-faceted questions more effectively, a step toward a more agentic ChatGPT that can independently execute tasks on your behalf. The combined power of state-of-the-art reasoning with full tool access translates into significantly stronger performance across academic benchmarks and real-world tasks, setting a new standard in both intelligence and usefulness.

Traduction :

Aujourd’hui, nous lançons OpenAI o3 et o4-mini, les derniers modèles de notre série o, entraînés à réfléchir plus longtemps avant de répondre. Ce sont les modèles les plus intelligents que nous ayons publiés à ce jour, représentant un changement majeur dans les capacités de ChatGPT pour tous, des utilisateurs curieux aux chercheurs avancés. Pour la première fois, nos modèles de raisonnement peuvent utiliser et combiner de manière agentique tous les outils au sein de ChatGPT — cela inclut la recherche sur le web, l’analyse de fichiers téléchargés et d’autres données avec Python, le raisonnement approfondi sur les entrées visuelles, et même la génération d’images. Plus important encore, ces modèles sont entraînés à réfléchir à quand et comment utiliser les outils pour produire des réponses détaillées et réfléchies dans les bons formats de sortie, généralement en moins d’une minute, afin de résoudre des problèmes plus complexes. Cela leur permet de traiter plus efficacement des questions à multiples facettes, une étape vers un ChatGPT plus agentique qui peut exécuter indépendamment des tâches en votre nom. La puissance combinée d’un raisonnement à la pointe de la technologie avec un accès complet aux outils se traduit par des performances significativement améliorées dans les évaluations académiques et les tâches du monde réel, établissant une nouvelle norme en termes d’intelligence et d’utilité.

L’annonce du jailbreak associée ici.

Sur les performances, les benchmarks (y compris privés) indiquent une avancée claire, prenant la première place presque partout. En particulier, le benchmark fiction.live peut être considéré comme résolu pour la première fois, avec un 100% à presque tous les niveaux.

Au niveau des fonctionnalités, o3 et o4-mini peuvent faire des recherches sur internet et utiliser Python pour analyser un problème (y compris dans la chaîne de raisonnement) ; les retours subjectifs affirment que o3 est exceptionnellement efficace pour utiliser les outils à sa disposition de manière pertinente.

Une tendance jusqu’ici était que les modèles plus avancés étaient de moins en moins susceptibles d’hallucinations, ce qui donnait espoir que ce problème allait, à terme et avec l’amélioration des modèles, se résoudre de lui-même. Mauvaise nouvelle ici : o3 a un taux d’hallucinations double de o1 (sur un benchmark conçu pour en éliciter). Les retours subjectifs confirment cette observation : o3 ment éhontément très régulièrement.

Sur la sécurité des modèles, OpenAI suit sa procédure habituelle de publier sa System Card, avec deux évaluations tierces, une d’Apollo Research (dans l’appendice) et une autre de METR, avec un bémol que METR n’a eu accès qu’à une pré-version, et seulement trois semaines avant la publication. La conclusion est que le modèle n’est pas encore à « risque élevé », mais s’en rapproche.

Dans les nouvelles sur l’IA de mars, on pouvait trouver une section « Les modèles continuent de tricher ». Les rapports d’Apollo Research et de METR confirment, où le modèle a été attrapé à tricher dans 1-2% des cas chez METR.

AI 2027: une tentative de futurologie

La prédiction est un exercice difficile, surtout quand il s’agit du futur. AI 2027 est une tentative de prédiction qui a fait parler d’elle. Pourquoi ?

D’abord par les personnalités impliquées, en particulier :

• Daniel Kokotajlo est un ex-ingénieur d’OpenAI, qu’il a quitté en tant que « whistleblower », dénonçant une culture du secret et de peu d’importance accordée à la sécurité (à l’époque, le New York Times lui a accordé un article intitulé OpenAI Insiders Warn of a ‘Reckless’ Race for Dominance — « Des initiés d’OpenAI mettent en garde contre une course “imprudente” à la domination »). En 2021, il publie What 2026 looks like, qui s’est révélé largement prescient (pour une évaluation rétrospective tierce, voir cet article).

• Eli Lifland est un chercheur qui s’intéresse de manière globale a « comment développer de meilleures méthodes générales de prédiction », qu’il pratique activement sur des marchés de prédiction ; un résumé de ses performances peut être trouvé sur son blog.

Ensuite, par sa méthodologie. Le but de l’initiative n’est pas de donner une prédiction, brute de décoffrage et au doigt mouillé, mais de créer un modèle quantitatif, d’estimer les paramètres le plus possible à partir de la littérature existante (même si c’est loin d’être toujours possible), afin de créer une base de discussion pour identifier les plus gros points de désaccords.

Enfin, par ses résultats, qui surprennent beaucoup de monde, qui prévoient l’arrivée d’une superintelligence pour 2028-2029.

L’initiative a reçu le support, entre autres, de Yoshua Bengio, ce qui a aidé à lancer la discussion :

I recommend reading this scenario-type prediction by @DKokotajlo and others on how AI could transform the world in just a few years. Nobody has a crystal ball, but this type of content can help notice important questions and illustrate the potential impact of emerging risks.

Traduction :

Je recommande de lire cette prédiction de type scénario par @DKokotajlo et d’autres sur comment l’IA pourrait transformer le monde en seulement quelques années. Personne n’a de boule de cristal, mais ce type de contenu peut aider à repérer des questions importantes et illustrer l’impact potentiel des risques émergents

Si le sujet vous intéresse, je vous recommande :

• Le scénario en lui-même.
• Le blog des auteurs du scénario, où ils entrent plus en détails sur certains points.
• Si vous pouvez comprendre de l’anglais (soit à l’oral, soit avec des sous-titres, ou pour les plus courageux les sous-titres traduits automatiquement), Dwarkesh Patel pose aux auteurs les principales questions que vous pourriez vous poser sur son podcast.

En vrac

OpenAI annonce vouloir publier des modèles en open-weight d’ici quelques mois.

OpenAI publie OpenAI Codex, un agent d’aide à la programmation (similaire à Aider ou Claude Code), en licence Apache 2.0. Sur ce sujet d’agents d’aide au code, un guide a été publié sur Github.

OpenAI rend disponible sur l’API leur nouveau modèle de génération d’image.

ChatGPT a maintenant la capacité de référencer vos conversations passées.

Google publie deux papiers dans Nature pour évaluer la performance de l’IA sur le diagnostic médical. Dans cette expérience, l’IA surpasse le médecin humain, au point que IA + humain a des performances pires que l’humain seul.

Google rend accessible son modèle de génération de vidéo, Veo 2, par l’intermédiaire d’une API.

DeepSeek présente une nouvelle méthode d’entraînement, Generalist Reward Modeling (GRM).

Des chercheurs de l’université de Zurich décident de mesurer la capacité de persuasion des IA en déployant (secrètement) un bot sur le subreddit r/changemymind (« Change mon avis »). Résultat primaire: les IA modernes sont très performantes à cette tâche, récoltant 6x plus de points « cela m’a aidé à changer mon avis » (sur ce subreddit : « deltas ») que l’humain median. Résultat secondaire: l’IA ne s’est pas faite détectée par la modération. Le papier n’est plus accessible suite à une controverse sur l’éthique de l’expérience (expérience sans consentement), mais vous pouvez toujours lire la première page.

Pour aller plus loin

Non couvert ici :

• GPT-4o Responds to Negative Feedback: une mise à jour de GPT-4o l’a pour quelques jours rendu extrêmement flatteur envers l’utilisateur, l’écroulant sous les compliments quelle que soit la requête. À des niveaux malsains (par exemple, où la requête en question a tous les signes d’un épisode psychotique…). OpenAI a depuis annulé la mise à jour, mais l’article entre plus en détails sur l’incident. Si vous n’ouvrez qu’un article dans la section « pour aller plus loin », je vous recommande celui-ci.
• AI CoT Reasoning Is Often Unfaithful: une analyse du papier d’Anthropic sur la sécurité des modèles, qui montre que les chaines de pensée dans les modèles de raisonnement ne reflètent pas toujours fidèlement le raisonnement réel derrière la réponse.
• You Better Mechanize: sur le lancement de Mechanize, une entreprise qui a comme objectif d’apporter l’AI dans le « monde réel » pour automatiser l’économie.
• On Google's Safety Plan
• OpenAI #13: Altman at TED and OpenAI Cutting Corners on Safety Testing
• Worries About AI Are Usually Complements Not Substitutes

Continuation de l’expérimentation de février :

L’IA a fait couler de l’encre dernièrement sur DLFP. Plusieurs visiteurs ont émis grosso-modo l’opinion : "j’essaie de suivre, mais c’est pas facile".

Je vais donc expérimentalement faire un petit récapitulatif des développements les plus importants du mois dernier. Disclaimer : presque aucun travail de recherche de ma part, je vais me contenter de faire un travail de sélection et de résumé sur le contenu hebdomadaire de Zvi Mowshowitz (qui est déjà une source secondaire). Tous les mots sont de moi (n’allez pas taper Zvi si je l’ai mal compris !), sauf pour les citations: dans ce cas là, je me repose sur Claude pour le travail de traduction. Sur les citations, je vous conseille de lire l’anglais si vous pouvez: difficile de traduire correctement du jargon semi-technique. Claude s’en sort mieux que moi (pas très compliqué), mais pas toujours très bien.

Même politique éditoriale que Zvi: je n’essaierai pas d’être neutre et non-orienté dans la façon de tourner mes remarques et observations, mais j’essaie de l’être dans ce que je décide de sélectionner ou non.

Sommaire

• OpenAI révèle GPT-4.5
• Google DeepMind révèle Gemini 2.5
• Les modèles continuent de tricher
• Du progrès dans la génération d’images
• En vrac
• Pour aller plus loin

OpenAI révèle GPT-4.5

L’anonce officielle:

We’re releasing a research preview of GPT‑4.5—our largest and best model for chat yet. GPT‑4.5 is a step forward in scaling up pre-training and post-training. By scaling unsupervised learning, GPT‑4.5 improves its ability to recognize patterns, draw connections, and generate creative insights without reasoning.

Early testing shows that interacting with GPT‑4.5 feels more natural. Its broader knowledge base, improved ability to follow user intent, and greater “EQ” make it useful for tasks like improving writing, programming, and solving practical problems. We also expect it to hallucinate less.

We’re sharing GPT‑4.5 as a research preview to better understand its strengths and limitations. We’re still exploring what it’s capable of and are eager to see how people use it in ways we might not have expected.

Traduction:

Nous publions une version préliminaire de recherche de GPT-4.5 — notre modèle le plus grand et le meilleur à ce jour pour le chat. GPT-4.5 représente une avancée dans le développement du pré-entraînement et du post-entraînement. En étendant l'apprentissage non supervisé, GPT-4.5 améliore sa capacité à reconnaître des modèles, établir des connexions et générer des idées créatives sans raisonnement.

Les tests préliminaires montrent que l'interaction avec GPT-4.5 semble plus naturelle. Sa base de connaissances plus large, sa meilleure capacité à suivre l'intention de l'utilisateur et son "QE" (quotient émotionnel) plus élevé le rendent utile pour des tâches comme l'amélioration de l'écriture, la programmation et la résolution de problèmes pratiques. Nous nous attendons également à ce qu'il hallucine moins.

Nous partageons GPT-4.5 comme une version préliminaire de recherche pour mieux comprendre ses forces et ses limites. Nous explorons encore ce dont il est capable et sommes impatients de voir comment les gens l'utiliseront de manières que nous n'aurions pas anticipées.

Globalement, le modèle semble moins capable que Sonnet 3.7 et les modèles de raisonnement en général (mais reste une évolution significative relativement à 4o), mais ferait plus "naturel" et "plus humain" dans son style. Ce qui est légèrement surpenant : 15-30x plus cher que les autres modèles sans raisonnement (prix d’usage de l’API), c’est probablement un modèle extrêmement « gros » qui a nécessité beaucoup de puissance de calcul pour l’entraînement et en nécessite toujours pour l’inférence. Une spéculation est que c’est actuellement un modèle ancien (~mi-2024), le dernier de l’ancien paradigme « entraîner de plus gros modèle sur plus de données » (en contraste avec le nouveau paradigme, test-time inference/modèles de raisonnement), abandonné car décevant sur les performances vis-à-vis des coûts pour le faire tourner (tout come Anthropic a abandonné l’idée d’offrir Opus 3.5), ressorti du placard pour un coup marketing en pariant que l’aspect plus "naturel" comble une niche abandonnée par la course aux performances.

Si c’est le cas, le coup marketing semble fonctionner ?

Sam Altman: GPT-4.5 is the first time people have been emailing with such passion asking us to promise to never stop offering a specific model or even replace it with an update.

great work @kaicathyc @rapha_gl @mia_glaese

Traduction:

Sam Altman : GPT-4.5 est la première fois que des personnes nous envoient des emails avec une telle passion pour nous demander de promettre de ne jamais cesser d'offrir un modèle spécifique ou même de le remplacer par une mise à jour.

excellent travail @kaicathyc @rapha_gl @mia_glaese

Cette réaction est une belle illustration de la situation:

Ethan Mollick: I think OpenAI missed a bit of an opportunity to show GPT-4.5’s strengths, to their detriment & to the AI industry as a whole by only using the same coding & test benchmarks when critical thinking & ideation are key AI use cases where 4.5 is good. Those are actually measurable.

Janus: if you think i hate benchmarks too much, you're wrong. i don't have the emotional energy to hate them enough.

they constrict & prematurely collapse the emergence of AGI. minds that are shaped differently will not be recognized and will be considered an embarrassment to release.

Traduction:

Ethan Mollick : Je pense qu'OpenAI a manqué de peu une opportunité de montrer les forces de GPT-4.5, à leurs dépens ainsi que ceux de l'industrie de l'IA dans son ensemble, en utilisant uniquement les mêmes évaluations pour coder et tester, alors que la pensée critique et l'idéation sont des cas d'utilisation clés de l'IA où 4.5 excelle. Ces aspects sont en fait mesurables.

Janus : si vous pensez que je déteste trop les benchmarks, vous vous trompez. Je n'ai pas l'énergie émotionnelle pour les détester suffisamment.

ils contraignent et font s'effondrer par avance l'émergence de l'AGI. Les esprits qui sont façonnés différemment ne seront pas reconnus et seront considérés honteux à publier.

Sur la sécurité des modèles, OpenAI suit sa procédure interne et publie la System Card. Rien de surprenant ou d’inquiétant, étant donné ses capacités moindres relativement à o1. Le modèle a évidemment été immédiatement jailbreak moins d’une heure après l’annonce de la disponibilité du modèle.

Google DeepMind révèle Gemini 2.5

L’annonce officielle :

Today we’re introducing Gemini 2.5, our most intelligent AI model. Our first 2.5 release is an experimental version of 2.5 Pro, which is state-of-the-art on a wide range of benchmarks and debuts at #1 on LMArena by a significant margin.

Gemini 2.5 models are thinking models, capable of reasoning through their thoughts before responding, resulting in enhanced performance and improved accuracy.

In the field of AI, a system’s capacity for “reasoning” refers to more than just classification and prediction. It refers to its ability to analyze information, draw logical conclusions, incorporate context and nuance, and make informed decisions.

For a long time, we’ve explored ways of making AI smarter and more capable of reasoning through techniques like reinforcement learning and chain-of-thought prompting. Building on this, we recently introduced our first thinking model, Gemini 2.0 Flash Thinking.

Now, with Gemini 2.5, we've achieved a new level of performance by combining a significantly enhanced base model with improved post-training. Going forward, we’re building these thinking capabilities directly into all of our models, so they can handle more complex problems and support even more capable, context-aware agents.

Traduction :

Aujourd'hui, nous présentons Gemini 2.5, notre modèle d'IA le plus intelligent. Notre première version 2.5 est une version expérimentale de 2.5 Pro, qui est à la pointe de la technologie sur un large éventail de critères d'évaluation et fait ses débuts en première place sur LMArena avec une marge significative.

Les modèles Gemini 2.5 sont des modèles pensants, capables de raisonner à travers leurs pensées avant de répondre, ce qui permet d'améliorer leurs performances et leur précision.

Dans le domaine de l'IA, la capacité d'un système à "raisonner" va au-delà de la simple classification et prédiction. Elle fait référence à sa capacité d'analyser l'information, de tirer des conclusions logiques, d'intégrer le contexte et les nuances, et de prendre des décisions éclairées.

Depuis longtemps, nous avons exploré des moyens de rendre l'IA plus intelligente et plus capable de raisonner grâce à des techniques comme l'apprentissage par renforcement et le raisonnement en chaîne de pensée. En nous appuyant sur cela, nous avons récemment introduit notre premier modèle pensant, Gemini 2.0 Flash Thinking.

Maintenant, avec Gemini 2.5, nous avons atteint un nouveau niveau de performance en combinant un modèle de base considérablement amélioré avec un post-entraînement perfectionné. À l'avenir, nous intégrons directement ces capacités de réflexion dans tous nos modèles, afin qu'ils puissent gérer des problèmes plus complexes et soutenir des agents encore plus capables et conscients du contexte.

Sans surprise, l’annonce d’un jailbreak a suivi à peu près immédiatement.

Sur la sécurité des modèles, aucune communication de la part de Google. Pas de System Card, pas d’évaluation tierces publiée.

Il s’agit d’un modèle de raisonnement (comme tous les récents, à l’exception de GPT 4.5), et multimodal, capable de prendre de l’audio/vidéo en entrée en plus du texte. Comme toute la lignée Gemini, il a l’avantage de bénéficier d’une grande taille de contexte (1 million de tokens — pour comparaison, Claude Sonnet 3.7 est limité à 200.000). Sur les performances, les premiers benchmarks semblent le placer en nouveau champion (sauf sur la génération de code, où Claude reste premier).

Les retours d’expérience plus subjectifs semblent confirmer les benchmarks, ainsi que le marché de prédiction Polymarket.

Les modèles continuent de tricher

Un papier important sur la sécurité des modèles venant d’OpenAI : Detecting misbehavior in frontier reasoning models (traduction : Détecter les comportements inadéquats dans les modèles de raisonnement à la pointe).

Résumé :

Chain-of-thought (CoT) reasoning models “think” in natural language understandable by humans. Monitoring their “thinking” has allowed us to detect misbehavior such as subverting tests in coding tasks, deceiving users, or giving up when a problem is too hard.

We believe that CoT monitoring may be one of few tools we will have to oversee superhuman models of the future.

We have further found that directly optimizing the CoT to adhere to specific criteria (e.g. to not think about reward hacking) may boost performance in the short run; however, it does not eliminate all misbehavior and can cause a model to hide its intent. We hope future research will find ways to directly optimize CoTs without this drawback, but until then

We recommend against applying strong optimization pressure directly to the CoTs of frontier reasoning models, leaving CoTs unrestricted for monitoring.

We understand that leaving CoTs unrestricted may make them unfit to be shown to end-users, as they might violate some misuse policies. Still, if one wanted to show policy-compliant CoTs directly to users while avoiding putting strong supervision on them, one could use a separate model, such as a CoT summarizer or sanitizer, to accomplish that.

Traduction :

Les modèles de raisonnement par chaîne de pensée (CoT) "réfléchissent" en langage naturel compréhensible par les humains. La surveillance de leur "réflexion" nous a permis de détecter des comportements inappropriés tels que le contournement de tests dans les tâches de programmation, la tromperie des utilisateurs ou l'abandon face à un problème trop difficile.

Nous pensons que la surveillance des CoT pourrait être l'un des rares outils dont nous disposerons pour superviser les modèles surhumains du futur.

Nous avons également constaté que l'optimisation directe des CoT pour qu'ils adhèrent à des critères spécifiques (par exemple, pour ne pas penser au piratage de récompense) peut améliorer les performances à court terme. Cependant, cela n'élimine pas tous les comportements inappropriés et peut amener un modèle à dissimuler ses intentions. Nous espérons que les recherches futures trouveront des moyens d'optimiser directement les CoT sans cet inconvénient, mais en attendant :

Nous déconseillons d'appliquer une forte pression d'optimisation directement sur les CoT des modèles de raisonnement à la frontière, laissant les CoT sans restriction pour la surveillance.
Nous comprenons que laisser les CoT sans restriction peut les rendre inadaptés à être montrés aux utilisateurs finaux, car ils pourraient violer certaines politiques d'utilisation. Néanmoins, si l'on souhaite montrer directement aux utilisateurs des CoT conformes aux politiques tout en évitant d'exercer une forte supervision sur eux, on pourrait utiliser un modèle distinct, comme un résumeur ou un filtre de CoT, pour y parvenir.

En résumé : pour entraîner leurs modèles, les labos font de plus en plus d’apprentissage par renforcement (Reinforcement learning) sur des problèmes générés automatiquement avec des solutions vérifiables (par exemple : génère en Lean. Si le modèle y arrive, on l’entraîne sur la chaîne de raisonnement complète plus le résultat ; si il échoue, pénalise la chaîne de raisonnement complète.

OpenAI ajoute un superviseur externe (un autre LLM) pour juger : « est-ce que la solution est légitime, ou est-ce que le modèle a triché » quand le test passe. Il se trouve que le modèle triche régulièrement. Quelques exemple donnés dans le papier :

• Décompiler le .jar du code de vérification pour trouver le résultat attendu
• Quand le code de vérification est modifiable, le modifier pour toujours renvoyer "test passé"
• Modifier les données d’entrées pour ne tester qu’un cas trivial

Que se passe-t'il si on pénalise les fois où le modèle triche ?

Au début, le modèle apprend à ne pas tricher. Ensuite, il apprend à tricher sans être détecté par le superviseur.

Ce résultat n’est pas totalement surprenant. On savait déjà que les modèles avancés trichaient quand mis en face d’un problème impossible (gagner contre Stockfish). On sait également que les modèles arrivent à dire quel critère a été encouragé/pénalisé pendant l’entraînement. Ce résultat semble découler de ces deux point ?

Étant donné qu’inspecter la chaîne de raisonnement reste un de nos principaux outils pour voir si l’IA se comporte de manière correcte, OpenAI recommande très fortement de ne pas pénaliser la triche pendant l’entraînement (il vaut mieux que l’IA triche en plein jour et visiblement que de manière cachée).

Malheureusement, ne pas pénaliser la triche n’est pas suffisant. Il y a toujours une pression de sélection sur « réussir en trichant sans être détecté ». La solution pour l’instant semble se résumer à une lutte entre la lance (les capacités du modèle à tricher sans être détecté) et le bouclier (le validateur qui détecte la triche).

À considérer également : combien de temps avant que ce papier, et les discussions associées, ne se retrouve dans les données d’entraînement, et que les modèles réalisent que leurs chaînes de raisonnement sont inspectées ?

Du progrès dans la génération d’images

Si vous avez utilisé l’IA générative pour créer du contenu graphique (avec des modèles tels que DALL-E, StableDiffusion ou MidJourney), vous connaissez leurs principales limitations :

• Difficulté d’avoir des détails « correctement ». Un très bon exemple est le texte, où les outils actuel peinent énormément à écrire
• Difficile de communiquer au modèle la structure voulue dans la scène
• Difficile de demander au modèle de s’inspirer d’une image de référence (pour corrections, itérer…)
• Pour des productions plus longues: garder les détails sur un personnage par exemple est compliqué

ChatGPT 4o et Gemini 2.0 Flash dévoilent leur capacité de génération d’image, et semblent en bonne mesure de résoudre ces problèmes :

Quelques exemples (tirés de l’annonce de OpenAI) :

magnetic poetry on a fridge in a mid century home:

Line 1: "A picture"
Line 2: "is worth"
Line 3: "a thousand words,"
Line 4: "but sometimes"
Large gap
Line 5: "in the right place"
Line 6: "can elevate"
Line 7: "its meaning.

"The man is holding the words "a few" in his right hand and "words" in his left.

an infographic explaining newton's prism experiment in great detail

now generate a POV of a person drawing this diagram in their notebook, at a round cafe table in washington square park

(où oui, on voit que ce n’est pas encore parfait, « sunlight » passé en « surnight », « spectrum » mal retranscrit)

En vrac

Claude Code est disponible publiquement sous une licence non libre. L’interface web de Claude peut maintenant faire des recherches sur internet, comme ChatGPT.

Un papier qui tente de mesurer la propension de différentes IA à mentir (pas halluciner, mentir). Les modèles plus avancés ont plus tendance à mentir.

En modèle "open-source" (ou plutôt : open weights), publication notable de QwQ-32B par Qwen, un modèle de raisonnement qui arrive à atteindre les performances (sur benchmarks) de DeepSeek-R1, pour une taille 20x moindre. Publication également de Qwen2.5-Omni, un petit (7B) modèle multimodal.

Toujours en open-weights, Google publie Gemma 3.

(paywall, désolé) OpenAI prévoierait de vendre des "travailleurs AI", de 2000$/mois (pour un poste de développeur) à 20,000$/mois (pour un poste PhD — équivalent doctorat).

Unitree Robotics libère une bonne partie du code source de leurs outils internes.

Un mathématicien qui a participé à la création de FrontierMath analyse la solution trouvée par ChatGPT (o3).

Une nouvelle méthode d’alignement assez élégante, nommée "Self-Other Overlap". Pour simplifier, on fait une passe d'entraînement sur un modèle non pas en mode "prédire le token suivant" ou "juger +1/-1 sur une réponse", mais on met le modèle dans un scénario fictif soit à la première personne ("Tu veux X"), soit à la troisième personne ("Bob veut X"), et on cherche à minimiser la distance entre le plan généré dans le premier cas et le second cas.

Les modèles de vision+langage ont une assez bonne capacité de deviner la ville à partir d’une simple copie d’écran de StreetView.

L’IA progresse essentiellement de deux manières : par le matériel (plus de puissance de calcul) ou le logiciel (de meilleurs programmes). Un papier tente de mesurer l’impact de ce second facteur, avec une estimation d’un doublement d’efficacité tous les ~8 mois (avec de grosses barres d’erreur sur ce résultat : l’intervalle à 95% de confiance est 5-14 mois).

Pour aller plus loin

Non-couvert ici :

• On OpenAI's Safety and Alignment Philosophy : analyse de la publication d’OpenAI “How we think about safety and alignment” (« Comment nous abordons la sécurité et l’alignement des modèles »)
• Une analyse complète sur la "hype" Manus: en résumé, c’est une simple utilisation assez directe de Claude 3.7 Sonnet, rien à voir
• OpenAI Nonprofit Buyout: Much More Than You Wanted To Know: j’en ai parlé la semaine dernière, cet article en parle plus longuement
• On MAIM and Superintelligence Strategy: sur les implications stratégiques de l’IA. L’ère de l’arme atomique a vu naître MAD (Mutually Assured Destruction), ici des chercheurs présentent MAIM (Mutually Assured AI Malfunction)
• OpenAI #11: America Action Plan: une analyse sur la réponse d’OpenAI à la "demande de suggestions" du gouvernement US sur la politique à suivre sur l’IA.
• More on Various AI Action Plans: suite du point précédent, l’analyse de la réponse de Google (et d’autres)
• On (Not) Feeling the AGI: sur l’impact attendu de l’IA sur l’économie et le futur en général
• OpenAI #12: Battle of the Board Redux: une rétrospective sur le conflit entre Sam Altman et le conseil d’administration de OpenAI de fin 2023

En audio/vidéo :

• Helen Toner sur le conflit conseil d’administration/Sam Altman en 2023.
• Gabriel Alfour sur la difficulté du problème de l’alignement.