Gemini 2.5 Computer Use est le nouveau modèle de Google dédié aux agents capables d’agir dans une interface web comme un humain. Il “voit” l’écran, comprend le contexte, puis décide où cliquer, quoi taper, et quand faire défiler. Cette approche vise tous les cas où l’on n’a pas d’API, mais où un navigateur suffit pour accomplir une tâche de bout en bout.

Ce que l’agent sait faire et pour quoi l’utiliser

Concrètement, l’agent exécute des actions UI standardisées : ouvrir une page, suivre un lien, remplir un formulaire, valider un paiement test, ou récupérer une information derrière un login. Grâce à la vision d’écran, il repère les éléments visuels même si leur code change légèrement. Dès lors, on automatise des parcours métiers côté web sans réécrire des scripts fragiles.
Dans un premier temps, l’accent porte sur le navigateur. C’est un choix pragmatique : le web est l’interface universelle des services modernes. Par conséquent, on cible des scénarios à fort ROI comme l’e-commerce, le support client, la qualification de leads, les tests UI, ou la collecte d’informations structurées.

Comment fonctionne la boucle d’actions

Le fonctionnement suit un schéma simple et robuste. D’abord, votre application capture l’écran et passe l’historique des pas déjà effectués. Ensuite, Gemini 2.5 Computer Use propose la “prochaine meilleure action” sous forme d’instruction structurée : clic, saisie, scroll, raccourci clavier, ou navigation. Puis votre app exécute cette action via l’automatisation du navigateur et renvoie une nouvelle capture.
Cette boucle de perception-action se répète jusqu’à réussite, blocage, ou attente d’une confirmation. Ainsi, l’agent reste explicable : chaque pas est loggé, rejouable et auditable. En outre, ce design facilite le “retry” ou l’adaptation à des variations d’interface, ce qui améliore la robustesse en production.

Benchmarks et premiers retours

Côté performance, les derniers benchmarks publics indiquent un taux de réussite élevé sur des suites de tâches du monde réel. Sur un test de navigation complexe, le modèle atteint 79,9 % de succès, devant des agents concurrents qui plafonnent plus bas. Sur d’autres évaluations multi-sites, il se classe également en tête, avec une latence en baisse et des coûts maîtrisés.
Sur le terrain, les premiers pilotes rapportent des exécutions plus rapides que les alternatives, parfois jusqu’à 50 % selon les scénarios. Par ailleurs, l’orientation “web d’abord” simplifie l’adoption : les équipes peuvent brancher l’agent dans leurs pipelines QA, leurs assistants internes, ou leurs scripts d’automatisation sans refonte d’outillage.

Sécurité : confirmations et garde-fous par étape

Google a conçu une surcouche de sécurité qui analyse chaque étape avant exécution. Dès qu’une action présente un risque — par exemple cliquer sur “Acheter maintenant”, lire un document médical, ou envoyer un message sensible — l’agent doit demander une confirmation explicite. De plus, des politiques contrôlent l’accès aux données, les domaines autorisés, et les opérations critiques.
Ce modèle de “permission granulaire” réduit les erreurs coûteuses et rassure les équipes conformité. Mieux, il favorise l’adoption dans des contextes réglementés, car les actions deviennent traçables et gouvernées. Ainsi, les responsables produit gardent la main, tout en déléguant l’exécution répétitive à l’IA.

Limites actuelles et feuille de route implicite

Aujourd’hui, le périmètre privilégié est le navigateur. L’agent n’a pas vocation, pour l’instant, à piloter l’intégralité d’un système d’exploitation. Toutefois, la boucle perception-action, la vision de l’écran, et l’outillage développeur laissent penser que l’extension à d’autres surfaces d’UI suivra. En attendant, les cas d’usage web couvrent déjà une large part des besoins opérationnels.

Comment démarrer

Pour tester rapidement, on passe par AI Studio ou par Vertex AI. On décrit la tâche, on donne les accès nécessaires, et on branche l’exécution du navigateur. Ensuite, on mesure la fiabilité sur vos parcours et on rajuste les “prompts d’agent”, les timeouts, et les règles de confirmation. Enfin, on industrialise via des files de jobs et de la télémétrie, afin d’observer les taux de succès dans le temps.

Gemini 2.5 Computer Use apporte un vrai saut pour les agents web. Il combine vision d’écran, planification d’actions, et garde-fous solides. Résultat : des workflows plus rapides, plus fiables et plus sûrs, sans dépendre d’intégrations API fragiles.

Cet article original intitulé Gemini 2.5 Computer Use : l’agent Google qui clique, tape et scrolle pour vous a été publié la première sur SysKB.

Lego a lancé le produit le plus cher de son histoire : une reproduction de l'Étoile de la Mort, vue dans la saga Star Wars. On a mis plus de 16 heures à la monter, et il y a du très bon et du moins bon.

Orange gonfle son catalogue de forfaits mobiles avec une nouvelle offre de 500 Go, ciblant les grands consommateurs de données. Le prix est, sans surprise, à la hauteur d'une telle enveloppe.

La France de Didier Deschamps a idéalement lancé sa campagne des éliminatoires pour la Coupe du monde 2026. Et les Bleus ont à peine le temps de dire ouf qu'ils doivent déjà jouer un troisième match, face à l'Azerbaïdjan. Rendez-vous ce vendredi soir, à partir de 20h45.

Sony et AMD ont discuté des technologies de demain pour le gaming. Ce qui devrait permettre à la PS6 de faire oublier l'un des gros défauts de la PS5 : la gestion du ray tracing.

Battlefield 6 opère un vrai retour en force de la saga d'Electronic Arts, sur le terrain des jeux en ligne. En revanche, la campagne solo est, au mieux, risible. Elle n'est qu'une démonstration technique insipide, qu'on ne conseille même pas avant de se lancer dans les batailles à plusieurs.

Silent Hill f renferme une référence géniale, et bien cachée, au tout premier Silent Hill, sous la forme d'une partition de musique dont les notes sont celles du thème original.

Microsoft a dévoilé une nouvelle fournée de jeux pour son Xbox Game Pass, la première depuis la refonte controversée du service. Ce mois-ci, le gros morceau s'appelle Ninja Gaiden 4.

James Gunn a apporté une petite précision cruciale sur la fin de l'épisode 7 de la saison 2 de Peacemaker. Elle concerne le personnage Vigilante.

La scénariste de Clair Obscur: Expedition 33 est revenue sur les différentes fin possibles. Selon elle, aucune n'est « bonne », y compris d'un point de vue canon.

Le Xbox Game Pass Ultimate passe à 26,99 €, au lieu de 17,99 €. Mais ce n'est pas le cas de tout le monde, a confirmé Microsoft.

Nintendo a publié un étrange court métrage sans explication. Teasing pour un jeu ? Teasing pour un produit ? Teasing pour un film ? Publicité encore secrète ? À vos paris.

Alien: Isolation retranscrit à merveille le premier film de la saga culte, réalisé par Ridley Scott. On fait face à un xénomorphe à l'intelligence affutée. À un point tel qu'elle a dépassé les attentes des développeurs.

À quelques jours du lancement de Battlefield 6, Battlefield Studios et Electronic Arts ont fait un ultime point d'étape. Les longues et nombreuses phases de tests aboutiront à une première mise à jour avec plus de 200 changements.

Dans Metroid Prime 4: Beyond, l'héroïne Samus Aran pourra piloter une moto. Nintendo avait dévoilé l'engin au cours du dernier Nintendo Direct, sans trop préciser son utilité. Le site officiel offre quelques détails supplémentaires.