Connexion
Gemini 2.5 Computer Use : l’agent Google qui clique, tape et scrolle pour vous
Gemini 2.5 Computer Use est le nouveau modèle de Google dédié aux agents capables d’agir dans une interface web comme un humain. Il “voit” l’écran, comprend le contexte, puis décide où cliquer, quoi taper, et quand faire défiler. Cette approche vise tous les cas où l’on n’a pas d’API, mais où un navigateur suffit pour accomplir une tâche de bout en bout.
Ce que l’agent sait faire et pour quoi l’utiliser
Concrètement, l’agent exécute des actions UI standardisées : ouvrir une page, suivre un lien, remplir un formulaire, valider un paiement test, ou récupérer une information derrière un login. Grâce à la vision d’écran, il repère les éléments visuels même si leur code change légèrement. Dès lors, on automatise des parcours métiers côté web sans réécrire des scripts fragiles.
Dans un premier temps, l’accent porte sur le navigateur. C’est un choix pragmatique : le web est l’interface universelle des services modernes. Par conséquent, on cible des scénarios à fort ROI comme l’e-commerce, le support client, la qualification de leads, les tests UI, ou la collecte d’informations structurées.
Comment fonctionne la boucle d’actions
Le fonctionnement suit un schéma simple et robuste. D’abord, votre application capture l’écran et passe l’historique des pas déjà effectués. Ensuite, Gemini 2.5 Computer Use propose la “prochaine meilleure action” sous forme d’instruction structurée : clic, saisie, scroll, raccourci clavier, ou navigation. Puis votre app exécute cette action via l’automatisation du navigateur et renvoie une nouvelle capture.
Cette boucle de perception-action se répète jusqu’à réussite, blocage, ou attente d’une confirmation. Ainsi, l’agent reste explicable : chaque pas est loggé, rejouable et auditable. En outre, ce design facilite le “retry” ou l’adaptation à des variations d’interface, ce qui améliore la robustesse en production.
Benchmarks et premiers retours
Côté performance, les derniers benchmarks publics indiquent un taux de réussite élevé sur des suites de tâches du monde réel. Sur un test de navigation complexe, le modèle atteint 79,9 % de succès, devant des agents concurrents qui plafonnent plus bas. Sur d’autres évaluations multi-sites, il se classe également en tête, avec une latence en baisse et des coûts maîtrisés.
Sur le terrain, les premiers pilotes rapportent des exécutions plus rapides que les alternatives, parfois jusqu’à 50 % selon les scénarios. Par ailleurs, l’orientation “web d’abord” simplifie l’adoption : les équipes peuvent brancher l’agent dans leurs pipelines QA, leurs assistants internes, ou leurs scripts d’automatisation sans refonte d’outillage.
Sécurité : confirmations et garde-fous par étape
Google a conçu une surcouche de sécurité qui analyse chaque étape avant exécution. Dès qu’une action présente un risque — par exemple cliquer sur “Acheter maintenant”, lire un document médical, ou envoyer un message sensible — l’agent doit demander une confirmation explicite. De plus, des politiques contrôlent l’accès aux données, les domaines autorisés, et les opérations critiques.
Ce modèle de “permission granulaire” réduit les erreurs coûteuses et rassure les équipes conformité. Mieux, il favorise l’adoption dans des contextes réglementés, car les actions deviennent traçables et gouvernées. Ainsi, les responsables produit gardent la main, tout en déléguant l’exécution répétitive à l’IA.
Limites actuelles et feuille de route implicite
Aujourd’hui, le périmètre privilégié est le navigateur. L’agent n’a pas vocation, pour l’instant, à piloter l’intégralité d’un système d’exploitation. Toutefois, la boucle perception-action, la vision de l’écran, et l’outillage développeur laissent penser que l’extension à d’autres surfaces d’UI suivra. En attendant, les cas d’usage web couvrent déjà une large part des besoins opérationnels.
Comment démarrer
Pour tester rapidement, on passe par AI Studio ou par Vertex AI. On décrit la tâche, on donne les accès nécessaires, et on branche l’exécution du navigateur. Ensuite, on mesure la fiabilité sur vos parcours et on rajuste les “prompts d’agent”, les timeouts, et les règles de confirmation. Enfin, on industrialise via des files de jobs et de la télémétrie, afin d’observer les taux de succès dans le temps.
Gemini 2.5 Computer Use apporte un vrai saut pour les agents web. Il combine vision d’écran, planification d’actions, et garde-fous solides. Résultat : des workflows plus rapides, plus fiables et plus sûrs, sans dépendre d’intégrations API fragiles.
Cet article original intitulé Gemini 2.5 Computer Use : l’agent Google qui clique, tape et scrolle pour vous a été publié la première sur SysKB.
