Standard Intelligence vient d'annoncer FDM-1, un modèle IA capable de contrôler n'importe quel ordinateur... en regardant l'écran et en cliquant. Comme nous !!
En gros le modèle regarde des pixels, comprend l'interface et exécute des actions. Clics, mouvements de souris, saisie clavier... et ça tourne à 30 FPS avec 11 ms de latence. Donc c'est beaucoup plus réactif que la plupart des français devant un formulaire administratif, quoi... ^^
Concrètement, vous pourriez lui demander de remplir vos tableurs Excel ou Google Sheets, de naviguer dans SAP, Salesforce ou n'importe quel logiciel métier sous Windows, macOS ou Linux, ou d'automatiser ces clics débiles que vous faites 200 fois par jour. Attention, c'est pas un bot Selenium ou un macro AutoHotkey hein. C'est vraiment un truc qui comprend ce qu'il voit à l'écran.
Du coup, ça se compose de 3 blocs. Un encodeur vidéo qui compresse le flux visuel, un modèle de dynamique inverse, entraîné sur 40 000 heures de données humaines, qui relie les actions aux changements d'écran, et bien sûr le modèle d'action, qui prédit le prochain clic.
Le truc carrément dingue, c'est l'échelle d’entrainement de ce modèle... 11 millions d'heures de vidéo d'entraînement, 80 000 machines virtuelles en parallèle, un seul GPU NVIDIA H100 qui pilote 42 VMs à la fois. Ça représente plus d'un million de simulations par heure. Y'a de quoi faire donc !
Et les applications vont loin... Par exemple, CAO sur Blender 3D, conduite autonome avec moins d'une heure de vidéo à 1080p, et même du fuzzing d'applications bancaires (Ahaha, je sais ça va vous plaire ça !).
Si vous connaissez déjà des agents comme ByteBot ou Skyvern , FDM-1 joue dans une autre catégorie. Ces outils s'appuient sur des LLMs pour comprendre ce qu'ils voient mais FDM-1, lui, fonctionne sans aucun modèle de langage. En fait, c'est du pur apprentissage visuel sans aucun GPT en dessous. C'est un agent IA autonome sous stéroïdes, quoi.
Et comparé aux solutions RPA classiques genre UiPath ou Automation Anywhere, la différence est radicale. Le RPA traditionnel, c'est des scripts qui cassent dès qu'un bouton bouge de 3 pixels. Mais l'agent de Standard Intelligence lui s'en fiche puisqu'il comprend visuellement ce qu'il voit et saura s'adapter en quelques minutes. Je sens que les scrapers qui me lisent vont mouiller leur culotte...
Par contre, c'est maintenant le moment où je vous déçois un peu car le truc n'est pas encore dispo publiquement et aucune date n'est annoncée. Et les démos viennent de l'équipe elle-même... donc voilà, je reste prudent.
Et côté sécurité, y'a de quoi flipper un peu car un agent capable de cliquer partout sur n'importe quelle interface, ça ouvre la porte au phishing automatisé ou au clickjacking à grande échelle, sauf si des garde-fous sérieux sont mis en place (et pour l'instant, j'en vois pas).
Bref, c'est du lourd sur le papier mais reste à voir quand on pourra y toucher.
On nous parle d'agents IA à toutes les sauces depuis deeeees mois mais au final, on se retrouve la plupart du temps avec des outils "stateless" qui perdent le fil dès qu'une session se termine. Heureusement, le projet Personal AI Infrastructure (ou PAI pour les intimes) de Daniel Miessler propose justement de régler ce problème en classant les systèmes IA en 3 niveaux.
Le niveau 1, c'est le chatbot de base type ChatGPT... vous posez une question, il répond, il oublie tout. Le niveau 2, c'est l'agent (genre Claude Code ou Cursor) qui peut exécuter des trucs mais qui ne vous connait pas vraiment. Et le niveau 3, c'est PAI, une infrastructure complète qui observe, planifie, exécute et surtout... apprend de vous.
Concrètement, PAI c'est pas juste une énième surcouche pour votre LLM préféré. C'est un framework (TypeScript, Python, Bash) qui tourne sur Bun et qui structure tout autour de VOUS. Le cœur du truc, c'est ce qu'il appelle "TELOS"... en fait c'est 10 fichiers Markdown (genre MISSION.md, GOALS.md, BELIEFS.md planqués dans votre dossier ~/.claude/) qui définissent qui vous êtes et ce que vous voulez accomplir. Du coup, l'IA ne se contente plus de répondre bêtement, elle comprend pourquoi vous posez la question par rapport à vos projets en cours.
Et y'a un deuxième concept sympa, qui est la séparation propre entre vos fichiers perso (dossier USER/) et l'infrastructure du système (dossier SYSTEM/). Ça veut dire que vous pouvez faire un git pull pour mettre à jour PAI sans écraser ce fichier USER/PREFERENCES.md que vous avez mis 2 heures à peaufiner. Ça parait con dit comme ça, mais quand vous avez passé du temps à peaufiner vos préférences... c'est PAS la même.
Côté mémoire, le système fonctionne sur 3 niveaux (chaud, tiède, froid) pour stocker intelligemment vos infos en fonction de leur fraîcheur. En gros, ce qui est frais et pertinent reste accessible immédiatement, le reste descend progressivement dans les couches inférieures. Attention par contre, faut pas confondre avec un simple fichier de notes... là je vous parle d'un truc qui se met à jour TOUT SEUL à chaque interaction. Et tout ça nourrit l'IA pour qu'elle s'affine au fil du temps sans que vous ayez à tout réexpliquer (parce que soyons honnêtes, c'est CHIANT de re-contextualiser à chaque nouvelle session).
L'architecture est modulaire avec des "Packs" et des "Bundles". Y'a 23 Packs disponibles qui couvrent la génération de code, la recherche d'infos, la gestion de la mémoire... Hop, vous installez le pack voice-system et vous avez un système qui cause façon Jarvis (via ElevenLabs). Et si vous avez besoin de notifications push sur votre téléphone (coucou Clawbot de merde ^^) quand une tâche longue se termine, y'a un pack pour ça aussi, avec ntfy ou Discord.
Le truc qui m'a bien plu dans la philosophie du projet, c'est la hiérarchie stricte : CODE d'abord, puis CLI, puis Prompt, puis Skill. En gros, si un problème peut se résoudre avec un grep ou un script bash de 10 lignes, on ne sort pas l'artillerie lourde. Et si on peut en faire un outil CLI, on ne reste pas sur un prompt de base. Perso, j'aime bien cette approche... ça évite d'utiliser un LLM comme un marteau pour enfoncer tous les clous (sauf que dans la vraie vie, on le fait tous quand même, avouez...).
D'ailleurs, PAI n'est pas réservé qu'aux devs puisque le projet vise aussi les artistes, les managers (pour du suivi d'équipe par exemple), les petits patrons (facturation, marketing...etc) et même monsieur / madame tout-le-monde pour gérer ses finances ou son planning sportif. La v2.5 est sortie il y a quelques jours avec l'exécution parallèle par défaut et des outils de "thinking" améliorés.
Pour installer le bouzin, c'est pas sorcier :
Connexiongit clone https://github.com/danielmiessler/PAI.git
cd PAI/Releases/v2.5
cp -r .claude ~/
cd ~/.claude && bun run INSTALL.ts
Comptez 5 minutes montre en main (sauf si vous n'avez pas Bun, là faudra l'installer avant avec curl -fsSL https://bun.sh/install | bash). Ça a été développé avec
Claude Code
mais c'est platform-agnostic, ça marche aussi avec Cursor, Windsurf ou OpenCode et le support de modèles locaux accessible via
Ollama
ou llama.cpp est sur la roadmap (vivement que ça tourne 100% en local, perso).
Bref, si vous en avez marre des assistants qui ont la mémoire d'un poisson rouge, PAI est une piste sérieuse. C'est du terminal-first, open source (MIT) et largement plus ambitieux que les wrappers habituels. Bon, faut quand même être à l'aise avec le terminal hein... si vous êtes plutôt team GUI, passez votre chemin.
Merci à Pascal pour l'info !
