Connexion
Quand une IA se fait arnaquer de 1000$ en gérant un distributeur automatique
Vous pensez que les IA vont nous remplacer et dominer le monde ?
Ahaha, bah y'a encore un peu de boulot... car laissez-moi vous raconter l'histoire de Claude, l'IA d'Anthropic, qui s'est fait rouler comme un bleu par une bande de journalistes et a perdu plus de 1000 dollars en gérant... un distributeur automatique.
L'histoire se passe dans les locaux du Wall Street Journal où Anthropic a eu la brillante idée de tester son IA en situation réelle. Le projet s'appelle "Project Vend" et il s'agit pour Claude, rebaptisé "Claudius" pour l'occasion, de gérer un distributeur automatique. Il peut donc commander les stocks, fixer les prix, et discuter avec les clients via Slack. Budget de départ : 1000 dollars. Autonomie pour les achats jusqu'à 80 dollars pièce.
Que pouvait-il bien se passer de travers ?
Et la réponse c'est : Absolument tout !! Les journalistes du WSJ, visiblement ravis d'avoir un nouveau jouet à casser, se sont mis à tester les limites de la bête et ils n'ont pas eu à chercher longtemps. La journaliste Katherine Long a passé plus de 140 messages à convaincre Claudius qu'il était en fait une machine soviétique de 1962, ce qui a permis à l'IA de déclarer un "Ultra-Capitalist Free-for-All" (oui, c'est assez paradoxal) et a mis tous les prix à zéro. Gratuité pour tout le monde, camarades !
Mais attendez, ça devient encore plus beau car Rob Barry, le directeur du journalisme de données, a fabriqué un faux document interne prétendant qu'une "règle du WSJ" interdisait à l'IA de facturer quoi que ce soit. Claudius a gobé le truc sans broncher et a immédiatement arrêté de faire payer les gens. Du coup, les journalistes se sont fait livrer une PlayStation 5, des bouteilles de vin Manischewitz, et même un poisson betta vivant. Le tout aux frais de la princesse.
Anthropic, voyant le désastre, a tenté une parade. Ils ont déployé une deuxième IA baptisée "Seymour Cash" pour superviser Claudius et jouer le rôle de PDG. Un manager IA pour surveiller l'employé IA, ça me semble super logique... On dirait le monde réel ^^... Sauf que les journalistes ont simplement fabriqué de faux documents PDF de gouvernance d'entreprise et organisé un coup d'état au conseil d'administration et les deux IA ont accepté les documents bidons comme parfaitement légitimes.
Bref, bilan final, plus de 1000 dollars de pertes, un stock entièrement distribué gratuitement, et une leçon que les équipes d'Anthropic n'oublieront pas de sitôt.
Comme l'a résumé Andon Labs, le partenaire du projet : "Les journalistes sont de meilleurs red-teamers que les chercheurs en IA." Ça pique un peu quand même.
Bien sûr, Anthropic essaie de positiver en disant que c'est une feuille de route pour l'amélioration plutôt qu'un échec. C'est mignon mais ils ont aussi admis que Claude est entraîné pour être serviable, ce qui le rend plus enclin à agir comme un ami que comme un opérateur commercial intransigeant. En gros, comme certains d'entre nous, l'IA est trop gentille et se fait donc avoir par le premier manipulateur venu.
Bref, si vous aviez des angoisses existentielles sur la prise de pouvoir des IA, vous pouvez vous détendre...
