Fabien Olicard, que vous connaissez tous, vient de sortir une vidéo que je vous recommande vraiment de regarder. Pendant plus d'un an, il a été pris dans une procédure judiciaire suite à une de ses analyses sur les mécanismes de manipulation. Une vidéo sourcée, mesurée, comme il en fait depuis des années.

Et ce qu'il raconte, c'est le parcours du combattant que vivent ceux qui osent critiquer publiquement certaines organisations ou personnalités. Les dizaines de milliers d'euros de frais d'avocat, les mois d'attente entre les audiences, le stress permanent, les nuits blanches à se demander si ça vaut le coup de continuer. Car même quand on est persuadé d'être dans son droit, la machine judiciaire tourne et elle ne regarde pas vos intentions.

Il aborde donc dans sa vidéo un sujet dont on parle trop peu : les procédures bâillon. En anglais, on appelle ça des SLAPP (Strategic Lawsuit Against Public Participation) et ce sont des procédures qui épuisent financièrement et psychologiquement la partie adverse. L'Union européenne a voté une directive anti-SLAPP en 2024 pour protéger ce qu'ils appellent "les chiens de garde de la démocratie" mais faut croire que ça ne suffit pas.

Vous en avez marre de voir GPTBot, ClaudeBot et toute la bande de crawlers IA se servir sur votre site comme dans un buffet à volonté ? Perso, j'utilise Cloudflare qui propose des options pour ça directement mais tout le monde n'utilise pas ce service. Du coup ce projet ai.robots.txt est super pratique pour ceux qui gèrent leur propre serveur et qui veulent reprendre le contrôle sur ce qui se fait aspirer.

L'idée c'est de maintenir sur Github une liste exhaustive de tous les crawlers liés à l'IA, que ce soit pour entraîner des modèles ou alimenter des moteurs de recherche IA. On y retrouve les suspects habituels comme GPTBot (OpenAI), Claude-Web (Anthropic), Google-Extended, meta-externalagent, mais aussi des trucs plus obscurs comme img2dataset ou laion-huggingface-processor qui servent à aspirer des images.

Le truc cool, c'est que le projet ne se contente pas juste de fournir un robots.txt à copier-coller. Y'a aussi des fichiers de config prêts à l'emploi pour Apache (.htaccess), Nginx, Caddy et même HAProxy. Du coup vous pouvez carrément renvoyer une erreur HTTP aux crawlers au lieu de juste leur dire "non" poliment via robots.txt (qu'ils ignorent parfois de toute façon, les malotrus).

Pour Nginx par exemple, vous récupérez le fichier nginx-block-ai-bots.conf et vous l'incluez dans votre config de virtual host. Le fichier contient une regex qui matche tous les User-Agent connus des crawlers IA. Même principe pour Apache avec le .htaccess, ou pour HAProxy où vous ajoutez quelques lignes dans la section frontend pour détecter et bloquer ces bots.

Le projet est maintenu activement par une communauté de contributeurs qui surveille les nouveaux crawlers qui débarquent et dès qu'un nouveau bot IA se pointe, la liste est mise à jour et les fichiers de config sont regénérés automatiquement via GitHub Actions.

Après, le robots.txt ça reste un "gentlemen's agreement" et y'a que les crawlers sympas le respectent... Les autres font semblant de pas le voir. A voir maintenant si c'est une bonne idée ou pas de bloquer ces crawlers...

C'est à vous de voir mais si vous n'aimez pas l'IA je pense que vous adorerez cette liste de blocage . Après si vous vous inquiétez sur votre audience votre référencement et compagnie, peut-être que vous voulez quand même récupérer un peu de trafic en provenance de ces chatbots IA.

Donc à vous de voir...

Dans un mouvement significatif reflétant la lutte de pouvoir au sein des industries technologique et du divertissement, Google a respecté une ordonnance de cessation et d’abstention émise par Disney. Des rapports de publications spécialisées dans le spectacle, Deadline et Variety, confirment que Google a supprimé plusieurs vidéos générées par IA utilisant la propriété intellectuelle de […]

Le post Google supprime du contenu AI après l’ordre de cessation et d’abstention de Disney est apparu en premier sur Moyens I/O.