J'utilise une autre approche.
J'ai remarqué que les bots, en général, ne téléchargent pas la feuille de style CSS.
Du coup, si un lien n'est pas visible pour l'utilisateur, à cause du CSS, il l'est pour le bot!
Donc, il suffit de mettre un lien bidon, masqué via CSS et de ban toutes IPs qui accède à ce lien :-)
Pour le ban, une simple règle fail2ban suffit.
— Permalink

J'ai le bot débile d'openai qui appel en boucle le /robots.txt et aucune autre page.

4.227.36.98 - - [20/Oct/2025:18:25:08 +0000] "GET /robots.txt HTTP/2.0" 200 39 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"
4.227.36.98 - - [20/Oct/2025:18:53:42 +0000] "GET /robots.txt HTTP/2.0" 200 39 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"
4.227.36.98 - - [20/Oct/2025:19:01:09 +0000] "GET /robots.txt HTTP/2.0" 200 39 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"
4.227.36.98 - - [20/Oct/2025:19:12:31 +0000] "GET /robots.txt HTTP/2.0" 200 39 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"

Je vois pas l'intérêt, surtout que ce fichier ne change pas -_-
— Permalink

Crawler Baidu
IP : 47.79.[196|218|219].X
Fréquences des visites : Visite par grosse vague, ~700 à 2500 appels par minute
Référer : "https://www.google.com/"
User agent : random

Exemple d'user agent utilisé :
"Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/132.0.0.0 Mobile Safari/537.36"
"Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Mobile Safari/537.36"
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36 OPR/116.0.0.0"
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/132.0.0.0 Safari/537.36"
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Safari/537.36"
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Safari/537.36 Edg/133.0.0.0"
"Mozilla/5.0 (Linux; arm_64; Android 14; SM-A346E) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.6723.1012 YaSearchBrowser/24.125.1 BroPP/1.0 YaSearchApp/24.125.1 webOmni SA/3 Mobile Safari/537.36"
"Mozilla/5.0 (Linux; Android 12; Infinix X6817) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Mobile Safari/537.36"
— Permalink

old article from RSS Reader

At the Kaplan Gallery , Jean Tinguely demonstrates his Meta-Matics machines which produce movement and create their own 'do it your self' abstract art.