crawl_delay : équilibrer Googlebot, Bingbot, Yandex

La directive crawl_delay dans le fichier robots.txt indique aux moteurs un délai minimal, exprimé en secondes, entre deux requêtes vers votre serveur. Elle permet de freiner les crawlers gourmands pour préserver les ressources, mais elle n’est pas interprétée de la même façon par tous les robots, ce qui change tout pour un site international.

Avant d’entrer dans le cœur du sujet, il semble important de poser une nuance que beaucoup oublient : cette règle est unofficial, jamais entérinée par le standard officiel du robots.txt. Voyons donc comment l’employer sans pénaliser votre visibilité multilingue.

Qu’est-ce que la directive crawl_delay et que signifie-t-elle ?

La directive crawl_delay demande à un crawler d’attendre un certain nombre de secondes avant de solliciter à nouveau votre server. Concrètement, crawl-delay: 10 signifie une page explorée toutes les dix secondes au maximum, soit environ 8 640 pages par jour.

Cette delay directive s’écrit simplement dans le fichier robots txt, sous le bloc d’un robot précis. Elle vise à éviter la surcharge, pas à bloquer l’indexation ; un site lent ou mutualisé y trouve un vrai bénéfice.

Par ailleurs, il convient de distinguer le délai de la fréquence réelle d’exploration. La règle pose un plafond ; elle ne force jamais un robot à explorer davantage. C’est un frein, pas un accélérateur.

Un exemple de syntaxe

Voici un bloc type, lisible par les principaux crawlers qui respectent la règle :

• User-agent: Bingbot puis Crawl-delay: 5 : cinq secondes entre deux requêtes.
• User-agent: Yandex puis Crawl-delay: 10 : dix secondes, utile pour les sites russophones.
• User-agent: * puis Crawl-delay: 2 : valeur par défaut pour les autres robots.

La règle crawl_delay est-elle ignorée par Googlebot ?

Oui : la delay rule est tout simplement ignored par Googlebot. Google l’a confirmé publiquement, la crawl-delay rule n’est pas interpreted par son robot, qui gère seul son rythme d’exploration.

Selon la documentation officielle de Google Search Central, seules quelques directives sont prises en charge, et crawl-delay n’en fait pas partie. Pour ajuster le rythme de Googlebot, il faut passer par les paramètres dédiés.

En revanche, Bingbot et Yandex respectent historiquement la delay robots. D’après notre expérience d’agence, c’est précisément cette asymétrie qui crée des erreurs de configuration coûteuses.

Ce que cela change selon les moteurs

Moteur	Prise en charge	Alternative
Googlebot	Règle ignorée	Search Console (rapport d’exploration)
Bingbot	Respectée	Bing Webmaster Tools (Crawl Control)
Yandex	Respectée	Yandex Webmaster

Quel impact sur un site multilingue ou international ?

Pour un site à forte audience internationale, un mauvais réglage de la directive peut ralentir l’indexation d’une langue entière. C’est là que les conséquences deviennent concrètes.

Imaginons un site e-commerce avec versions française, allemande et russe. En appliquant Crawl-delay: 30 à tous les robots, le gérant pensait protéger son serveur ; en réalité, Yandex ne découvrait plus assez vite les nouvelles fiches russes.

Un responsable technique nous confiait : « On avait freiné Yandex sans le vouloir, et nos pages russes mettaient des semaines à remonter. » La parole est révélatrice : la delay directive agit comme un robinet, à doser langue par langue.

Trois règles pour ne pas pénaliser une langue

D’après notre accompagnement de sites multilingues, voici les arbitrages qui fonctionnent :

• Réserver les délais élevés aux robots secondaires, jamais aux moteurs prioritaires d’un marché donné.
• Surveiller la charge serveur avant d’imposer une seconde supplémentaire ; un hébergement robuste rend souvent le délai inutile.
• Tester chaque modification dans les outils webmasters de Bing et Yandex, puis mesurer l’évolution de l’exploration.

En effet, un seul chiffre mal posé peut désindexer temporairement des centaines d’URL. La prudence prime sur l’optimisation agressive.

Comment équilibrer la fréquence sans alourdir le serveur ?

L’équilibre tient en une idée : protéger le serveur sans étouffer les robots utiles. Plutôt qu’un délai global brutal, il convient d’agir robot par robot et de renforcer l’infrastructure.

Une bonne infogérance serveur absorbe souvent la charge mieux qu’une delay rule. De fait, augmenter la capacité d’un hébergement coûte parfois moins cher, en visibilité, qu’un délai mal réglé.

Par ailleurs, l’IA générative explore désormais les sites pour entraîner ses modèles. Nous détaillons ces évolutions dans notre analyse de l’impact de l’IA sur le SEO, car la gestion des crawlers devient stratégique.

Étapes pour un réglage maîtrisé

1. Identifier les robots qui sollicitent votre serveur, via les logs d’accès.
2. Distinguer les moteurs prioritaires des crawlers parasites à ralentir ou bloquer.
3. Appliquer un crawl_delay uniquement aux robots non essentiels.
4. Mesurer l’effet sur l’indexation pendant deux à quatre semaines.

À retenir

• La directive crawl_delay impose un délai en secondes entre deux requêtes d’un crawler.
• Elle reste une règle non officielle, ignorée par Googlebot.
• Bingbot et Yandex la respectent encore, ce qui crée une asymétrie à gérer.
• Sur un site international, un délai mal réglé peut freiner l’indexation d’une langue.
• Renforcer le serveur vaut souvent mieux qu’imposer un délai trop large.

Quoi qu’il en soit, la question n’est pas de freiner les robots par principe, mais de leur ouvrir la bonne porte au bon rythme. Gardons en tête que chaque marché linguistique a son moteur, et que chaque moteur a ses règles.