Le crawl-delay dans le robots.txt : guide pour SEO

Mis à jour le 09 août 2026

Le crawl-delay est une directive du fichier robots.txt demandant aux robots d’attendre un certain nombre de secondes entre deux requêtes. Si elle est ignorée par Google, elle reste respectée par Bing ou Yandex ; son usage vise à protéger les ressources serveur sans bloquer l’indexation.

Qu’est-ce que la directive crawl-delay dans le fichier robots.txt ?

Cette règle non officielle, jamais entérinée par le standard du RFC 9309 (document de référence édité par l’IETF), demande à un robot d’attendre un délai précis. Un réglage à dix secondes signifie une page explorée toutes les dix secondes, soit environ 8 640 pages par jour au maximum.

Il convient de noter que cette directive vise seulement à éviter la surcharge du serveur web ; elle ne force jamais un moteur à explorer davantage. C’est un frein, pas un accélérateur.

Comment écrire correctement une règle crawl-delay dans robots.txt ?

La directive s’écrit simplement sous le bloc d’un robot précis, désigné par son user agent. L’ordre de précédence est important : les règles spécifiques à un moteur priment sur la règle générale utilisant la wildcard *. Voici quelques exemples valides :

• User-agent: Bingbot puis Crawl-delay: 5 : cinq secondes d’attente entre deux requêtes.
• User-agent: * puis Crawl-delay: 2 : valeur par défaut pour les autres robots.

Un responsable technique me confiait : « On avait freiné Yandex sans le vouloir, et nos pages russes mettaient des semaines à remonter ». La parole est révélatrice ; la directive agit comme un robinet à doser langue par langue.

Gardons en tête la taille maximale du fichier. Au-delà de 500 kibioctets, Google tronque le robots txt, ce qui rend les règles illisibles pour le robot.

Google prend-il en compte le crawl-delay dans robots.txt ?

Googlebot ignore totalement la règle crawl-delay. Google l’a confirmé publiquement à plusieurs reprises ; son robot gère seul son rythme d’exploration en fonction de la santé et de la vitesse de votre site.

Selon la documentation officielle de Google Search Central, seules quelques directives sont prises en charge. Pour ajuster le crawl rate, il convient de passer par les paramètres dédiés de la Search Console.

Comment limiter le budget de crawl de Googlebot sans crawl-delay ?

Puisque Google ignore cette directive, il semble préférable d’agir sur la vitesse du site. Une bonne optimisation technique absorbe la charge bien mieux qu’une règle obsolète.

De fait, nous conseillons souvent de découvrir notre process d’optimisation technique pour comprendre ce lien. Accélérer le temps de réponse du serveur et gérer les codes de statut HTTP (comme les erreurs 404 ou 500) permet à Googlebot de consommer son budget de crawl plus efficacement.

Quels moteurs de recherche respectent le crawl-delay (Bing, Yandex, Yahoo) ?

En revanche, Bingbot, Yahoo et Yandex respectent historiquement cette directive. C’est précisément cette asymétrie qui crée des erreurs de configuration coûteuses en 2026.

Le crawl-delay peut-il nuire au référencement de mon site ?

Oui, si la valeur est trop élevée. Imposer un délai trop long empêche les moteurs de découvrir vos nouvelles pages ou vos mises à jour. Un site international peut voir l’indexation d’une langue entière freinée.

Pour guider les robots sans les brider, il est utile de déclarer le sitemap XML en en-tête du fichier. Il est aussi possible d’utiliser un en-tête de réponse HTTP « noindex » pour contrôler l’indexation indépendamment du robots txt, ou de jouer sur l’URL matching basé sur les valeurs de chemin.

Comment savoir si les robots surchargent mon serveur ?

Avant d’ajouter une règle de délai, il convient d’analyser les logs serveur. C’est la seule méthode fiable pour identifier les crawlers agressifs et évaluer leur impact réel sur les ressources.

Si les logs montrent que des bots d’IA ou des scrapers consomment trop de ressources, on peut les bloquer via la directive Disallow. Cela étant dit, bloquer les bots utiles par principe est souvent contre-productif ; gardons le fichier ciblé.

Comment modifier le fichier robots.txt d’un site WordPress ?

Sur WordPress, le fichier se modifie rarement via FTP. La plupart des plugins SEO (Yoast, Rank Math) offrent un éditeur intégré, ce qui simplifie la tâche pour les propriétaires de sites.

Quelle valeur de crawl-delay choisir pour un site WordPress ? Il semble raisonnable de ne rien imposer si votre hébergement est solide. Sur un serveur mutualisé fragile, une valeur de 5 à 10 secondes pour les bots secondaires (autre que Google) peut suffire.

En cas de doute sur la configuration technique, il est possible de planifier un appel de 30 minutes pour y voir plus clair. Nous accompagnons des PME depuis Lyon pour fiabiliser leur infrastructure web.

À retenir

• La directive crawl-delay impose un délai en secondes entre deux requêtes d’un crawler.
• Elle reste une règle non officielle, totalement ignorée par Googlebot.
• Bingbot, Yahoo et Yandex la respectent encore, ce qui crée une asymétrie à gérer.
• Sur un site international, un délai mal réglé peut freiner l’indexation d’une langue entière.
• Renforcer le serveur vaut souvent mieux qu’imposer un délai trop large.

Quoi qu’il en soit, la question n’est pas de freiner les robots par principe, mais de leur ouvrir la bonne porte au bon rythme. Avançons prudemment, car chaque marché linguistique a son moteur, et chaque moteur a ses règles.