Y a-t-il un délai d’exploration sur les serveurs SiteGround ?
Le délai d’exploration par défaut défini sur nos serveurs est de 10 secondes pour tous les agents utilisateurs. Vous pouvez écraser cette valeur en créant un nouveau fichier nommé robots.txt à la racine des documents de votre site web et en y ajoutant les lignes suivantes:
Agent utilisateur: *
Délai d’exploration: 10 Remplacez la valeur de crawl-delay par la valeur désirée. La valeur minimale pour Crawl-delay est définie sur 1.