Wenn Ihre Seite oft von Suchmaschinen Bots (GoogleBot, BingBot, etc.) besucht wird und hierdurch hoher Traffic oder eine hohe Auslastung Ihres Webaccounts / Servers entsteht, können Sie die Besuchsgeschwindigkeit der Bots verlangsamen.
Erstellen Sie hierzu bitte eine Datei namens "robots.txt" in folgendem Verzeichnis:
"www.domain-bei-profihost.de".
Der Inhalt der Datei sollte wie folgt aussehen:
User-agent: * Crawl-delay: 10
Nur alle 10 Sekunden darf eine neue Seite zum Auslesen vom Suchmaschinen Bot aufgerufen werden.
Hinweis: Dies funktioniert leider nicht auf dem "GoogleBot". Hier muss die Besuchsgeschwindigkeit in den Webmaster Tools eingestellt werden:
https://www.google.com/webmasters/tools/?hl=de
Google stellt dazu eine FAQ bereit:
https://support.google.com/webmasters/answer/48620?hl=de