Autor Thema: Suchmaschinen Bots verlangsamen  (Gelesen 2427 mal)

Offline Profihost - Technik

  • Administrator
  • Hero Member
  • *****
  • Beiträge: 2012
    • Profil anzeigen
Suchmaschinen Bots verlangsamen
« am: 03.02.2014 12:47 »
Wenn Ihre Seite oft von Suchmaschinen Bots (GoogleBot, BingBot, etc.) besucht wird und hierdurch hoher Traffic oder eine hohe Auslastung Ihres Webaccounts / Servers entsteht, können Sie die Besuchsgeschwindigkeit der Bots verlangsamen.

Erstellen Sie hierzu eine Datei namens "robots.txt" in Ihrem Verzeichnis "www.domain-bei-profihost.de".

Der Inhalt der Datei sollte wie folgt aussehen:

User-agent: *
Crawl-delay: 10


Nur alle 10 Sekunden darf eine neue Seite zum Auslesen vom Suchmaschinen Bot aufgerufen werden.

Hinweis: Dies funktioniert leider nicht auf dem "GoogleBot". Hier muss die Besuchsgeschwindigkeit in den Webmaster Tools eingestellt werden: https://www.google.com/webmasters/tools/?hl=de‎

Google stellt dazu eine FAQ bereit:

https://support.google.com/webmasters/answer/48620?hl=de
« Letzte Änderung: 05.09.2016 10:29 von A.Büggeln - Profihost »
Mit freundlichen Grüßen
Ihr ProfiHost Team