web-dev-qa-db-de.com

Beeinträchtigt eine dynamische robots.txt-Datei, die das Crawlen aufgrund der Tageszeit nicht zulässt, die SEO?

Wir haben ein ernstes Verkehrsproblem auf unserer Website und möchten Crawler als Teil des Problems beseitigen. Wenn wir das Crawlen mit robots.txt nur während einiger Stunden nicht zulassen, schadet dies unserer SEO?

3
Adrian Godoy

Konzentrieren Sie sich auf die Verbesserung Ihrer Site/Ihres Servers, anstatt sich um eine hackige Lösung zu bemühen. Sie wissen nie, zu welcher Tageszeit Suchmaschinen Ihre Website crawlen. Wenn Sie sie also nur in bestimmten Fenstern zulassen, kann dies erhebliche negative Auswirkungen haben. Wenn Sie Crawler blockieren, wenn Google vorbeikommt, werden Ihnen die Ergebnisse nicht gefallen.

Was Sie für Google tun können, ist legen Sie die Crawling-Rate fest . Wenn Sie die Durchforstungsrate begrenzen ("Wie viele Anfragen pro Sekunde werden von Googlebot an Ihre Website gesendet, wenn diese gecrawlt wird? Beispiel: 5 Anfragen pro Sekunde"), können Sie die Auswirkungen auf die Last verringern, ohne sie vollständig zu blockieren. Wenn Sie über eine umfangreiche Website verfügen, kann dies zu einer längeren Verzögerung führen, bevor neue Updates indiziert werden. Es ist jedoch besser, die Website nicht vollständig zu löschen.

Zumindest für Bing haben Sie etwas mehr Kontrolle. Nach ihrem wie man paginiert :

Sie können Bingbot anweisen, Ihre Website für jede der 24 Stunden am Tag schneller oder langsamer als die normale Crawling-Rate zu crawlen. Auf diese Weise können Sie die Bingbot-Aktivität einschränken, wenn Ihre Besucher auf Ihrer Website sind, und uns mehr Bandbreite in ruhigeren Zeiten gewähren.

Bing Crawl Control

5
Andrew Lott