Hallo,
unsere bisherigen Tests bzgl. der Reaktivierung des Bingbots im Shared
Hosting sehen gut aus. Wir schließen nun, wie bereits erwähnt, für den Bingbot die Merkmalfilter vom Crawling per robots.txt aus (die entsprechenden Anweisungen werden zur existierenden robots.txt hinzugefügt). Zusätzlich hat der Bingbot einen Crawl-delay bekommen. Es sollte hier also im Laufe der Zeit eine normale Indexierung für Bing stattfinden.
Wir werden die Änderungen im Laufe der Woche auf allen Shared Hostings deployen und die Server weiterhin genauer beobachten.
Wir werden zusätzlich die Weiterentwicklung des Bingbots beobachten, vor allem in Bezug auf dessen aggressives Crawling.
Falls es erneut zu Serverabstürzen aufgrund des Bingbots kommt, werden wir das Crawling für die entsprechenden Server temporär wieder abschalten und nach anderen Möglichkeiten suchen. In diesem Fall werden wir alle betroffenen Kunden benachrichtigen.
Ansonsten wollen wir wie bereits schon erwähnt prüfen, wie wir die Merkmalfilter weiter optimieren können, um auch an dieser Stelle noch an Performance zu gewinnen.
Eine Standard robots.txt sieht dann wie folgt aus:
Viele Grüße
Michael