Neu Sitemap wird bei Bing wird wegen fehler abgelehnt

[deliman]

Ich kann nicht ausschließen, dass das dann auch noch dazukommt. Zumindest beim direkten Umstieg von 4er auf den 5er Shop letzten Herbst gab es direkt einen sichtbaren Absturz der Positionsanzeige laut Google Search Console. Der Sichtbarkeitsindes laut Sistrix ist dabei aber nicht (so deutlich) eingebrochen und wieder am steigen.

 

[fritz_0815]

Bin da echt jetzt ein Laie bezüglich Datenbanken.
Würde es was bringen, wenn man die ArtikelFilter im Cache aktivieren würde um Datenbank Server zu entlasten ?
Hatte die Artiklefilter herausgenommen, weil wegen der großen Datei über 1,5 gb ich zum Teil nicht mehr zu den Einstellungen Cache gekommen bin

 

[css-umsetzung]

Nein, du sollst schauen, ob bei dir Bing oder andere böse Bots rumrennen um die Merkmale zu scannen und wenn das bei dir wie ich denke zutrifft, die robots.txt und gegeben Falls auch die config Datei anpassen.

Du musst hier nichts über Datenbanken wissen.

 

[AMP-Agentur]

Hallo,

unsere bisherigen Tests bzgl. der Reaktivierung des Bingbots im Shared Hosting sehen gut aus. Wir schließen nun, wie bereits erwähnt, für den Bingbot die Merkmalfilter vom Crawling per robots.txt aus (die entsprechenden Anweisungen werden zur existierenden robots.txt hinzugefügt). Zusätzlich hat der Bingbot einen Crawl-delay bekommen. Es sollte hier also im Laufe der Zeit eine normale Indexierung für Bing stattfinden.
Wir werden die Änderungen im Laufe der Woche auf allen Shared Hostings deployen und die Server weiterhin genauer beobachten.
Wir werden zusätzlich die Weiterentwicklung des Bingbots beobachten, vor allem in Bezug auf dessen aggressives Crawling.
Falls es erneut zu Serverabstürzen aufgrund des Bingbots kommt, werden wir das Crawling für die entsprechenden Server temporär wieder abschalten und nach anderen Möglichkeiten suchen. In diesem Fall werden wir alle betroffenen Kunden benachrichtigen.
Ansonsten wollen wir wie bereits schon erwähnt prüfen, wie wir die Merkmalfilter weiter optimieren können, um auch an dieser Stelle noch an Performance zu gewinnen.

Eine Standard robots.txt sieht dann wie folgt aus:


Viele Grüße
Michael

Ist das die gesamte robot.txt oder muss man das noch zur bestehenden robots.txt hinzufügen?

 

[wawi-dl]

@css-umsetzung
Hast du uns eine Abhilfe, damit Merkmale nicht gecrawled werden?
Unsere Shops sind nur auf Merkmale ausgerichtet.

 

[css-umsetzung]

@wawi-dl


Ja ich habe da etwas was ich bei meinen Kunden einsetze und was sehr gut funktioniert und wird von mir, nachdem ich den Shop geprüft habe, wenn erforderlich, kostenpflichtig eingebaut, danach kontrolliere ich das über drei Tage, ob das sauber läuft.

Ich blocke damit zum einen die üblen Bots (habe ich ja mal veröffentlicht), zum anderem sorge ich dafür, dass auch die Bots, die nicht zu erkennen sind, keine Suchen auslösen, die dann zusätzliche Kosten verursachen und auch keine Merkmalverschachtelungen aufrufen können.

Es macht aber keinen Sinn, wenn Ihr extra, verschachtelte Merkmal Links (ab zwei Merkmale) verteilt, über die eure User dann zu eurer Seite kommen sollen, denn die würden dann auf die Startseite geleitet werden, dann solltet Ihr eher auf Cloudflare, mit einem aktivem Bot Schutz setzen.

 

[wawi-dl]

Danke dir, wir haben kürzlich wegen Bots auf CloudFlare umgestellt, aber META müssen wir blocken.

Schicke mir doch mal bitte ein Angebot per Email, würde mir das gerne für 2 Shops einrichten lassen.