Neu Sitemap wird bei Bing wird wegen fehler abgelehnt

[deliman]

Die Einstellung "Suchmaschinen-Indexierung von Merkmalwert-URLs: " bringt dabei wohl nur einen teilweisen Erfolgt bzw. Entlastung, oder? Soweit ich weis, gilt sowas eher als Wunsch an die Crawler und wird nicht immer beachtet.

 

[MHillmann]

Hallo,

eine Überarbeitung der Merkmalfilter ist im Gespräch, eine Idee ist bei der Facettenfilterung z.B. auf die Methodik der PRG-Patterns zurückgreifen und auf die "__" bei der Merkmalfilter-Logik in der URL zu verzichten. Solch ein Umbau ist allerdings ein sehr aufwändiger und tiefgehender Eingriff und damit eher eine langfristige Lösung.

Die Einstellung "Suchmaschinen-Indexierung von Merkmalwert-URLs:", setzt "nur" den meta robots tag auf noindex und würde damit u.a. zu spät greifen. Es ist des Weiteren auch anzuraten, bei Performanceproblemen mit Merkmalen, nicht die Einstellung "Trefferanzahl bei Merkmalfiltern anzeigen - Trefferanzahl auch bei möglicher Mehrfachauswahl anzeigen (performancelastig)" zu verwenden.
Unabhängig davon, dass es bisher unklar ist, ob das die Lage des Crawlings durch den Bingbot ausreichend verbesseren würde, ist es aber auch schwierig Einstellungen vorzuschreiben. Prinzipiell kann es schon teuer werden, wenn der Bingbot einen einzigen Shop im Shared Hosting besucht, der viel mit Merkmalen arbeitet. Wir sind daher auf der Suche nach anderen Wegen.

Viele Grüße
Michael

 

[css-umsetzung]

@MHillmann das was ich oben gepostet habe (Auszug aus dem Log), ist wie schon angesprochen ein Fall wie ich ihn des Öfteren erlebe, in dem Fall bei mir war es ja ein anderer Spider und der scherrt sich nen sche...s drum was ich ihm über die Robots mitteilen möchte.

Problematisch ist bei der Merkmalgeschichte eben, das ich wenn ich mir Mühe gebe, auch als normaler User, so jeden Server lahmlegen kann, ich muss einfach der Menge der Cores entsprechend solche Suchen ausführen, da diese dann sehr lange dauern, sind dann alle Cores mit den MySQL Instanzen beschäftigt.

Nur durch die Änderungen der Merkmale, das diese keine reinen Links mehr sind (was ja eigentlich nur etwas Fleißarbeit in Verbindung mit JS/CSS ) im Template erfordert, hätte man aber die Bots schon nicht mehr als großes Problem.
Dann hättet Ihr in Ruhe Zeit euch die Merkmalsuche mal genauer anzuschauen.

Für mich macht es auch keinen Sinn das eine Suchmaschine meinen Merkmalen folgt, da es zu 90% nichts anderes als ein Produktlisting ohne content ist (hab mich jetzt als nicht SEO mal weit aus dem Fenster gelehnt ).

 

[MHillmann]

Hallo,

unsere bisherigen Tests bzgl. der Reaktivierung des Bingbots im Shared Hosting sehen gut aus. Wir schließen nun, wie bereits erwähnt, für den Bingbot die Merkmalfilter vom Crawling per robots.txt aus (die entsprechenden Anweisungen werden zur existierenden robots.txt hinzugefügt). Zusätzlich hat der Bingbot einen Crawl-delay bekommen. Es sollte hier also im Laufe der Zeit eine normale Indexierung für Bing stattfinden.
Wir werden die Änderungen im Laufe der Woche auf allen Shared Hostings deployen und die Server weiterhin genauer beobachten.
Wir werden zusätzlich die Weiterentwicklung des Bingbots beobachten, vor allem in Bezug auf dessen aggressives Crawling.
Falls es erneut zu Serverabstürzen aufgrund des Bingbots kommt, werden wir das Crawling für die entsprechenden Server temporär wieder abschalten und nach anderen Möglichkeiten suchen. In diesem Fall werden wir alle betroffenen Kunden benachrichtigen.
Ansonsten wollen wir wie bereits schon erwähnt prüfen, wie wir die Merkmalfilter weiter optimieren können, um auch an dieser Stelle noch an Performance zu gewinnen.

Eine Standard robots.txt sieht dann wie folgt aus:

# BITTE NICHT LOESCHEN, SERVER-/CRAWLING-OPTIMIERUNG
User-agent: Bingbot
User-agent: AdIdxBot
User-agent: BingPreview
User-agent: MicrosoftPreview
Crawl-delay: 5
Disallow: /*__*
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Disallow: /dbeS/*
Disallow: /jtl-store/__
Disallow: /extension-store/__
Allow: *

User-agent: *
Crawl-delay: 5
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Disallow: /dbeS/*
Disallow: /jtl-store/__
Disallow: /extension-store/__
Allow: *

Viele Grüße
Michael

 

[MHillmann]

Nur durch die Änderungen der Merkmale, das diese keine reinen Links mehr sind (was ja eigentlich nur etwas Fleißarbeit in Verbindung mit JS/CSS ) im Template erfordert, hätte man aber die Bots schon nicht mehr als großes Problem.

@css-umsetzung Bots können heutzutage auch in einem gewissen Rahmen Javascript ausführen. Es besteht wahrscheinlich eine gewisse Chance, dass das funktioniert, wäre aber auch keine nachhaltige Lösung.

Zum generellen Nutzen der Indexierung von Filter-Seiten kann ich auch nicht viel sagen, das ist ggf. auch von Fall zu Fall unterschiedlich. Hier würde ich auf jeden Fall auch empfehlen einen SEO-Experten zu befragen.

 

[css-umsetzung]

@css-umsetzung Bots können heutzutage auch in einem gewissen Rahmen Javascript ausführen.

Ja ich weiß, die werden immer intelligenter aber derzeit ist das ja der einzige Weg den man gehen kann, auch wegen der vielen Links, die für Google nicht förderlich sind und wegen der Merkmale entstehen auch gehen sollte.
(meine Meinung)

 

[en001]

Fillterseiten sollten mit noindex antworten im Code oder einen canonical-Link zur Standardsortierung haben.
Google passt sich an die Servergeschwindigkeit an bei der Menge wie oft gecrawlt wird.

 

[css-umsetzung]

Wir drehen uns hier dann langsam im Kreis

noindex, nofollow und was da alles so geht ist ganz nett, die seriösen Spider interessiert das ja eventuell auch aber es ist eben wichtig das da draußen auch viele rumrennen, die das nicht interessiert und da muss man dann eben auch versuchen, das einzudämmen.

 

[deliman]

Bei unseren Shops im JTL Hosting bereits umgesetzt und gestern bei Bing Webmaster Tools nachgesehen bzw. die Sitemaps noch mal neu geladen und jetzt liest sie Bing problemlos ein. Mal sehen, wann die Anzahl der indizierten Seiten wieder nach oben geht.

 

[css-umsetzung]

Ich hab hier gerade eine Seite, da verhält sich der Amazonbot wie Bing
Den sollte man also vermutlich auch mit aufnehmen in der Robots

 

[Freaky]

Ich hab hier gerade eine Seite, da verhält sich der Amazonbot wie Bing
Den sollte man also vermutlich auch mit aufnehmen in der Robots

Wie heißt der denn? Der hat bei uns ja gar nix zu suchen. Den müssten wir komplett ausschließen.

 

[css-umsetzung]

Amazonbot
https://developer.amazon.com/support/amazonbot

 

[P0ttwal]

Hallo,

eine Überarbeitung der Merkmalfilter ist im Gespräch, eine Idee ist bei der Facettenfilterung z.B. auf die Methodik der PRG-Patterns zurückgreifen und auf die "__" bei der Merkmalfilter-Logik in der URL zu verzichten. Solch ein Umbau ist allerdings ein sehr aufwändiger und tiefgehender Eingriff und damit eher eine langfristige Lösung.

Die Einstellung "Suchmaschinen-Indexierung von Merkmalwert-URLs:", setzt "nur" den meta robots tag auf noindex und würde damit u.a. zu spät greifen. Es ist des Weiteren auch anzuraten, bei Performanceproblemen mit Merkmalen, nicht die Einstellung "Trefferanzahl bei Merkmalfiltern anzeigen - Trefferanzahl auch bei möglicher Mehrfachauswahl anzeigen (performancelastig)" zu verwenden.
Unabhängig davon, dass es bisher unklar ist, ob das die Lage des Crawlings durch den Bingbot ausreichend verbesseren würde, ist es aber auch schwierig Einstellungen vorzuschreiben. Prinzipiell kann es schon teuer werden, wenn der Bingbot einen einzigen Shop im Shared Hosting besucht, der viel mit Merkmalen arbeitet. Wir sind daher auf der Suche nach anderen Wegen.

Viele Grüße
Michael

Ich wäre euch sooooo dankbar, wenn endlich mal die PRG-Patterns kommen würden. Das wünsche ich mir schon seit Jahren.
Nur mal so erwähnt

 

[P0ttwal]

Hallo,

unsere bisherigen Tests bzgl. der Reaktivierung des Bingbots im Shared Hosting sehen gut aus. Wir schließen nun, wie bereits erwähnt, für den Bingbot die Merkmalfilter vom Crawling per robots.txt aus (die entsprechenden Anweisungen werden zur existierenden robots.txt hinzugefügt). Zusätzlich hat der Bingbot einen Crawl-delay bekommen. Es sollte hier also im Laufe der Zeit eine normale Indexierung für Bing stattfinden.
Wir werden die Änderungen im Laufe der Woche auf allen Shared Hostings deployen und die Server weiterhin genauer beobachten.
Wir werden zusätzlich die Weiterentwicklung des Bingbots beobachten, vor allem in Bezug auf dessen aggressives Crawling.
Falls es erneut zu Serverabstürzen aufgrund des Bingbots kommt, werden wir das Crawling für die entsprechenden Server temporär wieder abschalten und nach anderen Möglichkeiten suchen. In diesem Fall werden wir alle betroffenen Kunden benachrichtigen.
Ansonsten wollen wir wie bereits schon erwähnt prüfen, wie wir die Merkmalfilter weiter optimieren können, um auch an dieser Stelle noch an Performance zu gewinnen.

Eine Standard robots.txt sieht dann wie folgt aus:


Viele Grüße
Michael

Super und danke dafür.
Ich bin mir nur nicht sicher, ob ich das gut finde für alle Bots das Delay auch so hoch zu setzen?
Bei einem Shop mit 30.000 Artikel dauert das Crawling ja dann ewig oder nicht?

 

[wawi-dl]

Wir das auch allgemein für JTL Shop ausgerollt? Patch?
Habe hier nur überflogen.

 

[css-umsetzung]

Da wo es in Shops relevant ist habe ich es übernommen und auch den Amazonbot hinzugefügt.

 

[MHillmann]

Wir das auch allgemein für JTL Shop ausgerollt? Patch?

Die robots.txt liegt prinzipiell in der Hand des Shopbetreibers. Wir werden dort also keine allgemeine Veränderung vornehmen.
Wenn man keine Performance bzw. Cache-Probleme hat ist ja an sich alles gut.

Unser Ziel wird es wie gesagt sein die Merkmalfilter zu überarbeiten, sodass solche Probleme abgeschwächt werden bzw im Bestfall gar nicht erst auftreten.

 

[IT-Elle.de]

Die robots.txt liegt prinzipiell in der Hand des Shopbetreibers. Wir werden dort also keine allgemeine Veränderung vornehmen.
Wenn man keine Performance bzw. Cache-Probleme hat ist ja an sich alles gut.

Unser Ziel wird es wie gesagt sein die Merkmalfilter zu überarbeiten, sodass solche Probleme abgeschwächt werden bzw im Bestfall gar nicht erst auftreten.

Und woher soll der Shopbetreiber es wissen?
Schonmal drüber nachgedacht so wichtige Infos auch an alle Shopbetreiber zu senden?

 

[deliman]

Wenn ich mir die Zugriffszahlen in Bing Webmaster Tools für unsere 2 betroffenen Shops so ansehe, ist der Einbruch mit dem Aussperren der Bingbots deutlich ab Mitte/Ende Juni zu erkennen und die haben sich bislang noch nicht wieder erholt.

 

[IT-Elle.de]

Vielleicht haben die Shops auch einfach nur auf den 5er Shop geupdated und fallen auf Grund diverser weiterer Fehler aus dem Ranking
https://forum.jtl-software.de/threads/jtl-shop-5-indexierung-ueber-google-search-console.179776/