Neu Sitemap wird bei Bing wird wegen fehler abgelehnt

[deliman]

Hallo,

von 3 Shops 5.2.2 und 5.2.3 wird von 2 Shops die Sitemap bei Bing wegen angeblicher Fehler abgelehnt. Bei Google laufen alle 3 durch. 2 Shops laufen direkt bei JTL im Hosting mit den Standardeinstellungen und einer bei Timme im nginx Hosting mit Einstellungen für JTL Shops. Betroffen sind die beiden Shops im JTL Hosting. Selber haben wir eigentlich nichts an der .htaccess oder der robots.txt Datei geändert und auch die Sitemap-Einstellungen sehen ziemlich gleich aus.

Bei Bing reduziert sich die Anzahl der indexierten Seiten für diesen Shop seit Wochen kontinuierlich.

Die robots.txt sieht z.B. so aus:
User-agent: *
Disallow:
Sitemap: https://industryparts.biz/sitemap_index.xml

Kann auch direkt abgerufen werden aber Bing kann daruf nicht zugreifen, was übrigens auch für den anderen, bei JTL gehosteten Shop gilt. Die Ordnerrechte für httpdocs stehen auf 755. htaccess Rewrite Rules noch mal etwas angepasst für https und Umleitung von www. auf ohne www. ansonsten Standardeinstellung.

Woran kann es liegen, das Bing da Probleme hat? Betrifft diese Verhalten auch andere oder speziell nur uns?

 

[deliman]

Hallo,

da Bing auf die Shop- bzw. Servereinstellungen verwiesen hat, und ich den JTL Support dazu kontaktiert hatte, hier die Antwort von JTL für den Fall, das noch jemand Probleme mit Bing hat.

"...der Bingbot-Crawler ist aktuell auf unseren Hosting-Servern gesperrt, da dieser immer wieder für Probleme gesorgt hat.

Es ist nicht möglich, den Bingbot wieder freizuschalten. Dieses hätte negative Auswirkungen auf den Shopserver, der alle auf diesem gehostetene Kunden betreffen würde. Daher ist dies nicht praktikabel.

Wir können Ihnen hier lediglich ein Premium-Shophosting anbieten, oder ihnen empfehlen, Ihren Shop bei einem Drittanbieter zu hosten.

Bei einem Premium Hosting bekommen Sie einen eigenen virtuellen Server, auf dem Ihr Shop läuft. Beim normalen Hosting läuft Ihr Shop mit anderen Kunden gemeinsam auf einem System.
Dadurch besteht die Möglichkeit, die Blockinglisten individuell anzupassen, ohne dass andere Hostings beeinflusst werden."

 

[css-umsetzung]

Dann hoffen wir mal, das Google nicht auf irgendwann als störend empfunden wird.

 

[en001]

Wenn jtl den Unterschied nicht kennt zwischen Bingbot und bei Bing gekauftem Serverplatz der sich als Bingbot ausgibt wird das nichts werden.

 

[recent.digital]

Wir können Ihnen hier lediglich ein Premium-Shophosting anbieten,

gibt es dazu weitere Informationen?

 

[2009Butch]

Auch ich hätte noch einige Fragen dazu.
Premium-Shophosting hatte ich mal auf der JTL Seite in die Suche eingegeben, gibt aber keinen Treffer. Wo findet man dazu weitere Informationen?

Ich habe das Plus/Standard Hosting von JTL, d.h. ich kann ja nur ein Self-Hosting machen wenn ich die Standard Edition für 599,-- € kaufe.

Hosting JTL-Shop (Plus | SE)​

• Artikelnummer: JTL-304-030-M
• Hersteller: JTL-Software-GmbH

• Attraktives Hostingpaket inklusive JTL-Shop Standard Edition
• Optimale Serverkonfiguration für Ihren JTL-Shop
• Inklusive JTL-Search Advanced

Optimale Serverkonfiguration für Ihren JTL- Shop? Suchmaschinen für einen Online Shop zu sperren scheint mir nicht optimal

 

[deliman]

Was genau das Problem bei JTL in Bezug auf Bing ist, wurde nicht erklärt aber wir haben noch einen anderen JTL Shop bei Timmehosting laufen, da ist Bing kein Problem. Was die anders machen, weis ich nicht.
Wir werden jetzt erstmal mit einem Shop von JTL zu Timme wechseln und dann sehen, wie sich das entwickelt.

 

[hula1499]

JTL hat den normalen MS/Bing crawler auf seinen hostings gesperrt?

Das ist doch sicher nur ein Missverständnis...

Bing hat - im Desktopbereich - einen weltweiten Marktanteil von über 9%, einen kombinierten (weltweit, Desktop+rest) von über 3%

Kein crawling der Seite = kein listing im Index (ausgenommen du bist high-trust, weltweit, dann würdest das eine Zeit lang überleben...)
Desktop -> ausschluss von ~475 Mio Internetnutzer
Alle devices -> ausschluss von ~158 Mio Internetnutzer

Bingstatistiken gerade angesehen, da könnte sich - bezüglich Effektivität - Google ein Stück abschneiden
Bing macht - bei noch 1 1/2 verbliebenen JTL Shops - bei uns zumind. keinerlei Probleme (auch nicht mit bing ads), weder was aufrufe, irrläufer oder ähnliches betrifft.

 

[deliman]

Laut JTL wurde Bing ja schon im letzten Jahr ausgeschlossen (so habe ich das verstanden) aber die Probleme traten erst in den letzten Wochen auf. Ob das auch etwas mit den Updates auf die Shopversionen 5.2.2/5.2.3 zu tun hat, kann ich nicht sagen aber die Sitemap wurde bis dahin immer völlig problemlos bei Bing eingelesen.

Klar könnte Bing auch ohne Sitemap indexieren prinzipiell sind ja auch schon viele Seiten indexiert worden aber wenn Änderungen dann nicht mehr indexiert werden können, weil die Bots ausgeschlossen werden...?

 

[hula1499]

"...der Bingbot-Crawler ist aktuell auf unseren Hosting-Servern gesperrt, da dieser immer wieder für Probleme gesorgt hat.

Es ist nicht möglich, den Bingbot wieder freizuschalten. Dieses hätte negative Auswirkungen auf den Shopserver, der alle auf diesem gehostetene Kunden betreffen würde. Daher ist dies nicht praktikabel.

Wir können Ihnen hier lediglich ein Premium-Shophosting anbieten, oder ihnen empfehlen, Ihren Shop bei einem Drittanbieter zu hosten.

Bei einem Premium Hosting bekommen Sie einen eigenen virtuellen Server, auf dem Ihr Shop läuft. Beim normalen Hosting läuft Ihr Shop mit anderen Kunden gemeinsam auf einem System.
Dadurch besteht die Möglichkeit, die Blockinglisten individuell anzupassen, ohne dass andere Hostings beeinflusst werden."

Ist das wirklich ein JTL Support Ticket Zitat?

 

[deliman]

Definitiv! Wir haben dazu ein Ticket beim JTL Support aufgemacht und mehrmals hin-und hergeschrieben, nachdem ich JTL auch die Rückmeldung von Bing gesendet hatte, warum unsere Sitemaps nicht mehr verarbeitet werden können. Das war dann die Antwort vom Support.

 

[Sascha Reuters]

Hallo zusammen,

da doch einiges an Verwirrung herrscht, würde ich an dieser Stelle gerne einmal versuchen Klarheit zu schaffen.

Das Zitat ist korrekt, in unserer aktuellen Shopumgebung ist der Bingbot global gesperrt. Wenn es nach uns ginge, wäre dies selbstverständlich nicht der Fall, allerdings entstehen starke und permanente Performanceeinbußen beim aktivieren, die mit keinem ähnlichen Bot wie Google oder Yahoo zu vergleichen sind. Hier kam es wiederholt zu gesamten Serverausfällen in unserer shared Hostingumgebung, die dutzende Kunden gleichzeitig betroffen haben. Hier gab und gibt es auch schon Stellungnahmen und Versuche von Microsoft die Performance des Bingbot zu verbessern, dies ist also kein Thema welches mit der Sperre endültig ist. Wir arbeiten zurzeit an unserer neuen Infrastruktur und Hostingumgebung, sobald sich hier Gelegenheiten bieten dieses Thema erneut zu testen, werden wir dies tun. Wir im JTL- Hosting haben diese Entscheidung nicht leichtfertig getroffen und sind uns über dessen Auswirkungen im klaren, trotzdem steht die Uptime und Performance unseren Kundenshops an erster Stelle.

Ich hoffe ich konnte die Situation verständlich darstellen, bei Rückfragen stehe ich gerne zur Verfügung.

Viele Grüße

Sascha Reuters

 

[2009Butch]

Hallo zusammen,

da doch einiges an Verwirrung herrscht, würde ich an dieser Stelle gerne einmal versuchen Klarheit zu schaffen.

Das Zitat ist korrekt, in unserer aktuellen Shopumgebung ist der Bingbot global gesperrt. Wenn es nach uns ginge, wäre dies selbstverständlich nicht der Fall, allerdings entstehen starke und permanente Performanceeinbußen beim aktivieren, die mit keinem ähnlichen Bot wie Google oder Yahoo zu vergleichen sind. Hier kam es wiederholt zu gesamten Serverausfällen in unserer shared Hostingumgebung, die dutzende Kunden gleichzeitig betroffen haben. Hier gab und gibt es auch schon Stellungnahmen und Versuche von Microsoft die Performance des Bingbot zu verbessern, dies ist also kein Thema welches mit der Sperre endültig ist. Wir arbeiten zurzeit an unserer neuen Infrastruktur und Hostingumgebung, sobald sich hier Gelegenheiten bieten dieses Thema erneut zu testen, werden wir dies tun. Wir im JTL- Hosting haben diese Entscheidung nicht leichtfertig getroffen und sind uns über dessen Auswirkungen im klaren, trotzdem steht die Uptime und Performance unseren Kundenshops an erster Stelle.

Ich hoffe ich konnte die Situation verständlich darstellen, bei Rückfragen stehe ich gerne zur Verfügung.

Viele Grüße

Sascha Reuters

Für mich nicht wirklich, denn wenn empfohlen wird zum Drittanbieter im Hosting zu wechseln, scheinen diese ja keine Probleme mit der Performance des Bingbot zu haben, was bei mir den Eindruck hinterlässt das das JTL Hosting wohl eher der Problem Verursacher ist.
Hinzu kommt die Frage wie lange Bing gesperrt bleibt... 6 Monate, 12 Monate oder noch länger?

VG
Kerstin Marx-Möller

 

[css-umsetzung]

Das Kunden, wie es scheint, nicht im Vorfeld informiert wurden ist jetzt nicht so wirklich schön.

Ich weiß, das der Shop, bzw. ein Server durch sensationelle Merkmalsuchen über Bots oder auch User lahmgelegt werden können,
wenn das auch auf BING zutrifft (was ich nicht weiß) weil Sie eventuell auch den Merkmalen folgen und damit den SQL Server über 100% auslasten,
dann solltet Ihr euch eher Gedanken darüber machen die Merkmalsuche zu optimieren.

Nur zu sagen Bing verursacht Performanceeinbußen ist auch ein bisschen wenig Information.

Ich habe ja keine Ahnung von den Möglichkeiten der Suchmaschinen, aber wenn es darum geht das zu viele Requests in der Sekunde kommen, dann sollte es ja möglich sein das zu steuern wenn man der Seite glauben darf:
https://blogs.bing.com/webmaster/2009/08/10/crawl-delay-and-the-bing-crawler-msnbot

Für euch ist es ja ein einfaches auf den Hostings, die robots zu erweitern.

 

[Sascha Reuters]

Hallo zusammen,

eine direkte Kommunikation nach außen wäre hier tatsächlich der korrekte Ansatz gewesen, bei Rückfragen von Kunden wurde dies zwar von unserer Seite zwar immer offen beantwortet, aber dies reicht in so einem umfänglichen Thema nicht aus.

Bzgl. der Kombination aus Bingbot und Merkmalfilter werden die entsprechenden Fachabteilungen Recherchen anstellen, vielen Dank für den Input.

Der Lösung, die Thematik mithilfe der Robots.txt und der Crawl delay anzugehen, wurde von uns in der Vergangenheit schon verfolgt, allerdings konnte hier kein Wert ermittelt werden, welcher den gewünschten Effekt erzielt.
Wir werden dieses Thema jetzt neu aufrollen hoffentlich zu einem Ergebnis kommen mit dem alle Kunden zufrieden sind.

Viele Grüße

Sascha Reuters

 

[css-umsetzung]

@Sascha Reuters

um das mal genauer zu beschreiben:

Solche Abfragen über die Merkmalsuche, die von einem Bot, bis zu sieben mal in der Sekunde durchgeführt wurden, blockierten die MySQL Datenbank zu 100%.
Das war ein Server mit 12 Cores, das bedeutet, nach dem 12. Request war ein weiterer Aufruf der Seite nicht mehr möglich.

/blabla-webseitenlink__A_5__25_2__29_1__901-1000__701-800__1-15_1__57_1__18_2__1101-1200_1__Weiss-Matt__28_1?pf=750_1500&qf=2

Das ist natürlich ungünstig wenn ich einen Shop auf diese Art lahmlegen kann.
hier ein Auszug aus dem geändertem Log, ist jetzt nicht Bing aber soll das mal verdeutlichen was da so passieren kann wenn man Merkmale verwendet:

13:17:46  52.74.119.153 Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)
/blabla-webseitenlink:blubblub-merkmal__A_5__25_2__29_1__901-1000__701-800__1-15_1__57_1__18_2__1101-1200_1__Weiss-Matt__28_1?pf=750_1500&qf=2

13:17:46  13.214.109.38 Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)
/blabla-webseitenlink:blubblub-merkmal__A_6__25_2__29_1__01-1_1__901-1000__701-800__200_1__18_2__1101-1200_1__Weiss-Matt__32_3?pf=750_1500&qf=2

13:17:46  18.143.220.18 Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)
/blabla-webseitenlink:blubblub-merkmal__A__550-649__650-749_1__29_1__901-1000__701-800__1-15_1__18_2__1101-1200_1__Weiss-Matt__34_2?pf=750_1500&qf=2

13:17:46  18.141.7.142 Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)
/blabla-webseitenlink:blubblub-merkmal__A_6__01-1__750-849_1__29_1__01-1_1__901-1000__701-800__18_2__1101-1200_1__Weiss-Matt__21_2?pf=750_1500&qf=2

13:17:46  13.229.22.2 Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)
/blabla-webseitenlink:blubblub-merkmal__A_6__650-749_1__29_1__01-1_1__901-1000__701-800__28_1__18_2__1101-1200_1__Weiss-Matt__35_2?pf=750_1500&qf=2

13:17:46  13.215.1.144 Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)
/blabla-webseitenlink:blubblub-merkmal__A__650-749_1__01-1__750-849_1__29_1__901-1000__701-800__18_2__1101-1200_1__Weiss-Matt__51_1?pf=750_1500&qf=2

 

[MHillmann]

Hallo,

wir können bestätigen, dass das Crawling der Merkmalfilter eine hohe Last erzeugt. Wir sind am Thema dran und testen gerade die Möglichkeit das Crawling der Merkmalfilter für den Bingbot per robots.txt auszuschließen.

Viele Grüße Michael

 

[deliman]

Klingt ja so, als könnte doch (noch) recht zeitnah eine Lösung angeboten werden...

 

[MHillmann]

Kurzes Update: Die Tests laufen. Ich werde mich dazu am Montagnachmittag nochmal melden.

 

[css-umsetzung]

Der vernünftigste Weg wäre unter anderem die Merkmale nicht mehr als Links auszugeben, insbesondere wenn man eh nicht möchte das diese von Suchmaschinen durchsuchbar sein sollen.
Das würde viele Probleme, unter anderem auch die, das man auf einer Seite zu viele Links hat beseitigen.