Neu Goolge Crawler crawlt plötlich nicht mehr, Produkte werden nicht mehr beworben

Schnuffelwuffel

Gut bekanntes Mitglied
13. November 2020
82
27
Hallo,

ich habe plötzlich massive Probleme und Umsatzeinbruch, weil Google plötzlich einige wesentliche Produktseiten nicht mehr crawlen kann und aus den Werbekampagnen ausschließt.

Beispiel:
https://schnuffelwuffel.de/Annyx-Brustgeschirr-Fun

Laut der Live-Prüfung der Google Search Console wird angeblich das Crawlen durch die robots.txt nicht erlaubt. Das verstehe ich nicht, ich hatte außer eines Updates vom Webstollen EU Cookie Plugin keine Änderungen am Shop vorgenommen.
Es werden schon über 200 Produkte abgelehnt.

Hat irgendjemand eine Idee oder die letzten Tage ähnliche Probleme bekommen?

Danke für eure Tipps.
 

en001

Sehr aktives Mitglied
15. März 2017
513
52
nicht kann?

Das kann auch heißen das Google nicht darf vom Provider aus.
Oder Google will nicht mehr weil der Shop zu langsam ist und der Text ein Duplikat vieler anderer Shop ist.
 

Schnuffelwuffel

Gut bekanntes Mitglied
13. November 2020
82
27
Ich bin jetzt einen Schritt weiter. Folgendes ist passiert:

Unser von JTL gehosteter Shop wurde vor wenigen Tagen innerhalb des Rechenzentrums auf neue Server migriert. Diese von JTL angekündigten Wartungsarbeiten wurden um 21:00 Uhr begonnen. Der Google Crawler wollte zufällig ab ca. 21:03 Uhr eine Vielzahl von Shop-URLs crawlen. Zu dem Zeitpunkt war wohl die robots.txt gerade nicht erreichbar, weshalb die Produktseiten vorübergehend abgelehnt wurden.

In der Folge wurden die ca. 200 Produkte im Merchant Center abgelehnt, was in der Konsequenz massiv das Ausspielen der Google Ads eingeschränkt hat.

Leider hat man nicht wirklich großen Einfluss darauf, den Crawler wieder "herbeizurufen". Es braucht vermutlich ein paar Tage Geduld. Ist zwar bitter wegen der Umsatzeinbußen, aber wohl nicht zu ändern.
 

en001

Sehr aktives Mitglied
15. März 2017
513
52
Über die Searchkonsole kannst du Googlebot "rufen".
Wenn jtl einen 503 bei solch einem Umzug senden würde gäbe es keine Probleme.
Du kannst auch jederzeit deinen Feed von Hand einreichen im Merchant-Center.
Das kann auch automatisiert passieren alle x Stunden wenn man das will.
 

Schnuffelwuffel

Gut bekanntes Mitglied
13. November 2020
82
27
Über die Searchkonsole kannst du Googlebot "rufen".
Wenn jtl einen 503 bei solch einem Umzug senden würde gäbe es keine Probleme.
Du kannst auch jederzeit deinen Feed von Hand einreichen im Merchant-Center.
Das kann auch automatisiert passieren alle x Stunden wenn man das will.

Über die Search Console habe ich schon versucht, zu einzelnen abgelehnten Seiten das Crawlen manuell zu veranlassen. Das Crawlen war auch erfolgreich. Leider ist das im Merchant Center trotzdem noch nicht synchronisiert worden. Das Datum der letzten Überprüfung steht nach wie vor auf dem 13.04. um kurz nach 21 Uhr.

Das mit dem 503 finde ich interessant. Werde ich mal dem Kollegen vom JTL-Support, der mein Ticket hoffentlich bald bearbeitet, so mitteilen.

Mein Feed wird jede Nacht aktualisiert. Leider hat das bei den gesperrten Seiten noch nichts bewirkt.

Ich schätze, ich bin der Situation momentan ausgeliefert und muss die nächsten Tagen mit den Umsatzeinbußen leben. :(