Neu robots.txt: Kann/sollte man Seiten mit anhängendem Parameter ausschließen

ongnamo

Sehr aktives Mitglied
31. März 2013
917
62
Hallo,

wenn ich meine Webseite über Seobility crawlen lasse, werden auch Seiten mit anhängenden Parametern wie ?Sortierung=3 oder ?af=50 analysiert. Daher nehme ich an, dass auch Google und andere Bots das tun. Aus meiner Sicht wäre das nicht erforderlich und würde Crawling-Budget sparen.

Ist es empfehlenswert, solche Seiten, die in der URL einen Parameter haben, in der robots.txt auszuschließen?
 

Morimus

Aktives Mitglied
16. Mai 2019
58
10
Crawling-Budget? Von Google?
Ich glaube, da musst du dir keine Sorgen drum machen.

Schau dir doch an, was in der search console alles gesammelt wird.
Bei uns werden diese Seiten gecrawlt, sind aber nicht indexiert.
Derzeit 5435 Seiten.
 

Morimus

Aktives Mitglied
16. Mai 2019
58
10
Welche Sorge hast du genau? Das deine Seiten nicht indexiert sind?
Schau in die Search Console. Wenn dein Shop nicht erst letzte Woche erstellt wurde, wurden vermutlich alle deine Seiten bereits gecrawlt.
Stell Google eine Sitemap zur Verfügung. Die wird mit berücksichtigt bei erneuten crawlen.

Bei uns kommen im Monat ca. 100 Seiten hinzu. In der Regel dauert es 2-3 Wochen, bis diese Seiten im Index sind.
 

ongnamo

Sehr aktives Mitglied
31. März 2013
917
62
Nun, die Sorge stammt daher, dass ich verschiedentlich so etwas gelesen habe:

Die robots.txt hilft dabei, das vorhandene Crawl-Budget der Webseite besser zu nutzen und auf die Bereiche der Webseite zu verteilen. Natürlich findet der Robot relevante Inhalte auch über interne und externe Verlinkungen, jedoch ist es gewinnbringender den Suchmaschinen-Robot direkt auf die relevanten Inhalte hinzuweisen und die irrelevanten Inhalte mit dem DISALLOW Befehl auszuschließen. Mit dem Vorgehen optimiert man das vorhandene Crawl-Budget, dass der Webseite seitens der Suchmaschine gestellt wird auf relevante Inhalte und steigert somit die Effizienz in der Nutzung des Crawl-Budgets.

Ich bin auf das Thema gestoßen, nachdem wir letztes WE unseren Shop auf Version 5 gehoben haben und ich mir nach langer Zeit die robots.txt angesehen habe. Unsere Seite ist alt genug, dass alle Seiten indiziert sind. Seit Ende April werden nur noch ca. 3000 Seiten/Tag indiziert, vorher waren es über 5000 Seiten/Tag. Das ist hier aber nicht der Punkt. Es ist eher dein letzter Satz: Neue Produkte oder Veränderung werden tendenziell verzögert indiziert, weil Google irrelevante Seiten crawlt. Warum also 2 - 3 Wochen, wenn es doch auch in 1 Woche ging, wenn man Google sagt, welche Bereiche nicht zu crawlen sind?

Vielleicht liegt ich ja auch falsch.
 

Morimus

Aktives Mitglied
16. Mai 2019
58
10
Seit Ende April werden nur noch ca. 3000 Seiten/Tag indiziert, vorher waren es über 5000 Seiten/Tag.
Das konnte ich so ebenfalls nach dem Umzug auf Shop 5 beobachten.

Beruhigt hat mich folgender Blogpost von Google selbst:
Darüber hinaus können Ereignisse, die die gesamte Website betreffen, wie etwa der Umzug einer Website, zu einer Zunahme des Crawling-Bedarfs führen, da der Inhalt unter den neuen URLs neu indexiert werden muss.
Quelle: https://developers.google.com/search/blog/2017/01/what-crawl-budget-means-for-googlebot?hl=de

Es ist eher dein letzter Satz: Neue Produkte oder Veränderung werden tendenziell verzögert indiziert, weil Google irrelevante Seiten crawlt.
Wenn du mit irrelevanten Seiten die Seiten meinst, die zwar noch nicht gecrawlt wurden, du dies aber gerne hättest, magst du recht haben.
Wenn du die Seiten meinst, mit anhängenden Parametern dann kann ich sagen das dies nicht der Fall ist.
Wenn ich über Matomo die letzten 6 Monate filtere, mir die Seiten anschaue, die ausgeschlossen, gecrawlt, aber zurzeit nicht indexiert sind, komme ich auf insgesamt 65 besuche des google robots auf alle knapp 5.5k Seiten.
 
Ähnliche Themen
Titel Forum Antworten Datum
Robot.txt bei neuem Shophosting Einrichtung JTL-Shop5 3
Datanorm 5.0 - kann diese in JTL importiert werden und ist ein automatischer stündlicher Import irgendwie möglich? JTL-Wawi 1.6 3
Storno mit ausgangszahlung -> Ausgangszahlung kann nicht erstellt werden JTL-Wawi 1.6 0
Neu Wie kann ich die Artikelmerkmale auf der Produktseite im Reiteranzeigen lassen anstatt unter der Beschreibung? Templates für JTL-Shop 0
Neu Wo kann ich das Verpackungsgewicht eingeben? Allgemeine Fragen zu JTL-Shop 7
Eigene Felder im Auftrag (Automatisch generiert) - Braucht man die? Kann man die ohne bedenken löschen? JTL-Wawi 1.6 0
Neu wie kann man die Artikelgewichte mit auf den Picklisten angeben Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 1
Neu JTL WaWi 1.6.38.2 - Menüleiste oben funktioniert nicht mehr - kann den Mahnlauf nicht starten ... JTL-Wawi - Fehler und Bugs 7
Beantwortet DHL Versenden "System kann die angegebene Datei nicht finden" JTL-Wawi 1.6 2
Neu Zweite Umsatz-Identifikationsnummer kann nicht gelöscht werden User helfen Usern - Fragen zu JTL-Wawi 2
Neu AUfträge in Markplatz ersichtlich, aber unter Verkauf kann man die nicht sehen und es wird dadurch natürlich nicht gedruckt User helfen Usern - Fragen zu JTL-Wawi 0
Neu Wie kann ich den neuen Worker2 automatisch starten User helfen Usern - Fragen zu JTL-Wawi 9
Neu Kann mir jemand sagen wo der Inhalt dieses Feldes herkommt? User helfen Usern - Fragen zu JTL-Wawi 0
Neu Suche SQL Spezialist der Mwst Sätze u. Beträge in der dbo.tbestellpos von Amazon VCS Bestellungen ändern kann Dienstleistung, Jobs und Ähnliches 3
Neu Wie kann ich die Bild Anzeigegröße der Kategorie ändern? Allgemeine Fragen zu JTL-Shop 0
Neu Wie kann man geschlossene Lagerkisten mit "Füllstand" kennzeichnen? Smalltalk 1
Neu HTML-Editor kann relative Links nicht zuordnen, darstellen. JTL-Wawi - Ideen, Lob und Kritik 0
Neu Bing kann Sitemap nicht verarbeiten Allgemeine Fragen zu JTL-Shop 0
In Bearbeitung Fehler beim Kassiervorgang / Kundin will Geld per Üwerweisung / Wie kann man das anstellen? Allgemeine Fragen zu JTL-POS 3
Neu PayPal Checkout: Bild kann auf Bestellseite nicht angepasst werden Plugins für JTL-Shop 10
Neu Wie kann ich ein PlugIn in Shop5 deinstallieren? Plugins für JTL-Shop 3
Neu Lieferantenwährung kann man durch einen Ameisen Import nicht aktualisieren Schnittstellen Import / Export 2
Neu Neuer Kunde kann sich nicht anmelden Allgemeine Fragen zu JTL-Shop 4
Neu Wie kann ich Amazon FBA Aufträge in der Auftragsübersicht filtern? User helfen Usern - Fragen zu JTL-Wawi 2
Neu Wie kann ich EAN in ASIN wandeln? User helfen Usern 8
Neu wie kann ich mehrere Kategorien auf einmal löschen ? User helfen Usern - Fragen zu JTL-Wawi 4

Ähnliche Themen