Neu robots.txt: Kann/sollte man Seiten mit anhängendem Parameter ausschließen

ongnamo

Sehr aktives Mitglied
31. März 2013
932
64
Hallo,

wenn ich meine Webseite über Seobility crawlen lasse, werden auch Seiten mit anhängenden Parametern wie ?Sortierung=3 oder ?af=50 analysiert. Daher nehme ich an, dass auch Google und andere Bots das tun. Aus meiner Sicht wäre das nicht erforderlich und würde Crawling-Budget sparen.

Ist es empfehlenswert, solche Seiten, die in der URL einen Parameter haben, in der robots.txt auszuschließen?
 

Morimus

Aktives Mitglied
16. Mai 2019
65
14
Crawling-Budget? Von Google?
Ich glaube, da musst du dir keine Sorgen drum machen.

Schau dir doch an, was in der search console alles gesammelt wird.
Bei uns werden diese Seiten gecrawlt, sind aber nicht indexiert.
Derzeit 5435 Seiten.
 

Morimus

Aktives Mitglied
16. Mai 2019
65
14
Welche Sorge hast du genau? Das deine Seiten nicht indexiert sind?
Schau in die Search Console. Wenn dein Shop nicht erst letzte Woche erstellt wurde, wurden vermutlich alle deine Seiten bereits gecrawlt.
Stell Google eine Sitemap zur Verfügung. Die wird mit berücksichtigt bei erneuten crawlen.

Bei uns kommen im Monat ca. 100 Seiten hinzu. In der Regel dauert es 2-3 Wochen, bis diese Seiten im Index sind.
 

ongnamo

Sehr aktives Mitglied
31. März 2013
932
64
Nun, die Sorge stammt daher, dass ich verschiedentlich so etwas gelesen habe:

Die robots.txt hilft dabei, das vorhandene Crawl-Budget der Webseite besser zu nutzen und auf die Bereiche der Webseite zu verteilen. Natürlich findet der Robot relevante Inhalte auch über interne und externe Verlinkungen, jedoch ist es gewinnbringender den Suchmaschinen-Robot direkt auf die relevanten Inhalte hinzuweisen und die irrelevanten Inhalte mit dem DISALLOW Befehl auszuschließen. Mit dem Vorgehen optimiert man das vorhandene Crawl-Budget, dass der Webseite seitens der Suchmaschine gestellt wird auf relevante Inhalte und steigert somit die Effizienz in der Nutzung des Crawl-Budgets.

Ich bin auf das Thema gestoßen, nachdem wir letztes WE unseren Shop auf Version 5 gehoben haben und ich mir nach langer Zeit die robots.txt angesehen habe. Unsere Seite ist alt genug, dass alle Seiten indiziert sind. Seit Ende April werden nur noch ca. 3000 Seiten/Tag indiziert, vorher waren es über 5000 Seiten/Tag. Das ist hier aber nicht der Punkt. Es ist eher dein letzter Satz: Neue Produkte oder Veränderung werden tendenziell verzögert indiziert, weil Google irrelevante Seiten crawlt. Warum also 2 - 3 Wochen, wenn es doch auch in 1 Woche ging, wenn man Google sagt, welche Bereiche nicht zu crawlen sind?

Vielleicht liegt ich ja auch falsch.
 

Morimus

Aktives Mitglied
16. Mai 2019
65
14
Seit Ende April werden nur noch ca. 3000 Seiten/Tag indiziert, vorher waren es über 5000 Seiten/Tag.
Das konnte ich so ebenfalls nach dem Umzug auf Shop 5 beobachten.

Beruhigt hat mich folgender Blogpost von Google selbst:
Darüber hinaus können Ereignisse, die die gesamte Website betreffen, wie etwa der Umzug einer Website, zu einer Zunahme des Crawling-Bedarfs führen, da der Inhalt unter den neuen URLs neu indexiert werden muss.
Quelle: https://developers.google.com/search/blog/2017/01/what-crawl-budget-means-for-googlebot?hl=de

Es ist eher dein letzter Satz: Neue Produkte oder Veränderung werden tendenziell verzögert indiziert, weil Google irrelevante Seiten crawlt.
Wenn du mit irrelevanten Seiten die Seiten meinst, die zwar noch nicht gecrawlt wurden, du dies aber gerne hättest, magst du recht haben.
Wenn du die Seiten meinst, mit anhängenden Parametern dann kann ich sagen das dies nicht der Fall ist.
Wenn ich über Matomo die letzten 6 Monate filtere, mir die Seiten anschaue, die ausgeschlossen, gecrawlt, aber zurzeit nicht indexiert sind, komme ich auf insgesamt 65 besuche des google robots auf alle knapp 5.5k Seiten.
 
Ähnliche Themen
Titel Forum Antworten Datum
Neu Kunde gesperrt kann trotzdem bestellen, immernoch nicht in Shop 5 geklärt? Arbeitsabläufe in JTL-Wawi 10
Neu WIe kann man A-Z Garantien verhindern ? Amazon-Lister - Fehler und Bugs 5
Neu {$favourableShippingString} wo kann ich diesen ändern? Technische Fragen zu Plugins und Templates 2
Neu Kann T&T wenn nicht leitcodierbar ist ... JTL-Track&Trace - Ideen, Lob und Kritik 0
Beantwortet Fehler: Artikelaktualisierung per Ameise - kann nicht vollständig aktualisiert werden weil er sich auf einer Pickliste befindet User helfen Usern - Fragen zu JTL-Wawi 1
Neu Ankerpunkt kann nicht richtig gesetzt werden JTL Shop 5 Allgemeine Fragen zu JTL-Shop 2
Vorlagen - wer kann helfen? Einrichtung JTL-Shop5 0
Neu Kann neue Shopanbindung nicht speichern JTL-Wawi - Fehler und Bugs 1
Neu Wie kann man so eine Ansicht ausliefern? JTL-Shop - Ideen, Lob und Kritik 1
Neu Kann ein Vater auch eine Varkombi sein? User helfen Usern - Fragen zu JTL-Wawi 2
Beantwortet Zurückgehaltener Auftrag Box geht nicht automatisch in Status "Box kann verpackt werden" JTL-WMS / JTL-Packtisch+ - Fehler und Bugs 6
Neu Menge kann im Warenkorb mit Kommastellen eingegeben werden JTL-Shop - Fehler und Bugs 2
Neu Wawi: 4x Maßeinheit "Stk." nach Shopabgleich und kann sie nicht löschen Shopware-Connector 0
Neu Wo kann ich die Farbe anpassen? Templates für JTL-Shop 2
Neu Retoure anlegen - Artikel erscheint nicht und kann auch nicht hinzugefügt werden User helfen Usern - Fragen zu JTL-Wawi 0
Neu Testshop einrichten kann das Fenster "Verkaufskanäle" nicht mit speichern beenden... Allgemeine Fragen zu JTL-Shop 1
Neu JTL2Datev - OSS Wer kann helfen? User helfen Usern - Fragen zu JTL-Wawi 3
Neu Connector-Anbindung Shopware 6 kann nicht aktiviert werden - Code 0 | Status 405 Shopware-Connector 6
Neu Hat sich geklärt, kann gerne dicht JTL-Wawi - Fehler und Bugs 3
Neu Kann JTL Wawi den Bestellstatus von Online Shop überhemen ? Allgemeines zu den JTL-Connectoren 0
Beantwortet Workflow kann Angebotshinweis nicht setzen JTL-Workflows - Fehler und Bugs 3
Neu Portlet preview.css wird nicht geladen - woran kann es liegen? Technische Fragen zu Plugins und Templates 1
Hauptprodukt kann beliebig angepasst / Konfiguiert werden - welche Möglichkeiten gibt es? JTL-Wawi 1.6 1
Neu Kann man mit JTL-Shop 5 A/B Testing durchführen? Allgemeine Fragen zu JTL-Shop 2
Ich kann keine Artikel in den Warenkorb legen Upgrade JTL-Shop4 auf JTL-Shop5 2
Der Auftrag ist schreibgeschützt und kann daher nicht bearbeitet werden. JTL-Wawi 1.6 2
In Diskussion In Menge und Preisangabe kann der EAN gescannt werden. JTL-POS - Fehler und Bugs 0
Neu Wie kann man Push-Benachrichtigungen im Shop 5 anzeigen? Allgemeine Fragen zu JTL-Shop 0
Neu eBay: Angebot kann nicht hochgeladen werden, da keine Antribute der Fahrezeugverwendungsliste ermittelt werden konnten. eBay-Anbindung - Fehler und Bugs 0
Neu Bestellung kann keine Zahlung zugewiesen werden JTL-Wawi - Fehler und Bugs 1
Wawi 1.6 - Cross-Selling - Ausgewählter Artikel kann nicht zugewiesen werden JTL-Wawi 1.6 0
Neu JTL Shop 5 / Script in header.tpl einbauen / wer kann helfen? Technische Fragen zu Plugins und Templates 2
Wie kann man FBA Bestellvorschläge generieren, wenn das FBA Lager Nachschub benötigt JTL-Wawi 1.6 7
Neu Wie kann ich für einen Artikel einen alternativen Hersteller-Artikelnamen mitführen? User helfen Usern - Fragen zu JTL-Wawi 5
Datanorm 5.0 - kann diese in JTL importiert werden und ist ein automatischer stündlicher Import irgendwie möglich? JTL-Wawi 1.6 3
Storno mit ausgangszahlung -> Ausgangszahlung kann nicht erstellt werden JTL-Wawi 1.6 0
Neu Wie kann ich die Artikelmerkmale auf der Produktseite im Reiteranzeigen lassen anstatt unter der Beschreibung? Templates für JTL-Shop 0

Ähnliche Themen