@en001 Wir würde deiner Meinung nach eine perfekte robots.txt für den
Shop aussehen, die für die Masse an JTL-Shops anwendbar ist?
Die bisherigen allgemeinen Direktiven stammen größtenteils noch aus dem Shop2, wir würden das gern auf einen neuen Stand bringen
Mir ist bewusst, dass die robots.txt nur eine Empfehlung für Bots ist, für welche Seiten das Crawl-Budget genutzt werden soll bzw. für welche es aufgespart werden soll.
Eine Kombination der robots.txt zusammen mit noindex auf den jew. Seiten halte ich nicht grundsätzlich für falsch (Checkout und Warenkorb sind z.B. standardmäßig auf noindex gesetzt).
An den Thread-Ersteller: Ist das ein Screenshot deiner Sitemap-Indexierungsstatistiken? Dann sollte untersucht werden, warum noch URLs ohne entspr. SEO-URL existieren. Das kann z.B. dann auftreten, wenn weitere Sprachen importiert wurden und die jew. Übersetzungen der SEO-URLs noch fehlen (z.B. weil noch kein Artikel-Komplettabgleich gemacht wurde).