Neu Jtl Shop robot.txt
- Ersteller des Themas Bart70
- Erstellungsdatum
-
- Schlagworte
- google robots.txt
Nein, du hast keine Probleme mit deiner robots.txt, warum laut deiner Grafik nichts indexiert ist, liegt an anderen Dingen.
Die Ausschlüsse passen schon so, Suchmaschinen brauchen diese Urls nicht crawlen/indexieren.
Die Ausschlüsse passen schon so, Suchmaschinen brauchen diese Urls nicht crawlen/indexieren.
Nein, JTL versteht die robots.txt nicht. Sonst würde die so nicht existieren.
Was nicht indexiert werden soll muss ein noindex bekommen in der html oder php aber nie eine Sperre per robots.txt.
Was nicht indexiert werden soll muss ein noindex bekommen in der html oder php aber nie eine Sperre per robots.txt.
Hast du für deine Aussage eine Quelle oder ist das "nur" deine Meinung?
@en001 Wir würde deiner Meinung nach eine perfekte robots.txt für den Shop aussehen, die für die Masse an JTL-Shops anwendbar ist?
Die bisherigen allgemeinen Direktiven stammen größtenteils noch aus dem Shop2, wir würden das gern auf einen neuen Stand bringen 😉
Mir ist bewusst, dass die robots.txt nur eine Empfehlung für Bots ist, für welche Seiten das Crawl-Budget genutzt werden soll bzw. für welche es aufgespart werden soll.
Eine Kombination der robots.txt zusammen mit noindex auf den jew. Seiten halte ich nicht grundsätzlich für falsch (Checkout und Warenkorb sind z.B. standardmäßig auf noindex gesetzt).
An den Thread-Ersteller: Ist das ein Screenshot deiner Sitemap-Indexierungsstatistiken? Dann sollte untersucht werden, warum noch URLs ohne entspr. SEO-URL existieren. Das kann z.B. dann auftreten, wenn weitere Sprachen importiert wurden und die jew. Übersetzungen der SEO-URLs noch fehlen (z.B. weil noch kein Artikel-Komplettabgleich gemacht wurde).
Die bisherigen allgemeinen Direktiven stammen größtenteils noch aus dem Shop2, wir würden das gern auf einen neuen Stand bringen 😉
Mir ist bewusst, dass die robots.txt nur eine Empfehlung für Bots ist, für welche Seiten das Crawl-Budget genutzt werden soll bzw. für welche es aufgespart werden soll.
Eine Kombination der robots.txt zusammen mit noindex auf den jew. Seiten halte ich nicht grundsätzlich für falsch (Checkout und Warenkorb sind z.B. standardmäßig auf noindex gesetzt).
An den Thread-Ersteller: Ist das ein Screenshot deiner Sitemap-Indexierungsstatistiken? Dann sollte untersucht werden, warum noch URLs ohne entspr. SEO-URL existieren. Das kann z.B. dann auftreten, wenn weitere Sprachen importiert wurden und die jew. Übersetzungen der SEO-URLs noch fehlen (z.B. weil noch kein Artikel-Komplettabgleich gemacht wurde).