Neu Jtl Shop robot.txt

[Bart70]

Hallo Mitglieder,

ich habe sichtlich Probleme mit der robots.txt, warum entschließt sich meine Kenntnis warum werden die Seiten gesperrt, kann mir da jemand weiter helfen.

Gruß

 

[hula1499]

Nein, du hast keine Probleme mit deiner robots.txt, warum laut deiner Grafik nichts indexiert ist, liegt an anderen Dingen.

Die Ausschlüsse passen schon so, Suchmaschinen brauchen diese Urls nicht crawlen/indexieren.

 

[en001]

Nein, JTL versteht die robots.txt nicht. Sonst würde die so nicht existieren.
Was nicht indexiert werden soll muss ein noindex bekommen in der html oder php aber nie eine Sperre per robots.txt.

 

[MBesancon]

Nein, JTL versteht die robots.txt nicht. Sonst würde die so nicht existieren.
Was nicht indexiert werden soll muss ein noindex bekommen in der html oder php aber nie eine Sperre per robots.txt.

Hast du für deine Aussage eine Quelle oder ist das "nur" deine Meinung?

 

[en001]

https://developers.google.com/searc...erungs-bereitstellungsanweisungen-kombinieren

 

[david]

@en001 Wir würde deiner Meinung nach eine perfekte robots.txt für den Shop aussehen, die für die Masse an JTL-Shops anwendbar ist?
Die bisherigen allgemeinen Direktiven stammen größtenteils noch aus dem Shop2, wir würden das gern auf einen neuen Stand bringen
Mir ist bewusst, dass die robots.txt nur eine Empfehlung für Bots ist, für welche Seiten das Crawl-Budget genutzt werden soll bzw. für welche es aufgespart werden soll.
Eine Kombination der robots.txt zusammen mit noindex auf den jew. Seiten halte ich nicht grundsätzlich für falsch (Checkout und Warenkorb sind z.B. standardmäßig auf noindex gesetzt).

An den Thread-Ersteller: Ist das ein Screenshot deiner Sitemap-Indexierungsstatistiken? Dann sollte untersucht werden, warum noch URLs ohne entspr. SEO-URL existieren. Das kann z.B. dann auftreten, wenn weitere Sprachen importiert wurden und die jew. Übersetzungen der SEO-URLs noch fehlen (z.B. weil noch kein Artikel-Komplettabgleich gemacht wurde).

 

[en001]

User-agent: *
Disallow: