Neu Merkmale crawlen verhinden

[golvreven]

Pseudo-Unterverzeichnisse im SEO-Pfad würde ich vermeiden, das verkompliziert es umso mehr.
Die Filter-URLs (die mit den zwei Unterstrichen) hatte ich jetzt nicht als das Problem verstanden. Sie sind für die Filterung auch elementar, hier dürfen keine Redirects erfolgen.
Die SEO-URLs für die Merkmalwerte selbst (also z.B. /bunte-Socken) - die sind hingegen verzichtbar - hier kannst du die Verlinkung entfernen und ggf. Redirects einrichten.

- Pseudo-Unterverzeichnisse machen in großen Shops zu Auswertungszwecken Sinn.
- Die Filter-URLs habe ich nur hinzugezogen, um die Reichweite von Anpassungen im URL-Feld von Merkmalen zu verdeutlichen.
- Die Verlinkung auf die Merkmal-Seiten kann jedoch nicht fallspezifisch entfernt werden?

 

[david]

- Pseudo-Unterverzeichnisse machen in großen Shops zu Auswertungszwecken Sinn.

ja durchaus, nur bitte nicht im Merkmalwert-SEO wie in deinem Beispiel (https://example.com/Kleidung__Merkmale/bunte-Socken) sondern im im Kategoriepfad bzw. Produkt-URL-PFad z.b. /Kleidung/Socken. Da kann es dann z.B. einen Filter geben, der zu /Kleidung/Socken__bunt führt.

Fallspezifisch ist leider Wawi-/ Shop-Seitig standardmäßig nicht vorgesehen. Hier müsste man über Plugin oder Templateanpassung die konkreten Merkmalwerte abfangen und anders behandeln.

 

[golvreven]

Hallo David, das hilft mir sehr weiter, danke!

Hier unser vollständiger Code für meta robots:

       <meta name="robots" content="{if $bNoIndex === true || (isset($Link->cNoFollow) && $Link->cNoFollow === 'Y') || (isset($NaviFilter) && $NaviFilter->nAnzahlFilter > 0)}noindex, follow{else}index, follow{/if}">

Frage an alle: Das heißt, dass ich die URLs von Filtermerkmalen wie https://example.com/Kleidung__bunte-Socken NUR über eine Ergänzung des Quelltextes (wie im Beispiel) auf "noindex" gesetzt bekomme? Eine andere Möglichkeit gibt es nicht? Außer eventuell per Plugin mit individueller Einstellung für jede einzelne URL?

 

[golvreven]

Kann man das Codebeispiel von razzio eigentlich für JTL 4.06 (Build: 17) verwenden? Und setzt es sowohl die Filter-URLs (mit den zwei Unterstrichen), als auch die SEO-URLs für Merkmalwerte auf "noindex, nofollow"?

 

[apalusa]

Zu dem Thema habe ich jetzt mal eine Folgefrage für Shop 5.1.2, die Einstellung 1543 ist im Standard auf noindex und sorgt dafür, dass die Hauptseiten der Merkmale ein entsprechendes Attribut erhalten.
Also z.B. https://www.example.com/bunte-socken

Wir möchten nun aber die Filterseiten aus dem index holen, dazu haben wir schon eine Regel in der robots.txt angelegt, da soweit mir bekannt, nur die Filterseiten einen doppelten Unterstrich in der URL verwenden (wenn ich hiermit falsch liege, korrigiert mich bitte). Google hat diese von früher aber noch im index und empfiehlt, diese auch noch als noindex zu markieren wenn dieses verhalten aus der robots.txt so gewünscht ist.
Leider scheint es hierfür aber keine Einstellung zu geben, bzw. die in 2016 erwähnte Eigenheit, das Filterseiten unter bestimmten Voraussetzungen automatisch einen noindex erhalten scheint es auch in Shop 5 nicht wieder zu geben.

Auch das von @david erwähnte Issue Ticket ist zwar als gelöst markiert, scheint aber nicht zu greifen (die Search Console meldet auch bei Seiten mit weit mehr als 2 Filtern, dass noindex gesetzt werden sollte). Wie können wir das nun am besten bezwecken?

 

[P0ttwal]

Ich habe mal so was benutzt. Das ist ein bisschen verschachtelt, aber ich wollte das auch manuell steuern können.
Mit dem Attribut 'Index' kann man dann noch selber eingreifen.

Allerdings musst du dann die Seiten in der robots.txt wieder freigeben. Sonst kann Google das nicht crawlen.

{if strpos($NaviFilter->URL->cAlleKategorien, "__") !== false}
        <meta name="robots" content="noindex, follow">
            {else}
            {if strpos($NaviFilter->URL->cAlleKategorien, "__") !== false || $Artikel->FunktionsAttribute.index =="N"}
                    <meta name="robots" content="noindex, follow">
                {else}
                    <meta name="robots" content="{if $bNoIndex === true  || (isset($NaviFilter) && $NaviFilter->nSeite>1) ||   (isset($Link->cNoFollow) && $Link->cNoFollow === 'Y')}noindex, follow{else}index, follow{/if}">                
            {/if}      
        {/if}

 

[apalusa]

Ich habe mal so was benutzt.

Vielen Dank für das Beispiel, mir ging es hauptsächlich darum das ich keine Funktion übersehe bevor ich im Template eingreife. Das scheint aber nicht der Fall zu sein, dann muss da eine individuelle Lösung her. Bei uns ist die manuelle Kontrolle an sich kein Thema aber dann kann ich das ganze zumindest aus der robots.txt wieder entfernen.

 

[golvreven]

Hallo apalusa, hallo P0ttwal,

was bezweckt Ihr in dieser Konstellation mit "follow"?

Viele Grüße
g.

 

[apalusa]

was bezweckt Ihr in dieser Konstellation mit "follow"?

Also in meinem Fall habe ich das ganze auf "nofollow" gesetzt, wobei das vermutlich eher ein sehr spezieller Fall bei uns ist. Soweit ich das aber verstanden habe, würde "noindex, follow" dafür sorgen, dass z.B. Artikel die auf der Seite aufgeführt werden von Google trotzdem erreicht und somit indexiert werden können, auch wenn die betroffene Seite selbst aus welchen Gründen auch immer nicht im index landen soll.
Im Normalfall würde ich daher sagen, dass die Option mit "follow" die bessere ist, wobei das natürlich davon abhängt wieso die entsprechende Seite nicht in den index kommen soll.

 

[golvreven]

Also in meinem Fall habe ich das ganze auf "nofollow" gesetzt, wobei das vermutlich eher ein sehr spezieller Fall bei uns ist.

Ok. Ist meines Wissens nach aber überflüssig, weil dem Crawler mit "noindex" bereits gesagt wird, dass er die Seite nicht für den Index berücksichtigen soll. Damit werden von Google auch keine Inhalte und keine Links auf der Seite berücksichtigt. Bei anderen Suchmaschinen ist mit einem ähnlichen Verhalten zu rechnen.

 

[apalusa]

Ist meines Wissens nach aber überflüssig, weil dem Crawler mit "noindex" bereits gesagt wird, dass er die Seite nicht für den Index berücksichtigen soll.

Das kann durchaus sein, ich bin bei dem Thema nur sehr Oberflächlich aufgeklärt/informiert, aber wenn "nofollow" sowieso eintritt ist es ja letztlich auch relativ egal, ob es nun zusätzlich gesetzt ist oder nicht. Ganz nach dem Motto "doppelt hält besser".
Allerdings würde sich mir dann die Frage stellen, wieso es für "index" und "follow" zwei verschiedene Optionen gibt, wenn "noindex" sowieso die "follow" Option überschreibt. Letztlich für uns aber nicht weiter relevant, Hauptsache es funktioniert und das scheint derzeit der Fall zu sein.