Neu Merkmale crawlen verhinden

Bolschi

Gut bekanntes Mitglied
2. Mai 2016
222
8
Hallo eine Frage. Wir haben in unserem Shop viele Merkmalsfilter (Grösse, Farbe usw...). Ist es irgendwie Möglich den google Bot daran zu hindern die Merkmale zu crawlen? Wir erzeugen damit unnötig DoubleContent.
www.socken-koenig.de
Danke Marco
 

david

Administrator
Mitarbeiter
16. Juli 2010
2.309
169
Der GoogleBot sollte den Merkmalfiltern nicht folgen, da diese auch in deinem Template mit rel="nofollow" ausgestattet sind. Falls er es - warum auch immer - doch tut oder einem externen Link folgt, verweist ein Canonical-Tag auf die entspr. Elternkategorie, also kein Duplicate Content Problem. Ab 2 Filtern meldet sich die Seite mit "noindex".

Also alles gut, oder? :)
 

david

Administrator
Mitarbeiter
16. Juli 2010
2.309
169
Hm das ist jetzt schon fast 2 Jahre her - ich weiß nicht mehr genau, auf welche Codestelle ich mich da bezogen hatte.
Ich habe nochmal im Shop4.06-Code gesucht, und gesucht, und gesucht... und nichts mehr bezügl. noindex ab 2 Filtern gefunden.
Daher habe ich es als Issue aufgenommen: https://issues.jtl-software.de/issues/SHOP-2608

Kurzfristige Lösung im Evo-Template wäre aber machbar - du kannst dafür in Shop 4.05/4.06 abfragen:
{if isset($NaviFilter) && $NaviFilter->nAnzahlFilter > 0}noindex{/if}
Wenn du eh bereits deine header.tpl angepasst hast, solltest du es entspr. abgewandelt einbauen können ;)
 
  • Gefällt mir
Reaktionen: holzpuppe und razzio

razzio

Gut bekanntes Mitglied
4. Dezember 2012
125
14
Dresden
Hallo David, das hilft mir sehr weiter, danke! :)

Hier unser vollständiger Code für meta robots:
HTML:
       <meta name="robots" content="{if $bNoIndex === true || (isset($Link->cNoFollow) && $Link->cNoFollow === 'Y') || (isset($NaviFilter) && $NaviFilter->nAnzahlFilter > 0)}noindex, follow{else}index, follow{/if}">
 
Zuletzt bearbeitet:

razzio

Gut bekanntes Mitglied
4. Dezember 2012
125
14
Dresden
Soweit ich weiß, ist follow Standard und braucht eigentlich keine Erwähnung. Ich hab es aber noch mal angepasst. Wer nofollow möchte, muss die Ausgabe entsprechend ändern.
 

upbox

Offizieller Servicepartner
SPBanner
17. Januar 2011
235
16
Die Angabe von "nodindex" reicht völlig, es ist dann automatisch auf follow.

Generell hat man ein massiges Problem, wenn man viele Merkmale im Shop nutzt. Gerade im Standard werden alle möglichen URL Kombinationen von Google übernommen. Die Cannonicals werden in der Regel ignoriert! Ein Auschluss der Seiten über URL Parameter ist nicht möglich, weil ja sprechende URLs generiert werden.

Selbst wenn die Kombinationen auf noindex setzt für einen Shop mit 20.000 Produkten, dann kommt dabei so was raus:

Grau = Seiten auf noindex
Grün = Seiten die in den Index gehören

Das kann so nicht bleiben!

1537945058779.png


Angeblich soll ja die Merkmalfilterung überarbeitet werden?
Ich hoffe wirklich, dass man hier aufpasst und vielleicht sogar ein Post-Redirect-Get-Pattern einsetzt um so was zu verhindern.




@razzio Schau dir mal die Ergebnisse hier an. Auf der ersten Seite listet Google nur kryptische Merkmalseiten und Unterseiten von Kategorien. Ich kann mir nicht vorstellen, dass das so in Ordnung ist. Schön ist es auf jeden Fall nicht.


https://www.google.de/search?num=10...b..1.5.386.0..0j35i39k1j0i131k1.0.17EWQZ90bB8

1537945546456.png
 
Zuletzt bearbeitet:

dondo

Neues Mitglied
19. November 2019
1
0
Wir haben ebenfalls das gleiche Problem. Gibt es denn eine in Zukunft von JTL eine Option um das zu deaktivieren?
 

golvreven

Gut bekanntes Mitglied
1. Oktober 2020
217
18
Wie kann man in der Wawi für Merkmale ein zusätzliches Merkmal "Meta-Robots" hinterlegen? Ergänzend zu "URL-Pfad", "Titel-Tag" usw.?
 

david

Administrator
Mitarbeiter
16. Juli 2010
2.309
169
Wie kann man in der Wawi für Merkmale ein zusätzliches Merkmal "Meta-Robots" hinterlegen? Ergänzend zu "URL-Pfad", "Titel-Tag" usw.?
Bislang ist in der Wawi dafür keine eigene Property vorgesehen. Ein Feature-Request im Wawi-Forum wäre aber ggf. gut, um das Thema mal aufs Backlog zu bringen.
Es bleibt aktuell die Möglichkeit, es über die Standard- Shop-Funktion "Merkmalwert-URLs Suchmaschinen-Indexierung" entweder global auf index oder noindex zu stellen (noindex ist die Standard-Einstellung).
Über Plugins oder Template-Anpassungen lassen sich hier natürlich ebenfalls individuelle Lösungen schaffen.
 

golvreven

Gut bekanntes Mitglied
1. Oktober 2020
217
18
Ist es denn möglich, die URLs von ausgewählten Merkmalsseiten per htaccess auf andere Shop-URLs weiterzuleiten? Ich meine all jene Merkmals-URLs, die direkt im Root beginnen wie z.B. http://example.com/bunte-Socken. Dann könnten wir uns Merkmalsseiten für Kategorien, Hersteller und Produktserien sparen.
 

david

Administrator
Mitarbeiter
16. Juli 2010
2.309
169
Ist es denn möglich, die URLs von ausgewählten Merkmalsseiten per htaccess auf andere Shop-URLs weiterzuleiten? Ich meine all jene Merkmals-URLs, die direkt im Root beginnen wie z.B. http://example.com/bunte-Socken. Dann könnten wir uns Merkmalsseiten für Kategorien, Hersteller und Produktserien sparen.
Möglich ist das. Nur es klingt für mich nicht sinnvoll, für alle Merkmal-Seiten Redirect-Rules manuell anzulegen.
Das ist zum einen relativ fehleranfällig, wenn sich die URLs mal ändern, neue hinzukommen oder welche gelöscht werden und kann Folgeprobleme erzeugen (Endlos-Redirects, Warnungen in der Google-Search-Console usw.).
Zum anderen stellt sich die generelle Frage - wohin weiterleiten? Ein User klickt auf das verlinkte Merkmal "bunte Socken", erwartet Infos zu "Bunten Socken" und wird dann wohin weitergeleitet?
Wenn du dazu schon eine Kategorie hast, OK, kann man machen. Aber braucht es das Merkmal dann überhaupt?
Gleiches Thema für Suchmaschinenbots - warum sollte man Merkmale verlinken, die dann aber woanders hinleiten.
 

golvreven

Gut bekanntes Mitglied
1. Oktober 2020
217
18
Hallo david,

zu Deinen Einwänden:
- Es sollen auch nicht für alle Merkmal-Seiten Redirect Rules angelegt werden. (Es geht mir auch nur um jene Merkmal-Seiten, die von den Merkmalsboxen einer Artikeldetailseite aus verlinkt werden. Diese Links führen bei uns auf URLs, welche direkt im Root angesiedelt sind, also https://example.com/bunte-Socken. Und nicht um URLs wie https://example.com/Kleidung__bunte-Socken etc. Diese kann man ja global auf "noindex" setzen.) Es gibt durchaus einige Merkmal-Seiten, die im Kategoriebaum keine Entsprechung finden und somit Mehrwert für den Nutzer bieten.
- Ja, Fehler können vorkommen. Aber URLs sollten sich nicht einfach so ändern. Außerdem kann man die htaccess jederzeit ergänzen, wenn neue URLs hinzukommen oder alte gelöscht werden. Das setzt natürlich ein sauberes URL-Management voraus, was aber wiederum durch konsequente SEO bedingt ist.
- Zu Deiner Frage: Wohin weiterleiten? - In Fällen, in denen Merkmale identisch mit Kategorien sind, möchte ich auf Kategorien weiterleiten. Dies betrifft u.a. Merkmale wie "Produktserie". Produktserien gibt es auch als Kategorien. Oder Merkmale wie "Hersteller/Marke", für die es Markenseiten gibt.
- Zu Deiner Frage: Braucht es das Merkmal? - Gegenfrage: Wer hat denn festgelegt, dass jedes Merkmal eine Merkmal-Seite erzeugt und sich nicht gefragt, ob es das braucht? Das würde ich als Nutzer gerne selbst bestimmen, aber die Wawi lässt das ja nicht zu. Stattdessen werden massenweise URLs erzeugt, mit Seiten, die kein Mensch ordentlich pflegen kann! Beispielsweise haben wir dutzende Merkmal-Seiten alleine nur für verschiedene Maße. Völlig irre! Und jetzt komm mir bitte nicht mit dem Einwand, dass man Maße nicht als Merkmale braucht. :D
- Zum Thema Suchmaschinenbots: Wieder Gegenfrage: Warum ist denn voreingestellt, dass Merkmale auf Merkmal-Seiten verlinken? Sowas kenne ich aus keinem anderen Shopsystem. Meistens hätte man es gerne, für ein paar ausgewählte Merkmale, aber dann ist auch gut. Deshalb meine Antwort: Einen Tod muss man sterben. Lieber nehme ich interne Links auf 301-Weiterleitungen in Kauf, anstatt hunderte URLs zu indexieren, die keinen Mehrwert haben. Beispiel: Ein Nutzer kommt über eine Kategorieseite zu einer Produktserie auf eine Artikeldetailseite. Dann sieht er in der Artikelbox das Merkmal "Produktserie" und klickt darauf, um wieder alle Artikel der Produktserie sehen zu können. Anstatt dann aber auf die Kategorieseite zu der Produktserie zu gelangen, kommt er auf eine Merkmal-Seite, die so aussieht wie die Kategorieseite zur Produktserie, aber aus der er nicht mehr in die Kategorie zurücknavigieren kann. Macht für mich keinen Sinn. Deshalb lieber Redirect aus der Merkmalbox auf die Serienseite. Fertig.

Soweit zur Aufhellung (hoffentlich). Viele Grüße
g.
 

upbox

Offizieller Servicepartner
SPBanner
17. Januar 2011
235
16
- Zu Deiner Frage: Wohin weiterleiten? - In Fällen, in denen Merkmale identisch mit Kategorien sind, möchte ich auf Kategorien weiterleiten. Dies betrifft u.a. Merkmale wie "Produktserie". Produktserien gibt es auch als Kategorien. Oder Merkmale wie "Hersteller/Marke", für die es Markenseiten gibt.

Kurze Frage: Aus welchem Grund legst du die Kategorien noch mal als Merkmal an? Rein aus Navigationszwecken?
 

david

Administrator
Mitarbeiter
16. Juli 2010
2.309
169
Die Merkmale sind so konzipiert, dass Merkmalwerte über eine eigene SEO-URL erreichbar sind. In der Wawi kann man dazu den SEO-Pfad, Name + Beschreibung + Metas anpassen. Ich kann mir schon vorstellen, dass man bei manchen Merkmalen eigentlich nur die Filter-Eigenschaften, aber nicht die einzelnen SEO-Seiten benötigt.
Derzeit sind dazu jedoch standardmäßig keine Einstell-Möglichkeiten in Wawi / Shop vorhanden.
Das mit dem Redirect kann dann ein Workaround sein. Ergänzend dazu wäre es noch gut, wenn die entspr. Merkmale erst gar nicht mehr verlinked wären (also weder im Template noch in der sitemap.xml).
 

golvreven

Gut bekanntes Mitglied
1. Oktober 2020
217
18
Die Merkmale sind so konzipiert, dass Merkmalwerte über eine eigene SEO-URL erreichbar sind. In der Wawi kann man dazu den SEO-Pfad, Name + Beschreibung + Metas anpassen. Ich kann mir schon vorstellen, dass man bei manchen Merkmalen eigentlich nur die Filter-Eigenschaften, aber nicht die einzelnen SEO-Seiten benötigt.
Derzeit sind dazu jedoch standardmäßig keine Einstell-Möglichkeiten in Wawi / Shop vorhanden.
Das mit dem Redirect kann dann ein Workaround sein. Ergänzend dazu wäre es noch gut, wenn die entspr. Merkmale erst gar nicht mehr verlinked wären (also weder im Template noch in der sitemap.xml).

Die Merkmal-Seiten sind bei uns nicht in der Sitemap enthalten. Wenn die Verlinkung im Template wegfiele, wäre das natürlich die optimale Lösung.

Zum Stichwort URL anpassen:
Soweit ich es bis jetzt verstanden habe, wird der URL-Baustein an zwei Stellen benutzt: Erstens entspricht er der SEO-URL, zweitens wird er als Anhängel für die Filterseiten benutzt. Beispiel:

https://example.com/bunte-Socken
https://example.com/Kleidung__bunte-Socken

Das heißt im Umkehrschluss, dass ich die URL nicht komplett frei bestimmen kann. Denn wenn ich z.B. die Merkmal-Seiten alle in ein Unterverzeichnis schieben möchte, wirkt sich das auch auf die URLs der Filterseiten aus. Beispiel:

https://example.com/Merkmale/bunte-Socken
https://example.com/Kleidung__Merkmale/bunte-Socken

Oder sehe ich das falsch?

Viele Grüße
g.
 
Zuletzt bearbeitet:

david

Administrator
Mitarbeiter
16. Juli 2010
2.309
169
Pseudo-Unterverzeichnisse im SEO-Pfad würde ich vermeiden, das verkompliziert es umso mehr.
Die Filter-URLs (die mit den zwei Unterstrichen) hatte ich jetzt nicht als das Problem verstanden. Sie sind für die Filterung auch elementar, hier dürfen keine Redirects erfolgen.
Die SEO-URLs für die Merkmalwerte selbst (also z.B. /bunte-Socken) - die sind hingegen verzichtbar - hier kannst du die Verlinkung entfernen und ggf. Redirects einrichten.
 

Ähnliche Themen