Neu Generierung von unnötigen URLs

[zerros24]

Ich habe unsere Website mit Screaming Frog SEO überprüft und mir ist aufgefallen, dass sehr viele Links in folgenden Formaten vorhanden sind bzw generiert werden:

/index.php?JTLSHOP=tjtnhhnjvh7b0r7t3r94jbnjv4
/navi.php?k=758&ed=1

Wo kommen diese her und wie beseitigt man diese?!

Bitte nicht damit anfangen das es kein normaler USER macht, sondern das es die Spider anstellen, das ist mir auch so klar. Die Tatsache ist die, dass kein 404 Fehler angezeigt wird wenn man so eine URL aufruft was normal wäre. Somit haben wir hunderte von Seiten mit gleichen Meta Angaben.

 

[css-umsetzung]

Nur weil eine url get Parameter hat gibt es keinen Grund einen 404er zu erzeugen, die Seite ist ja da und bringt einen Inhalt.

 

[zerros24]

Die sind aber zu 1000 da und liefern alle die gleiche Inhalte (ausser navi.php GETs), das sieht man auch in der Google Webmaster Console, damit entsteht auch gleichzeitig Duplicate Content.

 

[en001]

Hallo,

DC ist ein Problem für dein Ranking aber niemals für Google.
Google sucht sich halt eine Seite aus.

Parameter bei URLs sind kein Problem wenn es z.B. einen canonical-Link gibt.
Wenn dich zu viele URLs mit Parameter im Index bei Google stören dann verschwinden die von alleine wenn Google die Seiten crawlen darf.
Oft genug wird das verhindert weil die Leute den Unterschied zwischen crawlen und indexieren nicht kennen.
Sie meinen dann z.B. mit einem Disallow in der robots.txt verhindert man das indexieren durch Suchmaschinen.
Nur das crawlen wird dadurch verboten. Dadurch werden Änderungen nicht erkannt und auch falsche Links können nicht deindexiert werden.

Prüfe den canonical-Link, prüfe ob die navi.php ein noindex hat bzw. baue es ein, lösche die falsche Zeile aus der robots.txt

Gruß en001

 

[zerros24]

Ok, die canonical links zeigen auf die entsprechende Kategorien weiter, also bei navi.php?k=758&ed=1 - Kat1 und bei navi.php?k=759&ed=1 - Kat2.
Die /index.php?JTLSHOP=tjtnhhnjvh7b0r7t3r94jbnjv4 zeigt immer auf die Startseite.

Die robots.txt wurde nicht großartig verändert und sieht so aus:

User-agent: *
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /jtl.php
Disallow: /admin
Disallow: /admin/*

 

[en001]

Man kann ja auch in der Searchkonsole Parameter falsch einstellen.
Wenn der Shop das richtig macht muss da nichts eingestellt werden.

 

[golvreven]

Hallo en001,

wenn ich es richtig verstehe, muss ich die navi.php in der robots.txt auf allow setzen bzw. das disallow entfernen und über die Search Console alle Parameter, die in Zusammenhang mit der navi.php auftreten, auf "keine URLs" setzen?

Kann ich dadurch das Crawling-Budget von Google und anderen Suchmaschinen optimieren?

Viele Grüße
golvreven

 

[en001]

Entferne die Zeile aus der robots.txt.
Lösche was dazu bei Google in der Parameterbehandlung drin ist.
Dann funktioniert das noindex in der navi.php.

Kein normaler Shop muss sich Gedanken über ein Crawling-Budget machen.

 

[golvreven]

Danke, das werde ich tun!

Ich mache mir Gedanken über das Crawling-Budget, weil wir ca. 10.000 indexierte Seiten haben, aber ScreamingFrog über 50.000 URLs findet. Nur ein Bruchteil der 10.000 Seiten sind aber tatsächlich inhaltlich gepflegt.

 

[en001]

Wenn die selber crawlen und nur zählen muss das ja nicht bedeuten das die Seiten bei Google sind. Du kannst ja schauen mit inurl:example.com/navi.php? wie viele Seite es da gibt.

 

[golvreven]

Es gibt dort sehr viele. Müsste nicht der canonical-Tag bei sämtlichen URLs mit /navi.php? entfernt werden? Laut Google ist es doch inkonsistent, "noindex" bei URLs mit canonical-Tag zu setzen?

 

[en001]

Aber Google hört auf das noindex und interessiert sich dann nicht mehr für canonical.

 

[golvreven]

Ok. Aber "sauberer" wäre es dann schon.