Neu Von Robots blockiert Indexierungsstatus

[ekpegleg]

Seit Anfang März 2017 sind wesendlich mehr Seiten indexiert worden, gleichzeitig werden aber auch mehr durch Robots blockiert laut Search Console.

Seit März haben wir auch mehr Content eingearbeitet, aber warum werden so viele Seiten geblockt?

Hat jemand einen Rat?



radwelt24.de

 

[en001]

Hallo,

prüfe deine /robots.txt.
Darüber ist etwas gesperrt.

Gruß en001

 

[ekpegleg]

Kann eigentlich nicht sein.

User-agent: *
Disallow: /email_handler.php
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Disallow: /dbeS/*
Disallow: /xml-to-csv.php

Sitemap: https://radwelt24.de/export/sitemap_index.xml

 

[joao]

Geht mir genauso. Ich finde den Fehler auch nicht.

admin muss man nur einmal eintragen. Ist doppelt gemoppelt.

 

[ekpegleg]

Brauch hier langsam mal eine Lösung. Keine eine Idee??

 

[en001]

Hallo,

jede Zeile mit Disallow: in der Datei sperrt was.
Diese Zeilen sind "falsch". Warum sollte man eine .php sperren gegen crawlen wenn die Datei immer ein noindex hat?

Wenn du z.B. die Zeile Disallow: /warenkorb.php löschst wird aus der 562 eine 561.

usw.

Gruß en001

 

[ekpegleg]

duplicate content wird vermieden durch
z.B.
/news OK
/news.php NIO

Bei beiden landet man auf der gleichen Seite. Deswegen habe ich *.php auf Disallow und JTL macht es so auch

 

[en001]

.... und JTL macht es so auch

Dann macht es JTL falsch.

Gruß en001

 

[css-umsetzung]

ich bin ja nun kein SEO aber ich würde im Shop schauen, wie viel Seiten es gibt, das kann ich ja anhand der Artikel und Kategorien im Shop relativ passend herausfinden.
dann ist es ja so, dass "navi.php" gesperrt ist, suche ich nun im Netz nach radsport24.de/navi.php sehe ich beispielsweise einen Fund, der mir zwar sagt, das die Seite das Suchergebnis nicht anzeigen möchte, aber Google weiß, dass die Seite existiert und durch dir robots.txt gesperrt ist. So kennt Google mit Sicherheit auch noch viele andere Suchergebnisse die Google aber nicht besuchen darf.

Ich würde mir um die Menge der in der Robots.txt gesperrten Seiten, nicht wirklich sorgen machen, so lange es Seiten gibt die indexiert werden.
Darum sage ich, zuerst prüfen ob das Verhältnis der indexierten Seiten passt, aber dabei auch beachten, das Google nicht jede Seite für indexierungswürdig hält aber 600.
Wenn die Sitemap selbst ja nur 279 Seiten überträgt, ist es ja eh schon ein wenig verwunderlich, dass, 600 im index sind oder? (auch hier weiß ich nicht aus dem Kopf, was alles in der Sitemap landet, die Menge halte ich aber für realistisch)

die robots.txt sieht soweit gut aus und wenn sie Original ist (hab die nicht im Kopf) sollte da alles OK sein.

Und immer dran denken (ich bin nur der Programmierer)