Indexierung bei Google -falsche Indexierung durch Google?

[Petuchov]

Die originale robots.txt sieht im Shop 3 so aus:
User-agent: *
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Disallow: /dbeS/*

So wird die auch im Google Webmaster bei der anmeldung der Sitemap eingelesen
Bei der Prüfung der Indizierten Seiten stelle ich jedoch fest, dass die Navi-Seiten doch indexiert werden ( allinurl/mit übersprungenen Suchergebissen)

Beispiel :
www.domainname.de/navi.php?s=67&lang=eng&curr=EUR
auch Seiten wie
45,00 € - 52,50 € (1) - domainname.de (alle Preisgruppen) www.domainname.de/navi.php?k=54&pf=45_52.5

sollte eigentlich nicht sein , denke ist auch für den Shop eher schädlich

Eigentlich sollte Google das Zeugs garnicht einlesen, auch wenn es in der Sitemap ist

in diesem Zusammenhang stellt sich auch die Farge , was die Einstellung

(580) Alle Linkseiten anzeigen
(Ja/Nein) bewirkt, und wie ich die unerwünschten Seiten, ohne händisch arbeiten zu müssen, herausbekomme

 

[ralph_1]

AW: Indexierung bei Google -falsche Indexierung durch Google?

Eigentlich sollte Google das Zeugs garnicht einlesen, auch wenn es in der Sitemap ist

Tut es aber. Entgegen eigener Aussage werden ganz offensichtlich alle Inhalte eingelesen und oft auch, wenigstens für einige Zeit, im Suchindex aufgelistet. In der Regel aber nur zu finden, wenn man sich alle Seiten einer domain anzeigen lässt, über ein Suchwort wird das wohl nicht gelingen.
Nach Google-Richtlinien ist diese Seite über die robots.txt von der Indizierung ausgeschlossen, mehr kannst du nicht tun.

in diesem Zusammenhang stellt sich auch die Farge , was die Einstellung

(580) Alle Linkseiten anzeigen (Ja/Nein) bewirkt, und wie ich die unerwünschten Seiten, ohne händisch arbeiten zu müssen, herausbekomme

Ich glaube, hier handelt es sich um die Auflistung aller CMS-Seiten auf der der CMS-Seite Sitemap, also die Seite, die auch bei erfolgloser Suche angezeigt wird. Auf die xml-sitemap hat diese Einstellung scheinbar keinen Einfluss.

 

[upbox]

AW: Indexierung bei Google -falsche Indexierung durch Google?

sollte eigentlich nicht sein , denke ist auch für den Shop eher schädlich

Das ist es auch. Definitiv, seitdem Google die Schrauben für internen DC weiter angezogen hat. Das gibt es übrigens nicht nur für die navi.php sondern auch für andere Seiten die schön in der robots.txt ausgeschlossen wurden.

Eigentlich sollte Google das Zeugs gar nicht einlesen, auch wenn es in der Sitemap ist

Also Google lässt sich seit JAHREN nicht mehr wirklich durch die robots.txt beeinflussen. Wenn der Robot denkt, die Inhalte wurden zwar gesperrt sind aber dennoch interessant, dann landet die Seite auch im Index. Das sieht dann immer lustig aus, weil die Seite in der Anzeige von Google nur aus dem Titel besteht. Mehr geht ja auch nicht, weil das Lesen der Seite ja verboten ist. Das hindert aber niemanden daran die Seite zu indizieren. Niemand verbietet dem Bot das mit der Sperrung durch die robots.txt! Hier geht es ja nur um das Lesen der Inhalte!

Das Vorgehen hat sogar die Obernebelkerze Matt Cutts schon erklärt:
Uncrawled URLs in search results - YouTube

Jeder kann selber prüfen, ob sein Shop betroffen ist:
einfach mal in Google eingeben: site:domainname.de/navi.php

Zu der Frage was kann ich dagegen tun:

1.) Entsprechende Parameter in den Google Webmastertools ausschließen
2.) Seiten mit "noindex" aus dem Index befördern, aber vorher die robots.txt bearbeiten!
3.) Unter Umständen manuell alle Seiten über die Webmastertools entfernen

Ich hatte schon mal überlegt zum Thema eine Anleitung zu schreiben. Besteht da eventuell Interesse?

 

[microline]

AW: Indexierung bei Google -falsche Indexierung durch Google?

Auf jeden Fall ! Ich steuere auf 500.000 Seiten im Index zu ...

 

[ag-websolutions.de]

AW: Indexierung bei Google -falsche Indexierung durch Google?

Ich hatte schon mal überlegt zum Thema eine Anleitung zu schreiben. Besteht da eventuell Interesse?

mit Sicherheit für die Nicht-SEO-Experten sehr sinnvoll und hilfreich!

 

[Petuchov]

AW: Indexierung bei Google -falsche Indexierung durch Google?

Jeder kann selber prüfen, ob sein Shop betroffen ist:
einfach mal in Google eingeben: site:domainname.de/navi.php

ich habs herausgefunden mit allinurl:www.domainame.de und dann die Suche mit übersprungnen Ergebnissen wiederholen

Zu der Frage was kann ich dagegen tun:

1.) Entsprechende Parameter in den Google Webmastertools ausschließen
2.) Seiten mit "noindex" aus dem Index befördern, aber vorher die robots.txt bearbeiten!
3.) Unter Umständen manuell alle Seiten über die Webmastertools entfernen

Ich hatte schon mal überlegt zum Thema eine Anleitung zu schreiben. Besteht da eventuell Interesse?

Wäre schon toll
In diesem Zusammenhang eine andere Geschihte: Bei einem Kunden, der mit der Original robots.txt seine sitemap anmelden wollte, kommt die Fehlermeldung
dass wichtige Dateien durch die robots.txt gesperrt sind, schaut man nach sind es sie navi Seiten und die Warenkorb Seite sowie die KWK (Kunden werben Kunden)

 

[upbox]

AW: Indexierung bei Google -falsche Indexierung durch Google?

Also alle die Interesse haben für die Doku als Demoshop zu fungieren bitte mal kurz melden. Irgendein Beispiel brauche ich 🙂

 

[kutti]

AW: Indexierung bei Google -falsche Indexierung durch Google?

Hallo,

der letzte Tread ist zwar noch nicht lange her, aber gibt es schon etwas neues in der Richtung? Ich wäre daran interessiert.

 

[upbox]

AW: Indexierung bei Google -falsche Indexierung durch Google?

Kurzes Zwischenfazit: Liste ist fertig. Wir überlegen nur gerade, ob wir nicht die Zusammenfassung gleich noch als Plugin veröffentlichen. Leider ist die Lösung nämlich nicht ohne Änderungen in den Template Dateien umsetzbar.

 

[kutti]

AW: Indexierung bei Google -falsche Indexierung durch Google?

Hallo,

das wäre bestimmt prima und es hätten bestimmt sehr viel Interesse daran. SEO ist immer wichtig!