Tausende Seiten werden nicht indexiert / Blockierte Url´s / Webmaster Tools

[timmken]

Hallo zusammen,

ich verzweifle langsam an der Indexierung unserer Seiten tomzz - autoundsound.de - Car-HiFi+Zubehör bei Google. Es werden ca. 3.500 Url´s in der Sitemap übermittelt. Soweit ich mich erinnere habe ich keine nofollow´s angelegt. Zumindest keine 2.700 Stück. In den Webmastertools von Google werden mir schon sehr lange ca. 2.700 blockierte Url´s angezeigt. Die robots.txt lautet wie folgt (Original , habe ich nichts geändert) :

User-agent: *
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Disallow: /dbeS/*

Ich habe leider überhaupt keine Ahnung welche Url´s blockiert werden und vor allem warum.

Hat jemand vielleicht eine Idee wo ich ansetzen kann um dieses Problem zu lösen ?

Freue mich über jeden Hinweis.

Vielen Dank.

Thomas

 

[mopeppers]

AW: Tausende Seiten werden nicht indexiert / Blockierte Url´s / Webmaster Tools

google Webmastertools zeigt dir doch alle blockierten Url's an, oder ?

 

[timmken]

AW: Tausende Seiten werden nicht indexiert / Blockierte Url´s / Webmaster Tools

nein leider nicht

 

[dagoberto]

AW: Tausende Seiten werden nicht indexiert / Blockierte Url´s / Webmaster Tools

Bei uns sind auf etwa 1200 Seiten blockiert was bedeutet das genau?

Zudem sinkt die Anzahl der indexierten Seiten ständig

 

[timmken]

AW: Tausende Seiten werden nicht indexiert / Blockierte Url´s / Webmaster Tools

das Google diese Seiten nicht crawlt und diese somit nicht im Index landen, nicht über die Google-Suche zu finden sind.

 

[Tan]

AW: Tausende Seiten werden nicht indexiert / Blockierte Url´s / Webmaster Tools

Bei mir genauso!

Habe dieselbe robots.txt wie timmken.



Bei mir werden 3730 URLs blockiert. (Von ca. 7800, das ist fast die Hälfte!)

Ganz am Anfang wurden die Seiten gecrawlt, aber seit dem ich eine Sitemap eingereicht habe, geht die Crawlingstatistik zurück. Kann es sein, dass es an der Sitemap liegt?

 

[Tan]

AW: Tausende Seiten werden nicht indexiert / Blockierte Url´s / Webmaster Tools

Noch etwas. Nicht das ich die Sitemap falsch eingereicht habe.

Nachdem ich in der Sitemap-Export eine neue Sitemap erstellt habe, werden in den Sitemap-Downloads drei Dateien erzeugt, eine sitemap_0.xml, eine sitemap_0.xml.gz und eine sitemap_index.xml. Welche muss ich denn in den Webmaster-Tools von google verlinken.

Ich habe die sitemap_index.xml genommen, das ist doch richtig, oder?: /export/sitemap_index.xml

 

[timmken]

AW: Tausende Seiten werden nicht indexiert / Blockierte Url´s / Webmaster Tools

ja, habe ich auch so

 

[mopeppers]

AW: Tausende Seiten werden nicht indexiert / Blockierte Url´s / Webmaster Tools

@timmken:
Wenn du im Webmastertool unter Crawling-Fehler auf Zugriff verweigert gehst, werden doch alle Links, die durch die robots.txt gesperrt sind einzeln angeführt - bei mir zumindest....

 

[timmken]

AW: Tausende Seiten werden nicht indexiert / Blockierte Url´s / Webmaster Tools

jetzt machst du mich aber stutzig, ich habe diesen Eintrag nicht ... kannst du ein Bild posten ?

 

[Tan]

AW: Tausende Seiten werden nicht indexiert / Blockierte Url´s / Webmaster Tools

Die Serverfehler werden angezeigt, bzw. die nicht gefundenen Verlinkungen, aber nicht die blockierten URLs.

 

[timmken]

AW: Tausende Seiten werden nicht indexiert / Blockierte Url´s / Webmaster Tools

ja, wie bei mir

 

[mopeppers]

AW: Tausende Seiten werden nicht indexiert / Blockierte Url´s / Webmaster Tools

sorry, ich meinte "Zugriff verweigert" - die blockierten werden tatsächlich nicht angezeigt....

 

[Tan]

AW: Tausende Seiten werden nicht indexiert / Blockierte Url´s / Webmaster Tools

Liegt es vielleicht an meiner/unserer .htaccess?

Meine sieht so aus:

<ifModule mod_deflate.c>
   <FilesMatch "\\.(js|css|html|htm|php|xml)$">
      SetOutputFilter DEFLATE
   </FilesMatch>
</ifModule>

<ifModule mod_headers.c>
   Header unset ETag
   FileETag None

   <filesMatch "\\.(ico|pdf|flv|jpg|jpeg|png|gif|swf)$">
      Header set Cache-Control "max-age=2592000, public"
   </filesMatch>
   <filesMatch "\\.(css)$">
      Header set Cache-Control "max-age=604800, public"
   </filesMatch>
   <filesMatch "\\.(js)$">
      Header set Cache-Control "max-age=216000, private"
   </filesMatch>
   <filesMatch "\\.(xml|txt)$">
      Header set Cache-Control "max-age=216000, public, must-revalidate"
   </filesMatch>
   <filesMatch "\\.(html|htm|php)$">
      Header set Cache-Control "max-age=1, private, must-revalidate"
   </filesMatch>
</ifModule>

<IfModule mod_rewrite.c>
   RewriteEngine on

   #REWRITE ANPASSUNG 1 (REWRITEBASE)
   #Wenn Ihr Shop in einem Unterverzeichnis (also z.B. meinedomain.de/meinverzeichnis) installiert ist, so kommentieren Sie die kommende Zeile aus und passen Sie den Verzeichnisnamen an
   #RewriteBase /meinverzeichnis

   #REWRITE ANPASSUNG 2 (auf www.meinedomain.de umleiten)
   #Ihr Shop sollte nicht unter www.meinedomain.de und nur meinedomain.de erreichbar sein, siehe: http://wiki.jtl-software.de/index.php?title=JTL-Shop3-Neuinstallation#4._Einrichtung_einer_Domainweiterleitung
   RewriteCond %{HTTP_HOST} ^xxxxxxx.de   
   RewriteRule ^(.*)$ http://www.xxxxxxx.de/$1 [r=301,L]

   #Regeln für das Rewrite der URLs von JTL-Shop3
   #Ändern Sie an diesen Zeilen nichts!
   RewriteRule ^((urllist|sitemap_).*\.(xml|txt)(\.gz)?)$ includes/sitemap.php?datei=$1 [L]
   RewriteCond %{REQUEST_FILENAME} !-f
   RewriteCond %{REQUEST_FILENAME} !-d
   RewriteRule !\. index.php [L]
</IfModule>

Shop liegt im Root und eine zweite Domain besteht nicht.
Statt "xxxxxxx" steht dort natürlich meine Domaín.

 

[timmken]

AW: Tausende Seiten werden nicht indexiert / Blockierte Url´s / Webmaster Tools

die Rewrite Anpassung Nr.2 war bei mir noch auskommentiert, habe das mal geändert, mal sehen was passiert.

 

[tom10]

AW: Tausende Seiten werden nicht indexiert / Blockierte Url´s / Webmaster Tools

Das die Crawling Statistiken schwanken ist normal, es werden nicht jeden Tag alle Seiten indexiert. Sieh unter Indexierungsstatus oder Sitemaps nach. Dort siehst du genauer, wieviele Seiten und Bilder aus deiner Sitemap Google kennt und das ist das Wichtige.

Auch die blockierten URL's sind normal. Die blockierten Urls beziehen sich nicht auf deine Sitemap. Durch Verweise, Suche im Shop und selbst durch Bestellungen kennt Google Urls die dann durch die robots.txt blockiert werden. Und nicht zuletzt ist das die Statistik der in den letzten 90 Tagen gefundenen Blockierungen. Wir haben knapp 40.000 blockierte Urls bei 4.000 Artikeln. Wobei die hohe Zahl bei uns sicher auch auf die Ausschlüsse der meisten PDF's (Sicherheitsdatenblätter, technische Daten) und der meisten Urls mit Parameter zurückzuführen ist.

 

[Tan]

AW: Tausende Seiten werden nicht indexiert / Blockierte Url´s / Webmaster Tools

Vielen Dank für den Hinweis!
Die blockierten URLs werden also zusammengerechnet und sagen nichts über die tatsächlich indexierten URLs aus.

Trotzdem werden/sind nicht alle Produkte indexiert. Gestern habe ich eine neue Sitemap eingereicht. Laut WMT sind diesmal 7638 URLs eingereicht aber nur 4216 indexiert.
Wenn ich auf Google site:meinedomain.de eingebe, werden ca. 25 Seiten aufgelistet. Am Anfang waren es 70 Seiten! Da hatte ich auch noch keine Sitemap eingereicht. Das ist ja was mich stutzig macht. Warum ist die Indexierung zurückgegangen? Am Anfang wurde ich fleißig indexiert und seit knapp 4 Wochen tut sich nichts mehr.



Mir ist auch aufgefallen, dass genau die ersten 4216 der Sitemap gelistet sind und die letzten 3422 nicht. Vielleicht hätte ich keine Sitemap einreichen sollen.

 

[timmken]

AW: Tausende Seiten werden nicht indexiert / Blockierte Url´s / Webmaster Tools

Auch von mir danke für den Hinweis. Komischerweise scheint es seit gestern bei mir mit der Indexierung nach ca. 3-4 Wochen Pause weiterzugehen. Wochenlang stand es fest bei 985 indexierten Seiten , gestern dann 1000. Mal abwarten wie es weitergeht.

 

[tom10]

AW: Tausende Seiten werden nicht indexiert / Blockierte Url´s / Webmaster Tools

War doch erst gestern, so schnell schießen die Preußen nu doch nicht Im Ernst, warte mal noch ein, zwei Tage. Google nimmt sich Sitemaps Abschnittsweise vor, nach welchen Kriterien auch immer.

 

[saw]

AW: Tausende Seiten werden nicht indexiert / Blockierte Url´s / Webmaster Tools

Warum sind in der sitemap so viele URLs die durch die robots.txt ausgeschlossen sind?

Zum Beispiel in robots.txt Disallow: /navi.php
In der Sitemap: /navi.php?&seite=15

oder
Disallow: /jtl.php
Sitemap: /jtl.php&lang=eng

usw.

google webmaster tools gibt dadurch an, das 2922 URLs geblockt sind.

grüße
mathias