Offen Problem - Durch robots.txt gesperrt

[dfusion]

Hallo zusammen,

nach nunmehr 2 Monaten Wartezeit auf die Indexierung durch Suchmaschinen sehe ich nun das Problem, dass neue und aktive Produkt URLs in den Google Webmastertools als " Durch robots.txt gesperrt" gelistet werden.

Meine robots.txt bis gerade:

User-agent: *
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php

ich habe nun noch

User-agent: Googlebot

hinzugefügt, um den Googlebot mal direkt anzusprechen. Ein getestetes

Allow: /

hat auch nichts gebracht, habe ich schon bis vorige Wochen getestet.

Ich habe von HHG zu JTL2 migriert, wobei alles neu aufgesetzt wurde. Anfänglich lagen die Probleme auf der Hand, sodass alte Links im Google Index auf Fehlerseiten oder CSS freie Seiten (diese weißen) verweisen, Meldungen dazu findet man hier zu Hauf. Eine Übergangs- und Problemzeit von rund 4 Wochen habe ich bedacht.

Aktuell wurden 1736 URLs per sitemap an Google übermittelt, laut Webmastertools sind 1559 im Index.
Rufe ich die Domain per site:www.ipronec-shop.com auf, sehe ich seit dem ersten einreichen der Sitemap immer nur rund 140 URL Ergebnisse, mit +/- 5 URLs Schwankung. Darunter auch rund 5 neue URLs. Also irgendwas muss da ja passieren.

Die Produkte landen nicht im Index, wie durch die Webmastertools angegeben. Merkwürdig ist, dass wue gesagt einige Produkte (ich denke so 5 Stück) dennoch gelistet werden. Warum auch immer.

Das eigentliche Problem lässt sich wie gesagt unter "Durch robots.txt gesperrt" in den Webmastertools sehen, hier werden massig relevante URLs gelistet, welche vor allem neu sind, also zuvor nicht unter HHG existierten und aus irgendeinem Grund gesperrt werden.

Ich hoffe das Problem lässt sich erklären und bitte um Hilfe.

Danke und Gruß
Daniel

Mein System:
Shop: 2.19
Template: JTL-Shop2
Wawi: 099675

 

[Thomas Lisson]

AW: Problem - Durch robots.txt gesperrt

Hi Daniel,

Du hast noch massig Zeug im Index vom HHG.

Ändere deine .htaccess wie folgt ab:

RewriteEngine On
RewriteCond %{HTTP_HOST} ^ipronec-shop.com
RewriteRule ^(.*)$ http://www.ipronec-shop.com/$1 [r=301,L]
RewriteCond %{REQUEST_URI} ^/([^/]+)$
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule !\. index.php [L]

Produkte hast Du schon im Index, z.B. http://www.ipronec-shop.com/ET4201-SX-SFP
Durch die robots.txt wurde diese nicht gesperrt.

 

[dfusion]

AW: Problem - Durch robots.txt gesperrt

Hallo Thomas,

vielen Dank für Deine Rückmeldung.
Das massig Zeug von HHG ist bekannt, dazu hatte ich die .htaccess wie folgt ausgelegt:

RewriteEngine on

RewriteCond %{REQUEST_URI} ^/([^/]+)$
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule !\. index.php [L]

RewriteCond %{HTTP_HOST} ^ipronec-shop\.com$ [NC]
RewriteRule ^(.*)$ http://www.ipronec-shop.com/$1 [R=301,L]

#RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /.*index\.php\ HTTP/
#RewriteRule ^(.*)index\.php$ /$1 [R=301,L]

ErrorDocument 402 /
ErrorDocument 403 /
ErrorDocument 404 /

Wenn Du einen Fehler sieht wäre ich für die Korrektur dankbar

Wie ich geschrieben hatte sind ca. 5 Produkte im Index, warum diese nicht gesperrt und z.B. http://www.ipronec-shop.com/BATM-IBM-25H1163 (Meldung: URL durch "robots.txt" eingeschränkt am 30.06.2010) gesperrt wird erschließt sich mir nicht. Beide Artikel sind neu und beide nutzen einen URL die zuvor von HHG nicht genutzt wurde.

Hast Du noch eine Idee?


Danke und Gruß
Daniel

btw: das auskommentierte habe ich belassen damit Du siehst was ich noch drinstehen hatte.

 

[Thomas Lisson]

AW: Problem - Durch robots.txt gesperrt

hi,

URL durch "robots.txt" eingeschränkt am 30.06.2010)

dazu müsste man die robots.txt von diesem Zeitpunkt kennen.

Schieb Google eine Sitemap.xml hoch und warte etwas.

 

[dfusion]

AW: Problem - Durch robots.txt gesperrt

Hallo Thomas,

die vom Shop erstellte sitemap.xml habe ich das erste mal am 11.05.2010 hochgeladen. Seit dem wird sie laut Webmastertools täglich heruntergeladen.

Übermittelte URLs
1.736
1.563 URLs im Web-Index

Heruntergeladen
14.07.2010

Die robots.txt sah am 30.06.2010 wie folgt aus:

#Options +FollowSymlinks
RewriteEngine on

RewriteCond %{REQUEST_URI} ^/([^/]+)$
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule !\. index.php [L]

RewriteCond %{HTTP_HOST} ^ipronec-shop\.com$ [NC]
RewriteRule ^(.*)$ http://www.ipronec-shop.com/$1 [R=301,L]

#RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /.*index\.php\ HTTP/
#RewriteRule ^(.*)index\.php$ /$1 [R=301,L]

ErrorDocument 402 /
ErrorDocument 403 /
ErrorDocument 404 /

Siehst Du irgendwo ein Problem oder einen Fehler?

 

[ag-websolutions.de]

AW: Problem - Durch robots.txt gesperrt

Die robots.txt sah am 30.06.2010 wie folgt aus:

das ist doch nicht eine robots.txt sondern eine htaccess...oder irre ichmich da so?!?!

 

[dfusion]

AW: Problem - Durch robots.txt gesperrt

Hallo Anja,

danke für Deinen Hinweis, da habe ich unbedacht aus der falschen Datei kopiert. Hier der Inhalt aus der robots.txt stand 30.06.2010

User-agent: *
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php

und zum 02.07.2010 hatte ich nochmal zusätzlich für 9 Tage ein

Allow: /

eingesetzt, hat meines erachtens nichts gebracht.