Nach Update auf 4.03: Robots.txt sperrt Google aus

[Desecrator]

Hallo,

unser aktueller robots.txt-Inhalt:

User-agent: *
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Disallow: /dbeS/*
Sitemap: /export/sitemap_index.xml

User-agent: ia_archiver
Disallow: /

das ist doch alles OK oder? Wieso aber meckert Google, dass nix mehr geht? Im Merchantcenter sind ALLE Produkte raus, da gesperrt...

 

[fav-hosting.online]

AW: Nach Update auf 4.03: Robots.txt sperrt Google aus

Was sagt den der robotstester von google zu deine Datei?
Auf anhieb würde ich sagen das bei der Sitemap die Domain vorne fehlt.

 

[Desecrator]

AW: Nach Update auf 4.03: Robots.txt sperrt Google aus

der Test sagt: 0 Fehler, 0 Warnungen...
wie schaut denn zb. deine robots aus?

 

[fav-hosting.online]

AW: Nach Update auf 4.03: Robots.txt sperrt Google aus

Also aus unserem Testshop Version 4.02 sieht die robots.txt wie unten stehend aus.
Den einzigen gravierenden Unterschied den ich feststellen kann ist die fehlende Domain bei der Sitemapangabe.

User-agent: *
Sitemap: https://XXXXXX/export/sitemap_index.xml
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Disallow: /dbeS/*

 

[Entenfurz]

AW: Nach Update auf 4.03: Robots.txt sperrt Google aus

Ja, ich finde auch nur den Fehler das du die Domain für deine Sitemap nicht eingetragen hast, da kann Google dann nichts finden.

 

[fav-hosting.online]

AW: Nach Update auf 4.03: Robots.txt sperrt Google aus

Hab gerade noch gesehen das du ja Probleme mit dem Merchantcenter hast und nicht mit der Indexierung bei google.
Hier solltest du vielleicht auch noch die Feeddateien überprüfen ob hier eventuell etwas nicht stimmt.
Du kannst mir auch gerne den Link zur entsprechenden Datei per PN senden.

 

[Desecrator]

AW: Nach Update auf 4.03: Robots.txt sperrt Google aus

also das mit der Domain haben wir nun korrigiert. trotzdem frisst google das nicht. Im Robots.txt-Tester gibt er JEDE Seite als gesperrt an.
Grund: er wirft die Robots.txt durcheinander. Der Inhalt der robots.txt ist wie oben beschrieben gespeichert.
Google Webmastertools aber zeigt diese wie folgt an:

User-agent: *
User-agent: ia_archiver
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Disallow: /dbeS/*
Disallow: /
Sitemap: https://www.XYZ.de/export/sitemap_index.xml

es wird also die vorletzte Zeile für ALLE bots gültig angezeigt - somit sind alle Seiten gesperrt. Ganz schön affig warum er das macht... ich kanns nicht nachvollziehen!!! Eigentlich sollte dies nur für den ia_archiver gelten!

 

[fav-hosting.online]

AW: Nach Update auf 4.03: Robots.txt sperrt Google aus

Welches Datum bzw. Uhrzeit steht den bei "Neuste Version gesehen am" im Tester?
Wenn diese älteren Datums ist müsstest du nochmal unten am Rand des Fensters auf Senden klicken und eine Aktualisierung anfordern.

 

[Desecrator]

AW: Nach Update auf 4.03: Robots.txt sperrt Google aus

das ist aktuell - habe es natürlich aktualisiert

 

[fav-hosting.online]

AW: Nach Update auf 4.03: Robots.txt sperrt Google aus

Kannst du mir eventuell mal den Link zu deinem Shop als PN senden?

 

[Hardy2012]

AW: Nach Update auf 4.03: Robots.txt sperrt Google aus

Hallo
Wenn ich den Aufbau der robots.txt richtig verstehe, dann hängt es mit der Reihenfolge zusammen.
Verschiebe die untersten beiden Zeilen ganz nach oben, dann sollte es Google richtig verstehen.

 

[Einrad-Shop]

AW: Nach Update auf 4.03: Robots.txt sperrt Google aus

also das mit der Domain haben wir nun korrigiert. trotzdem frisst google das nicht. Im Robots.txt-Tester gibt er JEDE Seite als gesperrt an.
Grund: er wirft die Robots.txt durcheinander. Der Inhalt der robots.txt ist wie oben beschrieben gespeichert.
Google Webmastertools aber zeigt diese wie folgt an:

User-agent: *
User-agent: ia_archiver
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Disallow: /dbeS/*
Disallow: /
Sitemap: https://www.XYZ.de/export/sitemap_index.xml

es wird also die vorletzte Zeile für ALLE bots gültig angezeigt - somit sind alle Seiten gesperrt. Ganz schön affig warum er das macht... ich kanns nicht nachvollziehen!!! Eigentlich sollte dies nur für den ia_archiver gelten!

Da steht "Disallow: /" und zwar für alle Bots "User-agent: *"
* = alle bots
Ist klar das da absolut alles gesperrt ist.

 

[Desecrator]

AW: Nach Update auf 4.03: Robots.txt sperrt Google aus

exakt das ist ja das Problem: er ändert SELBST Die Reihenfolge! Der Inhalt der Robots.txt ist ja ganz anders geordnet! Das ist das Problem... nur warum tut er das?!? Der originale Inhalt ist ja oben schon genannt.

 

[KathiLe]

AW: Nach Update auf 4.03: Robots.txt sperrt Google aus

Guckst du auch hier:

http://forum.jtl-software.de/umstie...h-umstieg-3-20-auf-4-02-neu-5.html#post505982

 

[css-umsetzung]

AW: Nach Update auf 4.03: Robots.txt sperrt Google aus

OHa

gehe in deine .htaccess und kille diese Zeile

RewriteRule ^robots.txt$ robots.php [L]



ich hab das gerade getestet oweeehhhh wer macht denn so einen Mist
Denke dran das du die Sitemap in die echte robots.txt setzt.

 

[css-umsetzung]

AW: Nach Update auf 4.03: Robots.txt sperrt Google aus

die robots.php

schlüsselt deine Daten so auf und gibt sie dann in genau dieser Reihenfolge wieder zurück :

Es wäre ja auch so einfach gewesen, ein einfaches file_get_contens() zu verwenden und die sitemap hinten dran zu hängen

Array
(
[User-agent] => Array
(
[0] => *
[1] => ia_archiver
)

[Disallow] => Array
(
[0] => /navi.php
[1] => /druckansicht.php
[2] => /suche.php
[3] => /bestellabschluss.php
[4] => /bestellvorgang.php
[5] => /jtl.php
[6] => /pass.php
[7] => /registrieren.php
[8] => /warenkorb.php
[9] => /admin
[10] => /admin/*
[11] => /dbeS/*
[12] => /
)

[Sitemap] => /export/sitemap_index.xml
)

 

[Desecrator]

AW: Nach Update auf 4.03: Robots.txt sperrt Google aus

OHa

gehe in deine .htaccess und kille diese Zeile

RewriteRule ^robots.txt$ robots.php [L]



ich hab das gerade getestet oweeehhhh wer macht denn so einen Mist
Denke dran das du die Sitemap in die echte robots.txt setzt.

Das ist es! Jetzt belässt Google die robots wie sie von mir erstellt wurde. Danke dir - sehr wichtig!!!

 

[Einrad-Shop]

AW: Nach Update auf 4.03: Robots.txt sperrt Google aus

die robots.php

schlüsselt deine Daten so auf und gibt sie dann in genau dieser Reihenfolge wieder zurück :

Es wäre ja auch so einfach gewesen, ein einfaches file_get_contens() zu verwenden und die sitemap hinten dran zu hängen

Array
(
[User-agent] => Array
(
[0] => *
[1] => ia_archiver
)

[Disallow] => Array
(
[0] => /navi.php
[1] => /druckansicht.php
[2] => /suche.php
[3] => /bestellabschluss.php
[4] => /bestellvorgang.php
[5] => /jtl.php
[6] => /pass.php
[7] => /registrieren.php
[8] => /warenkorb.php
[9] => /admin
[10] => /admin/*
[11] => /dbeS/*
[12] => /
)

[Sitemap] => /export/sitemap_index.xml
)

Ich versteh den Sinn einer dynamischen robots.txt nicht, daran sollte sich doch dynamisch gar nichts ändern.

 

[css-umsetzung]

AW: Nach Update auf 4.03: Robots.txt sperrt Google aus

Für mich sieht es so als ob da jemand die robots dann geordnet darstellen wollte, was leider voll in die Hose gegangen ist.
Meine Meinung ist auch das man die nicht dynamisch anfassen sollte da ja alle selbsternannten SEOS da drin rumbasteln und man nie weiß auf was für Konstrukte die kommen.

 

[Einrad-Shop]

AW: Nach Update auf 4.03: Robots.txt sperrt Google aus

Wie sieht das mit http und https aus?
ich habe wo gelesen man soll die robots.txt für http und https gesondert erstellen.
Bei komplettverschlüsseltem shop geht das aber nicht, weil http und https ja keine verschiedenen verzeichnisse sind.
Da wäre eine dynamic für die Sitemapzeile durchaus sinnvoll, je nach dem ob http oder https aufgerufen wurde (allerdings ohne dynamische sortierung).

Wie regelt ihr das mit http und https ?