File does not exist - robots.txt

[bigloopfan]

Hallo @ all,

ich habe in meiner Serverlogfile folgenden Eintrag gefunden:

[Wed Dec 12 13:57:08 2012] [error] [client 93.158.147.8] File does not exist: /is/htdocs/wp6540313_3TXVKO9M0I/www/html/domain123/robots.txt

Dieser Eintrag ist täglich und fast minütlich. Was hat das zu bedeuten? Es muss doch die robots.txt fehlen. Was beinhaltet diese?

LG
Stefan

 

[andy j]

AW: File does not exist - robots.txt

http://de.wikipedia.org/wiki/Robots_Exclusion_Standard

Die wird aber vom Shop-System mit ausgeliefert, sollte als idR vorhanden sein.

 

[boaa-group]

AW: File does not exist - robots.txt

Hallo @ all,

ich habe in meiner Serverlogfile folgenden Eintrag gefunden:

[Wed Dec 12 13:57:08 2012] [error] [client 93.158.147.8] File does not exist: /is/htdocs/wp6540313_3TXVKO9M0I/www/html/domain123/robots.txt

Dieser Eintrag ist täglich und fast minütlich. Was hat das zu bedeuten? Es muss doch die robots.txt fehlen. Was beinhaltet diese?

LG
Stefan

Die robots.txt teilt unter anderem Suchmaschinen mit welche Dateien/Ordner sie besuchen/indexieren dürfen/sollen.