Hallo,
Ich habe einen Shop 5 bei JTL neu gehostet. Ein Testshop wurde übernommen.
Die Robot.txt schaut so aus.
User-agent: *
Disallow:
sonst sind keinerlei Einträge vorhanden.
Gehe ich nun richitg in der Annahme das dadurch mein Shop nicht gecrawlt werden darf, da kompletter Zugriff verweigert wird ?
Ich hatte den Support angeschrieben und zwischenzeitlich folgene robot.txt erstellt.
User-agent: *
Allow: /
Sitemap: https://xxx/sitemap_index.xml
User-agent: Googlebot
Allow: /
User-agent: Googlebot-image
Allow: /
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Disallow: /dbeS/*
Heute morgen dann die Rückmeldung vom Support das die Robot.txt auf die obige erste zrück gesetzt wurde.
Was wäre den nun Richtig ?
Gruß Marco
Ich habe einen Shop 5 bei JTL neu gehostet. Ein Testshop wurde übernommen.
Die Robot.txt schaut so aus.
User-agent: *
Disallow:
sonst sind keinerlei Einträge vorhanden.
Gehe ich nun richitg in der Annahme das dadurch mein Shop nicht gecrawlt werden darf, da kompletter Zugriff verweigert wird ?
Ich hatte den Support angeschrieben und zwischenzeitlich folgene robot.txt erstellt.
User-agent: *
Allow: /
Sitemap: https://xxx/sitemap_index.xml
User-agent: Googlebot
Allow: /
User-agent: Googlebot-image
Allow: /
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Disallow: /dbeS/*
Heute morgen dann die Rückmeldung vom Support das die Robot.txt auf die obige erste zrück gesetzt wurde.
Was wäre den nun Richtig ?
Gruß Marco