Robot.txt bei neuem Shophosting

[Armystore]

Hallo,

Ich habe einen Shop 5 bei JTL neu gehostet. Ein Testshop wurde übernommen.
Die Robot.txt schaut so aus.
User-agent: *
Disallow:

sonst sind keinerlei Einträge vorhanden.
Gehe ich nun richitg in der Annahme das dadurch mein Shop nicht gecrawlt werden darf, da kompletter Zugriff verweigert wird ?
Ich hatte den Support angeschrieben und zwischenzeitlich folgene robot.txt erstellt.
User-agent: *
Allow: /
Sitemap: https://xxx/sitemap_index.xml
User-agent: Googlebot
Allow: /
User-agent: Googlebot-image
Allow: /
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Disallow: /dbeS/*

Heute morgen dann die Rückmeldung vom Support das die Robot.txt auf die obige erste zrück gesetzt wurde.

Was wäre den nun Richtig ?

Gruß Marco

 

[en001]

Die obige ist richtig.

Wenn nichts geperrt wird ist crawlen erlaubt.

Disallow:
und
Allow : /

sind gleichwertig.

Der alte Standard der robots.txt von der Shopversion 4 war ja nicht richtig.

 

[Armystore]

Vielen Dank für dein Antwort
Ich werde es mal so stehen lassen, und schauen was Google und co. so dazu sagt

Gruß
Marco

 

[en001]

Du musst ja nur nachlesen.
https://developers.google.com/search/docs/advanced/robots/intro?hl=de

oder frage dort nach: https://support.google.com/webmasters/community?hl=de