Keine Indexierung der Produkte (robots.txt)

[THuebner]

Hallo,
ich möchte gerne, dass die Produkte aus meinem Shop in Google indiziert werden. Ich kenne mich leider mit der ganzen Problematik nicht so gut aus.

Ich habe bei einigen Produkten (noch nicht allen) die SEO Daten hinterlegt. Ich habe nichts spezielles mit noindex Dateien gemacht. Ich habe die SItemap konfiguriert und sie soll auch an Google übertragen werden.
In der Google Search Console wird mir angezeigt, dass 7 Seiten gefunden und indexiert wurden und 67 Seiten wurden ausgeschlossen. Bei der Detailansicht steht nun, ich sollte die Blockierung durch robots.txt überprüfen.
In dieser habe ich allerdings nichts geändert und es stehen die Standardeinträge drin.

Spoiler: robots.txt was Google anzeigt

User-agent: *
Disallow:
Sitemap: https://<url der webseite>/sitemap_index.xml

Auf dem Webserver habe ich aber folgende Datei liegen.

Spoiler: robots.txt auf dem WebServer

User-agent: *
Disallow:

Eine Seite, die nicht indexiert ist, hat aber SEO Metadaten in Wawi. Fehlen bei mir irgendwelche Einstellungen?

 

[stt]

Hallo,

SEO hat damit erstmal nichts zu tun, es geht darum, dass Google sich an die Einträge der robots.txt hält und nach der nichts crawlen darf.

Hier wirds erklärt und auch wie man die robots.txt erstellt:
https://support.google.com/merchants/answer/6098185?hl=de

Für Google alles zu erlauben und für sonst niemanden wäre dann also

User-agent: * Disallow: / User-agent: Googlebot Allow: / User-agent: Googlebot-image Allow: /

Ich frickel grad auch an dem Thema rum, daher würde ich nicht sagen, dass das die optimale Einstellung ist. Es reicht vermutlich bestimmte Pfade freizugeben.

 

[en001]

Es kann verschiedenste Gründe geben wenn eine Seite nicht genommen wird. Eine falsche robots.txt ist nur eine Möglichkeit.
Frage die URL bei Google in der Serachkonsole ab und du bekommst die Antwort ob es technisch möglich ist für Google.
Ob Google dann auch will ist die nächste Hürde.