Google Search Console - Crawling-Fehler: Robots.txt nicht erreichbar

  • Am 13.06.25 ist der Telefon-Support wegen einer internen Veranstaltung nicht erreichbar, der Ticket-Support nur eingeschränkt. Wir danken Ihnen für Ihr Verständnis!

W.Pelich

Aktives Mitglied
24. Oktober 2013
71
3
Seit einigen Updates von JTL haben wir immer noch keine 100% Lösung zu unseren Umsatzeinbrüchen.

Nun kämpfe ich mit google. Seit dem Update auf den Shop 5 habe ich bei google über 72000 Seiten, die nicht indexiert sind.

google hat diverse Fehler: Anfrage zum erneuten Crawlen fehlgeschlagen
Datei
https://akkuplus.de/robots.txt
Grund
Crawling-Fehler: Robots.txt nicht erreichbar

Die robots.txt ist jedoch erreichbar.

Live-Test gibt z.B. für diese Seite:
https://akkuplus.de/Akkureparatur-Z...6-1-252-Volt-Li-Ion-Akku?ws_oss_lieferland=DE
Während des Live-Tests wurden Indexierungsprobleme mit der URL festgestellt

Live-Test: Fehler: Robots.txt nicht erreichbar

Kann mir jemand weitere Tipps bzw. Ansätze geben?
Sehr gerne würde ich die Tätigkeit an einen Service-Partner übertragen.
 

Morimus

Sehr aktives Mitglied
16. Mai 2019
222
55
Schau mal in deine .htacces, ob es da etwas Exotisches gibt.
Deine robots.txt ist nicht erreichbar.
 

Anhänge

  • Screenshot 2024-10-28 112245.png
    Screenshot 2024-10-28 112245.png
    44 KB · Aufrufe: 12
Zuletzt bearbeitet:

W.Pelich

Aktives Mitglied
24. Oktober 2013
71
3
Hi Morimus,
Schau mal in deine .htacces, ob es da etwas Exotisches gibt.
Deine robots.txt ist nicht erreichbar.
danke für den Hinweis. Ich kann die robots.txt aufrufen.
In der Google Search Console habe ich folgendes:
Geprüft amStatusGröße
28.10.24, 12:46error_outlineNicht abgerufen – Nicht zutreffend-
28.10.24, 12:34check_circle_outlineAbgerufen71 Byte
27.10.24, 21:37error_outlineNicht abgerufen – Nicht zutreffend-
27.10.24, 21:35check_circle_outlineAbgerufen71 Byte
27.10.24, 12:56error_outlineNicht abgerufen – Nicht zutreffend-
27.10.24, 12:54check_circle_outlineAbgerufen71 Byte
27.10.24, 11:34error_outlineNicht abgerufen – Nicht zutreffend-
27.10.24, 11:32check_circle_outlineAbgerufen71 Byte
27.10.24, 07:25error_outlineNicht abgerufen – Nicht zutreffend-
27.10.24, 07:25check_circle_outlineAbgerufen71 Byte

Kann es an der .htaccess liegen?

Unser .htaccess:
Code:
<IfModule mod_setenvif.c>
  <IfModule mod_headers.c>
    <FilesMatch "\.(bmp|cur|gif|ico|jpe?g|png|svgz?|webp)$">
      SetEnvIf Origin ":" IS_CORS
      Header set Access-Control-Allow-Origin "*" env=IS_CORS
    </FilesMatch>

    SetEnvIfNoCase ^(Accept-EncodXng|X-cept-Encoding|X{15}|~{15}|-{15})$ ^((gzip|deflate)\s*,?\s*)+|[X~-]{4,13}$ HAVE_Accept-Encoding
    RequestHeader append Accept-Encoding "gzip,deflate" env=HAVE_Accept-Encoding
  </IfModule>
</IfModule>

<IfModule mod_filter.c>
  <IfModule mod_deflate.c>
    AddOutputFilterByType DEFLATE \
      "application/atom+xml" \
      "application/javascript" \
      "application/json" \
      "application/ld+json" \
      "application/manifest+json" \
      "application/rdf+xml" \
      "application/rss+xml" \
      "application/schema+json" \
      "application/vnd.geo+json" \
      "application/vnd.ms-fontobject" \
      "application/x-font-ttf" \
      "application/x-javascript" \
      "application/x-web-app-manifest+json" \
      "application/xhtml+xml" \
      "application/xml" \
      "font/eot" \
      "font/opentype" \
      "image/bmp" \
      "image/svg+xml" \
      "image/vnd.microsoft.icon" \
      "image/x-icon" \
      "text/cache-manifest" \
      "text/css" \
      "text/html" \
      "text/javascript" \
      "text/plain" \
      "text/vcard" \
      "text/vnd.rim.location.xloc" \
      "text/vtt" \
      "text/x-component" \
      "text/x-cross-domain-policy" \
      "text/xml"
  </IfModule>
  <IfModule mod_mime.c>
    AddEncoding gzip svgz
  </IfModule>
</IfModule>

<IfModule !mod_filter.c>
  <IfModule mod_deflate.c>
    <FilesMatch "\\.(js|css|html|htm|xml)$">
      SetOutputFilter DEFLATE
    </FilesMatch>
  </IfModule>
</IfModule>

<IfModule mod_expires.c>
  ExpiresActive on
  ExpiresDefault "access plus 6 months"
</IfModule>

<IfModule mod_headers.c>
  Header unset ETag

  Header set X-UA-Compatible "IE=edge"
  Header set X-Content-Type-Options "nosniff"
  Header unset X-Powered-By
  Header set X-Frame-Options "SAMEORIGIN"

  <FilesMatch "\.(eot|otf|tt[cf]|woff2?)$">
    Header set Access-Control-Allow-Origin "*"
  </FilesMatch>

  <FilesMatch "\.(appcache|atom|bbaw|bmp|crx|css|cur|eot|f4[abpv]|flv|geojson|gif|htc|ico|jpe?g|js|json(ld)?|m4[av]|manifest|map|mp4|oex|og[agv]|opus|otf|pdf|png|rdf|rss|safariextz|svgz?|swf|topojson|tt[cf]|txt|vcard|vcf|vtt|webapp|web[mp]|webmanifest|woff2?|xloc|xml|xpi)$">
    Header unset X-UA-Compatible
  </FilesMatch>
</IfModule>

<IfModule mod_negotiation.c>
  Options -Multiviews
</IfModule>

<IfModule mod_rewrite.c>
  RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^.*(Bytespider).*$ [NC]
RewriteRule .* - [F,L]
RewriteCond %{HTTP_USER_AGENT} ^.*(OAI-Searchbot).*$ [NC]
RewriteRule .* - [F,L]

  #REWRITE ANPASSUNG 1 (REWRITEBASE)
  #Wenn Ihr Shop in einem Unterverzeichnis (also z.B. meinedomain.de/meinverzeichnis) installiert ist, so kommentieren Sie die kommende Zeile aus und passen Sie den Verzeichnisnamen an
  #RewriteBase /

  #REWRITE ANPASSUNG 2 (auf www.meinedomain.de umleiten)
  #Ihr Shop sollte nicht unter www.meinedomain.de und nur meinedomain.de erreichbar sein, siehe: https://guide.jtl-software.de/index.php?title=JTL-Shop3-Neuinstallation#4._Einrichtung_einer_Domainweiterleitung
  #Achten Sie darauf, daß Sie bei Verwendung einer unverschlüsselten Verbindung das Weiterleitungsziel nur mit http und nicht mit https angeben!
  #RewriteCond %{HTTP_HOST} !^www\.meinedomain\.de$ [NC]
  #RewriteRule ^(.*)$ https://www.meinedomain.de/$1 [R=301,L]

  #REWRITE ANPASSUNG 3 (Entfernt abschließenden Slash per 301-Redirect)
  #RewriteCond %{REQUEST_FILENAME} !-f
  #RewriteCond %{REQUEST_FILENAME} !-d
  #RewriteCond %{REQUEST_URI} ^(.*)/$
  #RewriteRule ^. %1 [R=301,L]

  #REWRITE ANPASSUNG 4 (Weiterleitung auf SSL-Verschlüsselung bei Aufruf über http)
  #Diese Angabe entlastet die PHP-Engine von Weiterleitungen anhand Einstellung 192 und sorgt zusätzlich dafür, daß auch statische Resourcen über https ausgeliefert werden.
  #RewriteCond %{HTTPS} !=on
  #RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]

  #Rewrite der JTL-Shop-URLs
  #Aendern Sie an diesen Zeilen nichts!
  RewriteRule ^templates_c/filecache/.*$ - [R=403,NC,L]
  RewriteRule ^((urllist|sitemap_).*\.(xml|txt)(\.gz)?)$ includes/sitemap.php?datei=$1 [L]
  RewriteRule ^export/((sitemap_).*\.(xml|txt)(\.gz)?)$ $1 [L]
  RewriteRule ^asset/(.*)$ includes/libs/minify/?g=$1 [QSA,L]
  RewriteRule ^static/(.*)$ templates_c/min/$1 [QSA,L]
  RewriteRule ^dbeS/tmp/(.*)$ - [F,L]
  RewriteRule ^dbeS/(.*)\.php$ dbeS/index.php?id=$1 [QSA,L]
  RewriteRule ^dbeS/(.*)$ - [F,L]
  RewriteRule ^robots.txt$ robots.php [L]
  RewriteCond %{REQUEST_FILENAME} !-f
  RewriteCond %{REQUEST_FILENAME} !-d
  RewriteRule ^. index.php [L]
</IfModule>

FileETag None
#Server Signatur deaktivieren
#ServerSignature Off