Google Search Console - Crawling-Fehler: Robots.txt nicht erreichbar

W.Pelich

Aktives Mitglied
24. Oktober 2013
69
3
Seit einigen Updates von JTL haben wir immer noch keine 100% Lösung zu unseren Umsatzeinbrüchen.

Nun kämpfe ich mit google. Seit dem Update auf den Shop 5 habe ich bei google über 72000 Seiten, die nicht indexiert sind.

google hat diverse Fehler: Anfrage zum erneuten Crawlen fehlgeschlagen
Datei
https://akkuplus.de/robots.txt
Grund
Crawling-Fehler: Robots.txt nicht erreichbar

Die robots.txt ist jedoch erreichbar.

Live-Test gibt z.B. für diese Seite:
https://akkuplus.de/Akkureparatur-Z...6-1-252-Volt-Li-Ion-Akku?ws_oss_lieferland=DE
Während des Live-Tests wurden Indexierungsprobleme mit der URL festgestellt

Live-Test: Fehler: Robots.txt nicht erreichbar

Kann mir jemand weitere Tipps bzw. Ansätze geben?
Sehr gerne würde ich die Tätigkeit an einen Service-Partner übertragen.
 

Morimus

Sehr aktives Mitglied
16. Mai 2019
178
49
Schau mal in deine .htacces, ob es da etwas Exotisches gibt.
Deine robots.txt ist nicht erreichbar.
 

Anhänge

  • Screenshot 2024-10-28 112245.png
    Screenshot 2024-10-28 112245.png
    44 KB · Aufrufe: 10
Zuletzt bearbeitet:

W.Pelich

Aktives Mitglied
24. Oktober 2013
69
3
Hi Morimus,
Schau mal in deine .htacces, ob es da etwas Exotisches gibt.
Deine robots.txt ist nicht erreichbar.
danke für den Hinweis. Ich kann die robots.txt aufrufen.
In der Google Search Console habe ich folgendes:
Geprüft amStatusGröße
28.10.24, 12:46error_outlineNicht abgerufen – Nicht zutreffend-
28.10.24, 12:34check_circle_outlineAbgerufen71 Byte
27.10.24, 21:37error_outlineNicht abgerufen – Nicht zutreffend-
27.10.24, 21:35check_circle_outlineAbgerufen71 Byte
27.10.24, 12:56error_outlineNicht abgerufen – Nicht zutreffend-
27.10.24, 12:54check_circle_outlineAbgerufen71 Byte
27.10.24, 11:34error_outlineNicht abgerufen – Nicht zutreffend-
27.10.24, 11:32check_circle_outlineAbgerufen71 Byte
27.10.24, 07:25error_outlineNicht abgerufen – Nicht zutreffend-
27.10.24, 07:25check_circle_outlineAbgerufen71 Byte

Kann es an der .htaccess liegen?

Unser .htaccess:
Code:
<IfModule mod_setenvif.c>
  <IfModule mod_headers.c>
    <FilesMatch "\.(bmp|cur|gif|ico|jpe?g|png|svgz?|webp)$">
      SetEnvIf Origin ":" IS_CORS
      Header set Access-Control-Allow-Origin "*" env=IS_CORS
    </FilesMatch>

    SetEnvIfNoCase ^(Accept-EncodXng|X-cept-Encoding|X{15}|~{15}|-{15})$ ^((gzip|deflate)\s*,?\s*)+|[X~-]{4,13}$ HAVE_Accept-Encoding
    RequestHeader append Accept-Encoding "gzip,deflate" env=HAVE_Accept-Encoding
  </IfModule>
</IfModule>

<IfModule mod_filter.c>
  <IfModule mod_deflate.c>
    AddOutputFilterByType DEFLATE \
      "application/atom+xml" \
      "application/javascript" \
      "application/json" \
      "application/ld+json" \
      "application/manifest+json" \
      "application/rdf+xml" \
      "application/rss+xml" \
      "application/schema+json" \
      "application/vnd.geo+json" \
      "application/vnd.ms-fontobject" \
      "application/x-font-ttf" \
      "application/x-javascript" \
      "application/x-web-app-manifest+json" \
      "application/xhtml+xml" \
      "application/xml" \
      "font/eot" \
      "font/opentype" \
      "image/bmp" \
      "image/svg+xml" \
      "image/vnd.microsoft.icon" \
      "image/x-icon" \
      "text/cache-manifest" \
      "text/css" \
      "text/html" \
      "text/javascript" \
      "text/plain" \
      "text/vcard" \
      "text/vnd.rim.location.xloc" \
      "text/vtt" \
      "text/x-component" \
      "text/x-cross-domain-policy" \
      "text/xml"
  </IfModule>
  <IfModule mod_mime.c>
    AddEncoding gzip svgz
  </IfModule>
</IfModule>

<IfModule !mod_filter.c>
  <IfModule mod_deflate.c>
    <FilesMatch "\\.(js|css|html|htm|xml)$">
      SetOutputFilter DEFLATE
    </FilesMatch>
  </IfModule>
</IfModule>

<IfModule mod_expires.c>
  ExpiresActive on
  ExpiresDefault "access plus 6 months"
</IfModule>

<IfModule mod_headers.c>
  Header unset ETag

  Header set X-UA-Compatible "IE=edge"
  Header set X-Content-Type-Options "nosniff"
  Header unset X-Powered-By
  Header set X-Frame-Options "SAMEORIGIN"

  <FilesMatch "\.(eot|otf|tt[cf]|woff2?)$">
    Header set Access-Control-Allow-Origin "*"
  </FilesMatch>

  <FilesMatch "\.(appcache|atom|bbaw|bmp|crx|css|cur|eot|f4[abpv]|flv|geojson|gif|htc|ico|jpe?g|js|json(ld)?|m4[av]|manifest|map|mp4|oex|og[agv]|opus|otf|pdf|png|rdf|rss|safariextz|svgz?|swf|topojson|tt[cf]|txt|vcard|vcf|vtt|webapp|web[mp]|webmanifest|woff2?|xloc|xml|xpi)$">
    Header unset X-UA-Compatible
  </FilesMatch>
</IfModule>

<IfModule mod_negotiation.c>
  Options -Multiviews
</IfModule>

<IfModule mod_rewrite.c>
  RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^.*(Bytespider).*$ [NC]
RewriteRule .* - [F,L]
RewriteCond %{HTTP_USER_AGENT} ^.*(OAI-Searchbot).*$ [NC]
RewriteRule .* - [F,L]

  #REWRITE ANPASSUNG 1 (REWRITEBASE)
  #Wenn Ihr Shop in einem Unterverzeichnis (also z.B. meinedomain.de/meinverzeichnis) installiert ist, so kommentieren Sie die kommende Zeile aus und passen Sie den Verzeichnisnamen an
  #RewriteBase /

  #REWRITE ANPASSUNG 2 (auf www.meinedomain.de umleiten)
  #Ihr Shop sollte nicht unter www.meinedomain.de und nur meinedomain.de erreichbar sein, siehe: https://guide.jtl-software.de/index.php?title=JTL-Shop3-Neuinstallation#4._Einrichtung_einer_Domainweiterleitung
  #Achten Sie darauf, daß Sie bei Verwendung einer unverschlüsselten Verbindung das Weiterleitungsziel nur mit http und nicht mit https angeben!
  #RewriteCond %{HTTP_HOST} !^www\.meinedomain\.de$ [NC]
  #RewriteRule ^(.*)$ https://www.meinedomain.de/$1 [R=301,L]

  #REWRITE ANPASSUNG 3 (Entfernt abschließenden Slash per 301-Redirect)
  #RewriteCond %{REQUEST_FILENAME} !-f
  #RewriteCond %{REQUEST_FILENAME} !-d
  #RewriteCond %{REQUEST_URI} ^(.*)/$
  #RewriteRule ^. %1 [R=301,L]

  #REWRITE ANPASSUNG 4 (Weiterleitung auf SSL-Verschlüsselung bei Aufruf über http)
  #Diese Angabe entlastet die PHP-Engine von Weiterleitungen anhand Einstellung 192 und sorgt zusätzlich dafür, daß auch statische Resourcen über https ausgeliefert werden.
  #RewriteCond %{HTTPS} !=on
  #RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]

  #Rewrite der JTL-Shop-URLs
  #Aendern Sie an diesen Zeilen nichts!
  RewriteRule ^templates_c/filecache/.*$ - [R=403,NC,L]
  RewriteRule ^((urllist|sitemap_).*\.(xml|txt)(\.gz)?)$ includes/sitemap.php?datei=$1 [L]
  RewriteRule ^export/((sitemap_).*\.(xml|txt)(\.gz)?)$ $1 [L]
  RewriteRule ^asset/(.*)$ includes/libs/minify/?g=$1 [QSA,L]
  RewriteRule ^static/(.*)$ templates_c/min/$1 [QSA,L]
  RewriteRule ^dbeS/tmp/(.*)$ - [F,L]
  RewriteRule ^dbeS/(.*)\.php$ dbeS/index.php?id=$1 [QSA,L]
  RewriteRule ^dbeS/(.*)$ - [F,L]
  RewriteRule ^robots.txt$ robots.php [L]
  RewriteCond %{REQUEST_FILENAME} !-f
  RewriteCond %{REQUEST_FILENAME} !-d
  RewriteRule ^. index.php [L]
</IfModule>

FileETag None
#Server Signatur deaktivieren
#ServerSignature Off
 
Ähnliche Themen
Titel Forum Antworten Datum
Neu Google Serach Console Domaininhaberschaft bestätigen Allgemeine Fragen zu JTL-Shop 8
Neu JTL Export Format Google Shopping für Shöpping Plugins für JTL-Shop 1
Neu Google Shopping - Sonderpreise werden unter Umständen nicht in den Feed geschrieben Allgemeine Fragen zu JTL-Shop 1
Neu DRINGEND Hilfe - Google Analytics Plugin JTL-Shop - Fehler und Bugs 4
Neu Wie kann ich den Titel bei Google Ergebnissen ändern? Allgemeine Fragen zu JTL-Shop 6
Neu Produktbewertungen bei Google Shopping mit anzeigen Technische Fragen zu Plugins und Templates 2
Neu Google Enhanced Conversion Tracking Email JTL Datalayer Technische Fragen zu Plugins und Templates 2
Neu Google shopping JTL SHOP 4 - "geht" nicht mehr Allgemeine Fragen zu JTL-Shop 9
Neu JTL Google Shopping Plugin - Bilder Updaten Plugins für JTL-Shop 3
Neu Wie andere Länder und Sprachen vom Google Shopping Plugin mit dem Merchant Center verbinden Plugins für JTL-Shop 6
Neu Cookies für Google Ads User helfen Usern - Fragen zu JTL-Wawi 0
Neu JTL Search legt kompletten Shop lahm JTL-Search 2
JTL-Search - Hardwarestörung auf einem der Search-Server (s7) Störungsmeldungen 1
Neu JTL Search: Full Export mit Cron ??? JTL-Search 1
Neu JTL Search funktioniert nicht JTL-Search 7

Ähnliche Themen