Google Search Console - Crawling-Fehler: Robots.txt nicht erreichbar

W.Pelich

Aktives Mitglied
24. Oktober 2013
73
3
Seit einigen Updates von JTL haben wir immer noch keine 100% Lösung zu unseren Umsatzeinbrüchen.

Nun kämpfe ich mit google. Seit dem Update auf den Shop 5 habe ich bei google über 72000 Seiten, die nicht indexiert sind.

google hat diverse Fehler: Anfrage zum erneuten Crawlen fehlgeschlagen
Datei
https://akkuplus.de/robots.txt
Grund
Crawling-Fehler: Robots.txt nicht erreichbar

Die robots.txt ist jedoch erreichbar.

Live-Test gibt z.B. für diese Seite:
https://akkuplus.de/Akkureparatur-Z...6-1-252-Volt-Li-Ion-Akku?ws_oss_lieferland=DE
Während des Live-Tests wurden Indexierungsprobleme mit der URL festgestellt

Live-Test: Fehler: Robots.txt nicht erreichbar

Kann mir jemand weitere Tipps bzw. Ansätze geben?
Sehr gerne würde ich die Tätigkeit an einen Service-Partner übertragen.
 

Morimus

Sehr aktives Mitglied
16. Mai 2019
251
60
Schau mal in deine .htacces, ob es da etwas Exotisches gibt.
Deine robots.txt ist nicht erreichbar.
 

Anhänge

  • Screenshot 2024-10-28 112245.png
    Screenshot 2024-10-28 112245.png
    44 KB · Aufrufe: 12
Zuletzt bearbeitet:

W.Pelich

Aktives Mitglied
24. Oktober 2013
73
3
Hi Morimus,
Schau mal in deine .htacces, ob es da etwas Exotisches gibt.
Deine robots.txt ist nicht erreichbar.
danke für den Hinweis. Ich kann die robots.txt aufrufen.
In der Google Search Console habe ich folgendes:
Geprüft amStatusGröße
28.10.24, 12:46error_outlineNicht abgerufen – Nicht zutreffend-
28.10.24, 12:34check_circle_outlineAbgerufen71 Byte
27.10.24, 21:37error_outlineNicht abgerufen – Nicht zutreffend-
27.10.24, 21:35check_circle_outlineAbgerufen71 Byte
27.10.24, 12:56error_outlineNicht abgerufen – Nicht zutreffend-
27.10.24, 12:54check_circle_outlineAbgerufen71 Byte
27.10.24, 11:34error_outlineNicht abgerufen – Nicht zutreffend-
27.10.24, 11:32check_circle_outlineAbgerufen71 Byte
27.10.24, 07:25error_outlineNicht abgerufen – Nicht zutreffend-
27.10.24, 07:25check_circle_outlineAbgerufen71 Byte

Kann es an der .htaccess liegen?

Unser .htaccess:
Code:
<IfModule mod_setenvif.c>
  <IfModule mod_headers.c>
    <FilesMatch "\.(bmp|cur|gif|ico|jpe?g|png|svgz?|webp)$">
      SetEnvIf Origin ":" IS_CORS
      Header set Access-Control-Allow-Origin "*" env=IS_CORS
    </FilesMatch>

    SetEnvIfNoCase ^(Accept-EncodXng|X-cept-Encoding|X{15}|~{15}|-{15})$ ^((gzip|deflate)\s*,?\s*)+|[X~-]{4,13}$ HAVE_Accept-Encoding
    RequestHeader append Accept-Encoding "gzip,deflate" env=HAVE_Accept-Encoding
  </IfModule>
</IfModule>

<IfModule mod_filter.c>
  <IfModule mod_deflate.c>
    AddOutputFilterByType DEFLATE \
      "application/atom+xml" \
      "application/javascript" \
      "application/json" \
      "application/ld+json" \
      "application/manifest+json" \
      "application/rdf+xml" \
      "application/rss+xml" \
      "application/schema+json" \
      "application/vnd.geo+json" \
      "application/vnd.ms-fontobject" \
      "application/x-font-ttf" \
      "application/x-javascript" \
      "application/x-web-app-manifest+json" \
      "application/xhtml+xml" \
      "application/xml" \
      "font/eot" \
      "font/opentype" \
      "image/bmp" \
      "image/svg+xml" \
      "image/vnd.microsoft.icon" \
      "image/x-icon" \
      "text/cache-manifest" \
      "text/css" \
      "text/html" \
      "text/javascript" \
      "text/plain" \
      "text/vcard" \
      "text/vnd.rim.location.xloc" \
      "text/vtt" \
      "text/x-component" \
      "text/x-cross-domain-policy" \
      "text/xml"
  </IfModule>
  <IfModule mod_mime.c>
    AddEncoding gzip svgz
  </IfModule>
</IfModule>

<IfModule !mod_filter.c>
  <IfModule mod_deflate.c>
    <FilesMatch "\\.(js|css|html|htm|xml)$">
      SetOutputFilter DEFLATE
    </FilesMatch>
  </IfModule>
</IfModule>

<IfModule mod_expires.c>
  ExpiresActive on
  ExpiresDefault "access plus 6 months"
</IfModule>

<IfModule mod_headers.c>
  Header unset ETag

  Header set X-UA-Compatible "IE=edge"
  Header set X-Content-Type-Options "nosniff"
  Header unset X-Powered-By
  Header set X-Frame-Options "SAMEORIGIN"

  <FilesMatch "\.(eot|otf|tt[cf]|woff2?)$">
    Header set Access-Control-Allow-Origin "*"
  </FilesMatch>

  <FilesMatch "\.(appcache|atom|bbaw|bmp|crx|css|cur|eot|f4[abpv]|flv|geojson|gif|htc|ico|jpe?g|js|json(ld)?|m4[av]|manifest|map|mp4|oex|og[agv]|opus|otf|pdf|png|rdf|rss|safariextz|svgz?|swf|topojson|tt[cf]|txt|vcard|vcf|vtt|webapp|web[mp]|webmanifest|woff2?|xloc|xml|xpi)$">
    Header unset X-UA-Compatible
  </FilesMatch>
</IfModule>

<IfModule mod_negotiation.c>
  Options -Multiviews
</IfModule>

<IfModule mod_rewrite.c>
  RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^.*(Bytespider).*$ [NC]
RewriteRule .* - [F,L]
RewriteCond %{HTTP_USER_AGENT} ^.*(OAI-Searchbot).*$ [NC]
RewriteRule .* - [F,L]

  #REWRITE ANPASSUNG 1 (REWRITEBASE)
  #Wenn Ihr Shop in einem Unterverzeichnis (also z.B. meinedomain.de/meinverzeichnis) installiert ist, so kommentieren Sie die kommende Zeile aus und passen Sie den Verzeichnisnamen an
  #RewriteBase /

  #REWRITE ANPASSUNG 2 (auf www.meinedomain.de umleiten)
  #Ihr Shop sollte nicht unter www.meinedomain.de und nur meinedomain.de erreichbar sein, siehe: https://guide.jtl-software.de/index.php?title=JTL-Shop3-Neuinstallation#4._Einrichtung_einer_Domainweiterleitung
  #Achten Sie darauf, daß Sie bei Verwendung einer unverschlüsselten Verbindung das Weiterleitungsziel nur mit http und nicht mit https angeben!
  #RewriteCond %{HTTP_HOST} !^www\.meinedomain\.de$ [NC]
  #RewriteRule ^(.*)$ https://www.meinedomain.de/$1 [R=301,L]

  #REWRITE ANPASSUNG 3 (Entfernt abschließenden Slash per 301-Redirect)
  #RewriteCond %{REQUEST_FILENAME} !-f
  #RewriteCond %{REQUEST_FILENAME} !-d
  #RewriteCond %{REQUEST_URI} ^(.*)/$
  #RewriteRule ^. %1 [R=301,L]

  #REWRITE ANPASSUNG 4 (Weiterleitung auf SSL-Verschlüsselung bei Aufruf über http)
  #Diese Angabe entlastet die PHP-Engine von Weiterleitungen anhand Einstellung 192 und sorgt zusätzlich dafür, daß auch statische Resourcen über https ausgeliefert werden.
  #RewriteCond %{HTTPS} !=on
  #RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]

  #Rewrite der JTL-Shop-URLs
  #Aendern Sie an diesen Zeilen nichts!
  RewriteRule ^templates_c/filecache/.*$ - [R=403,NC,L]
  RewriteRule ^((urllist|sitemap_).*\.(xml|txt)(\.gz)?)$ includes/sitemap.php?datei=$1 [L]
  RewriteRule ^export/((sitemap_).*\.(xml|txt)(\.gz)?)$ $1 [L]
  RewriteRule ^asset/(.*)$ includes/libs/minify/?g=$1 [QSA,L]
  RewriteRule ^static/(.*)$ templates_c/min/$1 [QSA,L]
  RewriteRule ^dbeS/tmp/(.*)$ - [F,L]
  RewriteRule ^dbeS/(.*)\.php$ dbeS/index.php?id=$1 [QSA,L]
  RewriteRule ^dbeS/(.*)$ - [F,L]
  RewriteRule ^robots.txt$ robots.php [L]
  RewriteCond %{REQUEST_FILENAME} !-f
  RewriteCond %{REQUEST_FILENAME} !-d
  RewriteRule ^. index.php [L]
</IfModule>

FileETag None
#Server Signatur deaktivieren
#ServerSignature Off
 
Ähnliche Themen
Titel Forum Antworten Datum
Neu Probleme bei der Indexierung bei Google (Search Console) JTL-Shop - Fehler und Bugs 2
Neu Shop 5 und Google Search Betrieb / Pflege von JTL-Shop 2
Neu Google liest falsche Preise im Nova Template Templates für JTL-Shop 2
Neu Nova Template und Google Analytics, Ads Technische Fragen zu Plugins und Templates 3
Neu Google Shopping (Plugin) Export immer leer Allgemeine Fragen zu JTL-Shop 4
Kann keinen neuen Export für Google Shopping mehr erstellen Allgemeine Fragen zu JTL-Shop 4
Neu Google Indexierung seit Monaten kein Fortschritt - Eher Rückschritt Allgemeine Fragen zu JTL-Shop 23
Neu Zweites Bild auf Google Shopping Export mappen Plugins für JTL-Shop 0
Neu Google shopping export - neue Produkte markieren um eine Werbung nur für neue Produkte laufen zu lassen Technische Fragen zu Plugins und Templates 1
Neu Welches PlugIn für ein besseres Google Ranking? Plugins für JTL-Shop 2
Neu Plugin-Update 2.4.1: JTL Exportformat Google Shopping Plugins für JTL-Shop 6
Neu Google Produkte Fehlendes Versandgewicht Technische Fragen zu Plugins und Templates 0
Google Merchant, wie mehrere Länder anlegen? Einrichtung JTL-Shop5 4
Neu Update 5..50 + Plugin: JTL Exportformat Google Shopping Export Stopp JTL-Shop - Fehler und Bugs 8
Neu Artikel werden nach JTL-Abgleich aus Google & YouTube Vertriebskanal entfernt – seit letztem Connector-Update Shopify-Connector 3
Neu Shopify Varianten-Metafeld-Definitionen -> Google Shopify-Connector 0
Neu Google Kundenrezensionen netzdinge Plugins für JTL-Shop 13

Ähnliche Themen