Neu Eintrag in der robots.txt falsch?

deepblue

Sehr aktives Mitglied
2. Januar 2009
2.301
6
Hannover / Hamburg
Hallo, habe mal eine Frage zu meiner robots.txt

ist dieser Eintrag mit Disallow: /index.php so Richtig?

Hier mal meine komplette robots.txt

User-agent: *
Disallow: /navi.php
Disallow: /index.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /newsletter.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Sitemap: https://www.domain.de/export/sitemap_index.xml
 

ag-websolutions.de

Sehr aktives Mitglied
29. Dezember 2009
14.548
232
Shop 4 ? ... eigentlich ist das der Standard

Code:
User-agent: *
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Disallow: /dbeS/*
 

deepblue

Sehr aktives Mitglied
2. Januar 2009
2.301
6
Hannover / Hamburg
Hatte nach dem Update bei JTL vom 3.20 auf den JTL- Shop 4 die obere robots.txt im Shop.
Was mich gewundert hat war dieser Eintrag: Disallow: /index.php

Nach dem Update sind auch alle Werte bei Google in den Keller gegangen. Suche da immer noch die Ursache.

Werde aber die Original nun verwenden und die Sitemap: .... hinzufügen.

Vielen Dank ag-websolutions.de
 

ag-websolutions.de

Sehr aktives Mitglied
29. Dezember 2009
14.548
232
wird autom. in die robots.txt geschrieben?

Ja, denn eigentlich wird nicht die robots.TXT sondern die robots.PHP aufgerufen (gesteuert über einen redirecht in der htaccess).

Code:
RewriteRule ^robots.txt$ robots.php [L]

Diese PHP liest einerseits den Inhalt der TXT ein und prüft andererseits, ob es eine sitemap.xml im Rootverzeichnis gibt.
Wenn "ja", dann hängt sie die notwendige Zeile für die sitemap an den Inhalt der eingelesenen robots.TXT an und liefert dann dann ganze als Ergebnis aus.
 

ag-websolutions.de

Sehr aktives Mitglied
29. Dezember 2009
14.548
232
.htaccess Datei geschaut, da steht bei mir nichts von:

Dann hast du nicht die für die Shop4 notwendige htaccess im rrot-Verzeichnis liegen.

Die sitemap_index.xml liegt bei uns aber im export Ordner.

Das passt schon ...

Code:
RewriteRule ^((urllist|sitemap_).*\.(xml|txt)(\.gz)?)$ includes/sitemap.php?datei=$1 [L]
  RewriteRule ^export/((sitemap_).*\.(xml|txt)(\.gz)?)$ $1 [L]
 

deepblue

Sehr aktives Mitglied
2. Januar 2009
2.301
6
Hannover / Hamburg
Code:
   #Regeln f�r das Rewrite der URLs von JTL-Shop3
   #�ndern Sie an diesen Zeilen nichts!
   RewriteRule ^((urllist|sitemap_).*\.(xml|txt)(\.gz)?)$ includes/sitemap.php?datei=$1 [L]
   RewriteCond %{REQUEST_FILENAME} !-f
   RewriteCond %{REQUEST_FILENAME} !-d
   RewriteRule ^. index.php [L]

So steht das bei uns noch drin in der .htaccess Datei


Kann man sich mal irgendwo die Original Datei anschauen, dann werde ich die mal mit unserer vergleichen.
 
Zuletzt bearbeitet:

ag-websolutions.de

Sehr aktives Mitglied
29. Dezember 2009
14.548
232
Die findest du doch, wenn du dir das aktuelle Shop-Paket im Kundencenter herunter lädst

Hier aber auch noch mal als Code-Block:

htaccess vom 404.1

Code:
<IfModule mod_setenvif.c>
  <IfModule mod_headers.c>
    <FilesMatch "\.(bmp|cur|gif|ico|jpe?g|png|svgz?|webp)$">
      SetEnvIf Origin ":" IS_CORS
      Header set Access-Control-Allow-Origin "*" env=IS_CORS
    </FilesMatch>

    SetEnvIfNoCase ^(Accept-EncodXng|X-cept-Encoding|X{15}|~{15}|-{15})$ ^((gzip|deflate)\s*,?\s*)+|[X~-]{4,13}$ HAVE_Accept-Encoding
    RequestHeader append Accept-Encoding "gzip,deflate" env=HAVE_Accept-Encoding
  </IfModule>
</IfModule>

<IfModule mod_filter.c>
  AddOutputFilterByType DEFLATE \
    "application/atom+xml" \
    "application/javascript" \
    "application/json" \
    "application/ld+json" \
    "application/manifest+json" \
    "application/rdf+xml" \
    "application/rss+xml" \
    "application/schema+json" \
    "application/vnd.geo+json" \
    "application/vnd.ms-fontobject" \
    "application/x-font-ttf" \
    "application/x-javascript" \
    "application/x-web-app-manifest+json" \
    "application/xhtml+xml" \
    "application/xml" \
    "font/eot" \
    "font/opentype" \
    "image/bmp" \
    "image/svg+xml" \
    "image/vnd.microsoft.icon" \
    "image/x-icon" \
    "text/cache-manifest" \
    "text/css" \
    "text/html" \
    "text/javascript" \
    "text/plain" \
    "text/vcard" \
    "text/vnd.rim.location.xloc" \
    "text/vtt" \
    "text/x-component" \
    "text/x-cross-domain-policy" \
    "text/xml"

  <IfModule mod_mime.c>
    AddEncoding gzip svgz
  </IfModule>
</IfModule>

<IfModule mod_deflate.c>
  <FilesMatch "\\.(js|css|html|htm|php|xml)$">
    SetOutputFilter DEFLATE
  </FilesMatch>
</IfModule>

<IfModule mod_expires.c>
  ExpiresActive on
  ExpiresDefault "access plus 1 months"
</IfModule>

<IfModule mod_headers.c>
  Header unset ETag

  Header set X-UA-Compatible "IE=edge"
  Header set X-Content-Type-Options "nosniff"
  Header unset X-Powered-By

  <FilesMatch "\.(eot|otf|tt[cf]|woff2?)$">
    Header set Access-Control-Allow-Origin "*"
  </FilesMatch>

  <FilesMatch "\.(appcache|atom|bbaw|bmp|crx|css|cur|eot|f4[abpv]|flv|geojson|gif|htc|ico|jpe?g|js|json(ld)?|m4[av]|manifest|map|mp4|oex|og[agv]|opus|otf|pdf|png|rdf|rss|safariextz|svgz?|swf|topojson|tt[cf]|txt|vcard|vcf|vtt|webapp|web[mp]|webmanifest|woff2?|xloc|xml|xpi)$">
    Header unset X-UA-Compatible
  </FilesMatch>
</IfModule>

<IfModule mod_rewrite.c>
  RewriteEngine on

  #REWRITE ANPASSUNG 1 (REWRITEBASE)
  #Wenn Ihr Shop in einem Unterverzeichnis (also z.B. meinedomain.de/meinverzeichnis) installiert ist, so kommentieren Sie die kommende Zeile aus und passen Sie den Verzeichnisnamen an
  #RewriteBase /

  #REWRITE ANPASSUNG 2 (auf www.meinedomain.de umleiten)
  #Ihr Shop sollte nicht unter www.meinedomain.de und nur meinedomain.de erreichbar sein, siehe: http://guide.jtl-software.de/index.php?title=JTL-Shop3-Neuinstallation#4._Einrichtung_einer_Domainweiterleitung
  #RewriteCond %{HTTP_HOST} ^meinedomain.de
  #RewriteRule ^(.*)$ http://www.meinedomain.de/$1 [r=301,L]

  #Regeln fuer das Rewrite der URLs von JTL-Shop4
  #Aendern Sie an diesen Zeilen nichts!
  RewriteRule ^((urllist|sitemap_).*\.(xml|txt)(\.gz)?)$ includes/sitemap.php?datei=$1 [L]
  RewriteRule ^export/((sitemap_).*\.(xml|txt)(\.gz)?)$ $1 [L]
  RewriteRule ^asset/(.*)$ includes/libs/minify/?g=$1 [L]
  RewriteRule ^robots.txt$ robots.php [L]
  RewriteCond %{REQUEST_FILENAME} !-f
  RewriteCond %{REQUEST_FILENAME} !-d
  RewriteRule ^. index.php [L]
</IfModule>

FileETag None
#Server Signatur deaktivieren
#ServerSignature Off
 

deepblue

Sehr aktives Mitglied
2. Januar 2009
2.301
6
Hannover / Hamburg
Super jetzt funktioniert es. Das hatte JTL beim Shop-Update vergessen. Habe das jetzt 1:1 so eingefügt und es funktioniert.

Vielen Dank nochmals für die tolle Hilfe. Euch ein schönes Wochenende. =)
 

Xantiva

Sehr aktives Mitglied
28. August 2016
1.787
313
Düsseldorf
@XantivaMeinte damit die Werte bei Google WMT. Siehe Screenshots.
Die Ursache ist einfach:

Offensichtlich fehlen im neuen Template "Strukturierte Daten / Rich Snippets", die im vorherigen Template vorhanden waren? Im ersten Bild gehen gefundenen hreflang Tags nach unten. Ist Deine Seite mehrsprachig? Ansonsten brauchst Du die eh' nicht. Und im zweiten Bild gehen gefundenen strukturierten Daten herunter. Die kannst Du hiermit testen:
https://search.google.com/structured-data/testing-tool?hl=de
 

deepblue

Sehr aktives Mitglied
2. Januar 2009
2.301
6
Hannover / Hamburg
@Xantiva

Das Template ist immer das gleiche. Unser Onlineshop ist nur in Deutsch verfügbar. Was uns allerdings wundert ist der plötzlich absturz der Werte. OK bei Bild 1 kann ich nichts machen. Wie sieht es bei Bild 2 aus?
Der Google Link sagt mir nichts. Ich kann dort Sachen testen, aber leider kann ich bei den Ergebnissen nichts erkennen. Fehlen bei uns Angaben und Werte?

Bildschirmfoto 2017-02-11 um 12.26.42.png
 
Zuletzt bearbeitet:

deepblue

Sehr aktives Mitglied
2. Januar 2009
2.301
6
Hannover / Hamburg

Xantiva

Sehr aktives Mitglied
28. August 2016
1.787
313
Düsseldorf
Hast Du mal selber auf Deinen geposteten Link geklickt? Bei mir öffnet sich die Sitemap. ;)

Oben hast Du geschrieben, dass der Shop von 3 auf 4 aktualisiert wurde? Somit auch ein neues Template, oder?

Wie sieht es bei Bild 2 aus? Der Google Link sagt mir nichts. Ich kann dort Sachen testen, aber leider kann ich bei den Ergebnissen nichts erkennen. Fehlen bei uns Angaben und Werte?

Bei deinem Screenshot passt die id nicht - 2x die URL hintereinander?
upload_2017-2-11_16-8-13.png

Teste mal eine Detailseite, da findest Du dann die Angaben zum Produkt, usw. (in suchmaschinenfreundlicher Form).
 
Ähnliche Themen
Titel Forum Antworten Datum
Neu Gravierender Fehler in der Shop Software Betrieb / Pflege von JTL-Shop 1
Neu Packtisch: In der Liste der Aufträge neue Feld-Spalte mit Spalteneditor hinzufügen Arbeitsabläufe in JTL-WMS / JTL-Packtisch+ 0
Neu Workflow der bei Stücklisten: Überverkäufe de-/aktivieren User helfen Usern - Fragen zu JTL-Wawi 11
Wo befindet sich das Feld mit der Information für "Zustandsbeschreibung" auf Ebay? JTL-Wawi 1.8 9
Neu Nach Umstellung auf WMS Probleme mit der JTL Ameise Installation von JTL-WMS / JTL-Packtisch+ 0
Neu Vorschaubilder in der Artikeldetailseite werden nicht angezeigt Betrieb / Pflege von JTL-Shop 1
Neu Update des JTL shops aus der Wawi funktioniert nicht Allgemeine Fragen zu JTL-Shop 1
Neu EK-Netto der Verkäufe aus Datenbank ? User helfen Usern - Fragen zu JTL-Wawi 5
Neu Shopify Erhöhung der Varianten von 100 auf 2000 - Connector App Problem Shopify-Connector 1
Fehler beim Rendering der Attribute bei SCX Abgleich kaufland.de - Anbindung (SCX) 1
Neu Eigene Felder des Auftrages in der Druckvorlage Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 2
Neu klare Warnung vor den Bausteinen und der PDF in Vorlagen User helfen Usern - Fragen zu JTL-Wawi 4
Neu Folgendes fehlt seit Mai 23 auf der Rechnung: "Versanddatum: Ist gleich dem Rechnungsdatum." Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 4
Workflow MwSt.-Sätze ersetzen 0% -> 19% ändert netto in Positionen aber nicht in der Auftragssumme JTL-Wawi 1.7 2
Neu Menüleiste wird plötzlich in der Mitte von der Seite angezeigt Allgemeine Fragen zu JTL-Shop 0
Neu SEO URL der Kategorien wird nicht an Shopware 6 übertragen Shopware-Connector 0
Neu Formatierung der Spalte Rabatt Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 5
In Diskussion Automatische Zuweisung der Kategorien für Artikel durch Workflow JTL-Workflows - Ideen, Lob und Kritik 3
Neu Vorlagen: Formel um Textfeld nur auf der letzten Seite der Rechnung darzustellen Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 2
Neu Angabe der wesentlichen Eigenschaften der Ware im Checkout Allgemeine Fragen zu JTL-Shop 11
Slider - Position auf der Startseite? Einrichtung JTL-Shop5 0
Gelöst Packtisch+ 1.8.112 : Rechnung wird bei Teillieferung erzeugt, obwohl als Ausführungsbedingung "Nur bei der letzten Teillieferung" ausgewählt ist. JTL-WMS / JTL-Packtisch+ - Fehler und Bugs 2
Speicherort der Seriennummern zu Auftragsposition in der Datenbank ? JTL-Wawi 1.8 2
Export der Einstellungen im admin Einrichtung JTL-Shop5 2
Beantwortet #GEFUNDEN# Suche jemand , der uns eine (automatische) SQL Abfrage erstellen kann mit Mail Ausgabe Dienstleistung, Jobs und Ähnliches 2
Neu Bestände von der Wawi mit ebay abgleichen User helfen Usern - Fragen zu JTL-Wawi 2
Fehlermeldung nach Speichern vom Auftrag in der Wawi JTL-Wawi 1.6 5
Neu Erstinstallation JTL WaWi 1.8.12 - heruntergeladen wird SQL Express 2017 _statt_ der empfohlenen 2022 Version Installation von JTL-Wawi 8
Auftragsimport über eBay - Bezeichnung der Versandart auf der Rechnung leer JTL-Wawi 1.8 1
In Bearbeitung JTL POS in der JTL-WaWi-Cloud Allgemeine Fragen zu JTL-POS 2
Neu Suchen Mitarbeiter für 40h Festanstellung gern auch 100% Homeoffice für Produkt und Kategorie Pflege mit der Wawi Dienstleistung, Jobs und Ähnliches 0
Neu Bestände der einzelnen Lager weichen von den reellen Beständen willkürlich ab JTL-Shop - Fehler und Bugs 7
Neu Export nach Vorgabe der Artikelnummern JTL Ameise - Eigene Exporte 5
Neu Wenn Rabatt als Zeile auf Rechnung steht, fliegt der Gesamtwert weg.. Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 0
Neu jtl wawi Versanddatenexport Originalmeldung: In der Sendung trat mindestens ein harter Fehler auf. Code: 1101 Schnittstellen Import / Export 2
Neu Versandetikett von der Merchant FFN JTL an die Fulfiller FFN JTL übertragen? Richtiger Weg? User helfen Usern - Fragen zu JTL-Wawi 0
Neu NEU ✔️ PDF-Angebots-Plugin für den JTL-Shop 5 - PDF Angebote von der Produktseite oder aus dem Warenkorb heraus generieren B2C / B2B Plugins für JTL-Shop 5
Neu Variationskombinationen in der Sitemap Allgemeine Fragen zu JTL-Shop 5
[JTL-WAWI API] CaseSensitiv in der Create Sales Order JTL-Wawi 1.8 0
Neu Link Farbe im Header sowie Abstand der Box im Footer anpassen Allgemeine Fragen zu JTL-Shop 1
Neu SQL Ausgabe der Varko-Auswahl eines Artikels, mehrsprachig Tabelle zwei mal auf sich Joinen? User helfen Usern - Fragen zu JTL-Wawi 5
Neu Links der Startseite funktionieren nach Update mobil nicht Installation / Updates von JTL-Shop 1
Neu Mögliche steuerrechtliche Verstöße beim Nutzen der JTL Druckvorlagen Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 4
Verkaufseinheit der Kinder JTL-Wawi 1.8 7
Neu Kurzbeschreibung von einem "Stücklisten-Artikel" wird in der Rechnungskorrektur Vorlage nicht angezeigt. Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 1
Neu Reihenfolge der Cross-Selling-Produkte JTL-Wawi - Ideen, Lob und Kritik 3
Neu Richtige Hook zum Berechnen der Lieferzeit in Artikel.php Technische Fragen zu Plugins und Templates 1
Neu Anfängerfrage nach der prinzipiellen Funktionsweise mit JTL-Shop und FFN Starten mit JTL: Projektabwicklung & Migration 4
Neu Fehlende Sprachvariablen Link bei Übernahme der Texte in der Kategoriebeschreibung JTL-Wawi - Fehler und Bugs 1
Kaufland Bestellung in der Wawi "unbezahlt" ? kaufland.de - Anbindung (SCX) 0

Ähnliche Themen