Neu Eintrag in der robots.txt falsch?

deepblue

Sehr aktives Mitglied
2. Januar 2009
2.301
6
Hannover / Hamburg
Hallo, habe mal eine Frage zu meiner robots.txt

ist dieser Eintrag mit Disallow: /index.php so Richtig?

Hier mal meine komplette robots.txt

User-agent: *
Disallow: /navi.php
Disallow: /index.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /newsletter.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Sitemap: https://www.domain.de/export/sitemap_index.xml
 

ag-websolutions.de

Sehr aktives Mitglied
29. Dezember 2009
14.548
232
Shop 4 ? ... eigentlich ist das der Standard

Code:
User-agent: *
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Disallow: /dbeS/*
 

deepblue

Sehr aktives Mitglied
2. Januar 2009
2.301
6
Hannover / Hamburg
Hatte nach dem Update bei JTL vom 3.20 auf den JTL- Shop 4 die obere robots.txt im Shop.
Was mich gewundert hat war dieser Eintrag: Disallow: /index.php

Nach dem Update sind auch alle Werte bei Google in den Keller gegangen. Suche da immer noch die Ursache.

Werde aber die Original nun verwenden und die Sitemap: .... hinzufügen.

Vielen Dank ag-websolutions.de
 

ag-websolutions.de

Sehr aktives Mitglied
29. Dezember 2009
14.548
232
wird autom. in die robots.txt geschrieben?

Ja, denn eigentlich wird nicht die robots.TXT sondern die robots.PHP aufgerufen (gesteuert über einen redirecht in der htaccess).

Code:
RewriteRule ^robots.txt$ robots.php [L]

Diese PHP liest einerseits den Inhalt der TXT ein und prüft andererseits, ob es eine sitemap.xml im Rootverzeichnis gibt.
Wenn "ja", dann hängt sie die notwendige Zeile für die sitemap an den Inhalt der eingelesenen robots.TXT an und liefert dann dann ganze als Ergebnis aus.
 

ag-websolutions.de

Sehr aktives Mitglied
29. Dezember 2009
14.548
232
.htaccess Datei geschaut, da steht bei mir nichts von:

Dann hast du nicht die für die Shop4 notwendige htaccess im rrot-Verzeichnis liegen.

Die sitemap_index.xml liegt bei uns aber im export Ordner.

Das passt schon ...

Code:
RewriteRule ^((urllist|sitemap_).*\.(xml|txt)(\.gz)?)$ includes/sitemap.php?datei=$1 [L]
  RewriteRule ^export/((sitemap_).*\.(xml|txt)(\.gz)?)$ $1 [L]
 

deepblue

Sehr aktives Mitglied
2. Januar 2009
2.301
6
Hannover / Hamburg
Code:
   #Regeln f�r das Rewrite der URLs von JTL-Shop3
   #�ndern Sie an diesen Zeilen nichts!
   RewriteRule ^((urllist|sitemap_).*\.(xml|txt)(\.gz)?)$ includes/sitemap.php?datei=$1 [L]
   RewriteCond %{REQUEST_FILENAME} !-f
   RewriteCond %{REQUEST_FILENAME} !-d
   RewriteRule ^. index.php [L]

So steht das bei uns noch drin in der .htaccess Datei


Kann man sich mal irgendwo die Original Datei anschauen, dann werde ich die mal mit unserer vergleichen.
 
Zuletzt bearbeitet:

ag-websolutions.de

Sehr aktives Mitglied
29. Dezember 2009
14.548
232
Die findest du doch, wenn du dir das aktuelle Shop-Paket im Kundencenter herunter lädst

Hier aber auch noch mal als Code-Block:

htaccess vom 404.1

Code:
<IfModule mod_setenvif.c>
  <IfModule mod_headers.c>
    <FilesMatch "\.(bmp|cur|gif|ico|jpe?g|png|svgz?|webp)$">
      SetEnvIf Origin ":" IS_CORS
      Header set Access-Control-Allow-Origin "*" env=IS_CORS
    </FilesMatch>

    SetEnvIfNoCase ^(Accept-EncodXng|X-cept-Encoding|X{15}|~{15}|-{15})$ ^((gzip|deflate)\s*,?\s*)+|[X~-]{4,13}$ HAVE_Accept-Encoding
    RequestHeader append Accept-Encoding "gzip,deflate" env=HAVE_Accept-Encoding
  </IfModule>
</IfModule>

<IfModule mod_filter.c>
  AddOutputFilterByType DEFLATE \
    "application/atom+xml" \
    "application/javascript" \
    "application/json" \
    "application/ld+json" \
    "application/manifest+json" \
    "application/rdf+xml" \
    "application/rss+xml" \
    "application/schema+json" \
    "application/vnd.geo+json" \
    "application/vnd.ms-fontobject" \
    "application/x-font-ttf" \
    "application/x-javascript" \
    "application/x-web-app-manifest+json" \
    "application/xhtml+xml" \
    "application/xml" \
    "font/eot" \
    "font/opentype" \
    "image/bmp" \
    "image/svg+xml" \
    "image/vnd.microsoft.icon" \
    "image/x-icon" \
    "text/cache-manifest" \
    "text/css" \
    "text/html" \
    "text/javascript" \
    "text/plain" \
    "text/vcard" \
    "text/vnd.rim.location.xloc" \
    "text/vtt" \
    "text/x-component" \
    "text/x-cross-domain-policy" \
    "text/xml"

  <IfModule mod_mime.c>
    AddEncoding gzip svgz
  </IfModule>
</IfModule>

<IfModule mod_deflate.c>
  <FilesMatch "\\.(js|css|html|htm|php|xml)$">
    SetOutputFilter DEFLATE
  </FilesMatch>
</IfModule>

<IfModule mod_expires.c>
  ExpiresActive on
  ExpiresDefault "access plus 1 months"
</IfModule>

<IfModule mod_headers.c>
  Header unset ETag

  Header set X-UA-Compatible "IE=edge"
  Header set X-Content-Type-Options "nosniff"
  Header unset X-Powered-By

  <FilesMatch "\.(eot|otf|tt[cf]|woff2?)$">
    Header set Access-Control-Allow-Origin "*"
  </FilesMatch>

  <FilesMatch "\.(appcache|atom|bbaw|bmp|crx|css|cur|eot|f4[abpv]|flv|geojson|gif|htc|ico|jpe?g|js|json(ld)?|m4[av]|manifest|map|mp4|oex|og[agv]|opus|otf|pdf|png|rdf|rss|safariextz|svgz?|swf|topojson|tt[cf]|txt|vcard|vcf|vtt|webapp|web[mp]|webmanifest|woff2?|xloc|xml|xpi)$">
    Header unset X-UA-Compatible
  </FilesMatch>
</IfModule>

<IfModule mod_rewrite.c>
  RewriteEngine on

  #REWRITE ANPASSUNG 1 (REWRITEBASE)
  #Wenn Ihr Shop in einem Unterverzeichnis (also z.B. meinedomain.de/meinverzeichnis) installiert ist, so kommentieren Sie die kommende Zeile aus und passen Sie den Verzeichnisnamen an
  #RewriteBase /

  #REWRITE ANPASSUNG 2 (auf www.meinedomain.de umleiten)
  #Ihr Shop sollte nicht unter www.meinedomain.de und nur meinedomain.de erreichbar sein, siehe: http://guide.jtl-software.de/index.php?title=JTL-Shop3-Neuinstallation#4._Einrichtung_einer_Domainweiterleitung
  #RewriteCond %{HTTP_HOST} ^meinedomain.de
  #RewriteRule ^(.*)$ http://www.meinedomain.de/$1 [r=301,L]

  #Regeln fuer das Rewrite der URLs von JTL-Shop4
  #Aendern Sie an diesen Zeilen nichts!
  RewriteRule ^((urllist|sitemap_).*\.(xml|txt)(\.gz)?)$ includes/sitemap.php?datei=$1 [L]
  RewriteRule ^export/((sitemap_).*\.(xml|txt)(\.gz)?)$ $1 [L]
  RewriteRule ^asset/(.*)$ includes/libs/minify/?g=$1 [L]
  RewriteRule ^robots.txt$ robots.php [L]
  RewriteCond %{REQUEST_FILENAME} !-f
  RewriteCond %{REQUEST_FILENAME} !-d
  RewriteRule ^. index.php [L]
</IfModule>

FileETag None
#Server Signatur deaktivieren
#ServerSignature Off
 

deepblue

Sehr aktives Mitglied
2. Januar 2009
2.301
6
Hannover / Hamburg
Super jetzt funktioniert es. Das hatte JTL beim Shop-Update vergessen. Habe das jetzt 1:1 so eingefügt und es funktioniert.

Vielen Dank nochmals für die tolle Hilfe. Euch ein schönes Wochenende. =)
 

Xantiva

Sehr aktives Mitglied
28. August 2016
1.789
315
Düsseldorf
@XantivaMeinte damit die Werte bei Google WMT. Siehe Screenshots.
Die Ursache ist einfach:

Offensichtlich fehlen im neuen Template "Strukturierte Daten / Rich Snippets", die im vorherigen Template vorhanden waren? Im ersten Bild gehen gefundenen hreflang Tags nach unten. Ist Deine Seite mehrsprachig? Ansonsten brauchst Du die eh' nicht. Und im zweiten Bild gehen gefundenen strukturierten Daten herunter. Die kannst Du hiermit testen:
https://search.google.com/structured-data/testing-tool?hl=de
 

deepblue

Sehr aktives Mitglied
2. Januar 2009
2.301
6
Hannover / Hamburg
@Xantiva

Das Template ist immer das gleiche. Unser Onlineshop ist nur in Deutsch verfügbar. Was uns allerdings wundert ist der plötzlich absturz der Werte. OK bei Bild 1 kann ich nichts machen. Wie sieht es bei Bild 2 aus?
Der Google Link sagt mir nichts. Ich kann dort Sachen testen, aber leider kann ich bei den Ergebnissen nichts erkennen. Fehlen bei uns Angaben und Werte?

Bildschirmfoto 2017-02-11 um 12.26.42.png
 
Zuletzt bearbeitet:

deepblue

Sehr aktives Mitglied
2. Januar 2009
2.301
6
Hannover / Hamburg

Xantiva

Sehr aktives Mitglied
28. August 2016
1.789
315
Düsseldorf
Hast Du mal selber auf Deinen geposteten Link geklickt? Bei mir öffnet sich die Sitemap. ;)

Oben hast Du geschrieben, dass der Shop von 3 auf 4 aktualisiert wurde? Somit auch ein neues Template, oder?

Wie sieht es bei Bild 2 aus? Der Google Link sagt mir nichts. Ich kann dort Sachen testen, aber leider kann ich bei den Ergebnissen nichts erkennen. Fehlen bei uns Angaben und Werte?

Bei deinem Screenshot passt die id nicht - 2x die URL hintereinander?
upload_2017-2-11_16-8-13.png

Teste mal eine Detailseite, da findest Du dann die Angaben zum Produkt, usw. (in suchmaschinenfreundlicher Form).
 
Ähnliche Themen
Titel Forum Antworten Datum
eBay Abgleich Artikel beendet, Logbuch kein Eintrag JTL-Wawi 1.9 1
Neu Kunde automatisiert über Eingang der Retoure benachrichtigen JTL-Wawi - Ideen, Lob und Kritik 0
Probleme beim Export mit der Ameise JTL-Wawi 1.7 1
Neu Megamenü Anzahl der Kategrien je Zeile von vier auf sechs erhöhen Templates für JTL-Shop 0
Neu Versanddaten nicht übermittelt. Fehlermeldung in der Spalte Status Versand/Zahlung eBay-Anbindung - Fehler und Bugs 1
Neu Kumulierte Menge der Artikelpositionen vor dem Speichern des Auftrags einsehen Eigene Übersichten in der JTL-Wawi 0
Neu "Variationsvorschau anzeigen" in der Galerie funktioniert nicht JTL-Shop - Fehler und Bugs 2
Neu Verkaufskanalverwaltung: languageIso / Der Wert darf nicht NULL sein. Shopware-Connector 1
Neu Woran erkennen, dass der Connector funktioniert? Technische Fragen zu den JTL-Connectoren 0
Aktuelle Störung der SCX-Schnittstelle und weiterer JTL-Systeme Störungsmeldungen 1
Neu Anpassung der Rechnungsansicht bei zu langen Artikelbeschreibungen Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 0
Neu Amazonspezifische Variablen in der Voralgenerstellung Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 0
Neu Merkmalfilter: Ausgabe der Kindartikel möglich? Betrieb / Pflege von JTL-Shop 0
Neu Sehr lange Ladezeit der Produktseite nach Upgrade auf Version 5.4 Allgemeine Fragen zu JTL-Shop 6
JTL-Search - Hardwarestörung auf einem der Search-Server (s7) Störungsmeldungen 0
Neu Anzeige der Konten in der Wawi User helfen Usern - Fragen zu JTL-Wawi 2
Neu POS Aufträge in der Wawi nicht abgeschlossen, stehen somit im Versand als "offen" JTL-POS - Fehler und Bugs 2
Neu Wie löscht man eine Lizenz aus der Lizenzverwaltung im KC? Allgemeine Fragen zu JTL-Shop 2
Neu Spontane Überarbeitung der Versandbedingungen bei Ebay eBay-Anbindung - Fehler und Bugs 1
Konfigurationsartikel mit 0 € vs. Preise der einzelnen Komponenten mit 0 € Einrichtung JTL-Shop5 1
Tiefe der Navigation JTL-Wawi 1.9 1
Welche Barcodeschriftart ist zu verwenden, damit der Druck auch von einem iOS-Gerät korrekt ausgeführt wird? JTL-Wawi App 7
Neu Preisdarstellung mit der niedrigsten Staffelung Allgemeine Fragen zu JTL-Shop 5
Neu durchscnittlicher VK der Kundengruppe Eigene Übersichten in der JTL-Wawi 4
Neu Shop 5.4.0: Zahlungsarten nun als Position in der Wawi? JTL-Shop - Ideen, Lob und Kritik 17
Neu Wird der Woocommerce Connector eigentlich noch gepflegt? WooCommerce-Connector 0
Neu Bestandsvariable in der Sprachvariable ampelGelb Templates für JTL-Shop 0
Nummernliste der Bilder in mobiler Ansicht entfernen Einrichtung JTL-Shop5 8
Kampagnenreiter in der Auftragsansicht JTL-Wawi 1.8 1
Neu Hauptbild wird bei Wechsel der VarKombi nicht angezeigt Betrieb / Pflege von JTL-Shop 3
Neu Einstellung der Deutsche Post Portokasse JTL-ShippingLabels - Ideen, Lob und Kritik 16
Neu Artikelnamen auf der Homepage vollständig sehen. Er ist wenn er zu lang ist verkürzt. Allgemeine Fragen zu JTL-Shop 2
Neu Picken nur von dem Lagerplatz, der 100 % der Aufträge bedienen kann Arbeitsabläufe in JTL-WMS / JTL-Packtisch+ 2
Neu Anzeige der Vorgangsstatus im JTL Shop 5 Betrieb / Pflege von JTL-Shop 1
Neu Zusätzliche Bearbeitungszeit wird nicht bei der Lieferzeit an Shopware 6 berücksichtigt Shopware-Connector 0
Neu Artikel mit Zustand beschädigt wird nicht als eigenständiger Artikel in der WaWi angezeigt User helfen Usern - Fragen zu JTL-Wawi 1
Neu Geht bei Euch das Aufladen der Portokasse in DHL-Onlinefrankierung? JTL-ShippingLabels - Ideen, Lob und Kritik 12
Neu Fehlermeldung: Fehler bei der Kommunikation mit dem eA-Server eBay-Anbindung - Fehler und Bugs 3
Neu Workflow der prüft, ob eine Bestellung komplett aus einem bestimmten Lager lieferbar ist. User helfen Usern - Fragen zu JTL-Wawi 7
Neu Kommentare von der Retoure in WMS einsehen\ Retoure wiederfinden User helfen Usern - Fragen zu JTL-Wawi 0
Neu Umbuchung der Lizenzen Arbeitsabläufe in JTL-WMS / JTL-Packtisch+ 2
Ändern der Bearbeitungszeit auf Amazon lässt sich nicht auf Länder eingrenzen JTL-Wawi 1.9 0
Neu Liste verkaufter Artikel mit VK Fibu-Konto aus der Artikelkategorie User helfen Usern - Fragen zu JTL-Wawi 4
Korrektur Name des Absenders bei Anforderung der Bestätigung der E-Mail-Adresse Einrichtung JTL-Shop5 1
Neu Artikel wird nach Auswahl der Variante nicht mehr angezeigt JTL-Shop - Fehler und Bugs 3
Neu Ameise (WAWI 1.9.5.2) -> Wie funktioniert der Upload der Produktion JTL-Plan&Produce - Ideen, Lob und Kritik 0
Neu Eigene Felder aus dem Auftrag in der Packtisch+ / WMS Ausgabe JTL-WMS / JTL-Packtisch+ - Ideen, Lob und Kritik 4
Neu Warum ist der Ameisen Export so langsam? JTL-Ameise - Ideen, Lob und Kritik 22
Neu kKunde != InternerSchlüssel > Aus Shop den Internern Schlüssel der WaWi Technische Fragen zu Plugins und Templates 1
Neu Keine Übernahme der Gewichtsangabe JTL-Wawi - Fehler und Bugs 0

Ähnliche Themen