Neu Eintrag in der robots.txt falsch?

deepblue

Sehr aktives Mitglied
2. Januar 2009
2.301
6
Hannover / Hamburg
Hallo, habe mal eine Frage zu meiner robots.txt

ist dieser Eintrag mit Disallow: /index.php so Richtig?

Hier mal meine komplette robots.txt

User-agent: *
Disallow: /navi.php
Disallow: /index.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /newsletter.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Sitemap: https://www.domain.de/export/sitemap_index.xml
 

ag-websolutions.de

Sehr aktives Mitglied
29. Dezember 2009
14.548
232
Shop 4 ? ... eigentlich ist das der Standard

Code:
User-agent: *
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Disallow: /dbeS/*
 

deepblue

Sehr aktives Mitglied
2. Januar 2009
2.301
6
Hannover / Hamburg
Hatte nach dem Update bei JTL vom 3.20 auf den JTL- Shop 4 die obere robots.txt im Shop.
Was mich gewundert hat war dieser Eintrag: Disallow: /index.php

Nach dem Update sind auch alle Werte bei Google in den Keller gegangen. Suche da immer noch die Ursache.

Werde aber die Original nun verwenden und die Sitemap: .... hinzufügen.

Vielen Dank ag-websolutions.de
 

ag-websolutions.de

Sehr aktives Mitglied
29. Dezember 2009
14.548
232
wird autom. in die robots.txt geschrieben?

Ja, denn eigentlich wird nicht die robots.TXT sondern die robots.PHP aufgerufen (gesteuert über einen redirecht in der htaccess).

Code:
RewriteRule ^robots.txt$ robots.php [L]

Diese PHP liest einerseits den Inhalt der TXT ein und prüft andererseits, ob es eine sitemap.xml im Rootverzeichnis gibt.
Wenn "ja", dann hängt sie die notwendige Zeile für die sitemap an den Inhalt der eingelesenen robots.TXT an und liefert dann dann ganze als Ergebnis aus.
 

ag-websolutions.de

Sehr aktives Mitglied
29. Dezember 2009
14.548
232
.htaccess Datei geschaut, da steht bei mir nichts von:

Dann hast du nicht die für die Shop4 notwendige htaccess im rrot-Verzeichnis liegen.

Die sitemap_index.xml liegt bei uns aber im export Ordner.

Das passt schon ...

Code:
RewriteRule ^((urllist|sitemap_).*\.(xml|txt)(\.gz)?)$ includes/sitemap.php?datei=$1 [L]
  RewriteRule ^export/((sitemap_).*\.(xml|txt)(\.gz)?)$ $1 [L]
 

deepblue

Sehr aktives Mitglied
2. Januar 2009
2.301
6
Hannover / Hamburg
Code:
   #Regeln f�r das Rewrite der URLs von JTL-Shop3
   #�ndern Sie an diesen Zeilen nichts!
   RewriteRule ^((urllist|sitemap_).*\.(xml|txt)(\.gz)?)$ includes/sitemap.php?datei=$1 [L]
   RewriteCond %{REQUEST_FILENAME} !-f
   RewriteCond %{REQUEST_FILENAME} !-d
   RewriteRule ^. index.php [L]

So steht das bei uns noch drin in der .htaccess Datei


Kann man sich mal irgendwo die Original Datei anschauen, dann werde ich die mal mit unserer vergleichen.
 
Zuletzt bearbeitet:

ag-websolutions.de

Sehr aktives Mitglied
29. Dezember 2009
14.548
232
Die findest du doch, wenn du dir das aktuelle Shop-Paket im Kundencenter herunter lädst

Hier aber auch noch mal als Code-Block:

htaccess vom 404.1

Code:
<IfModule mod_setenvif.c>
  <IfModule mod_headers.c>
    <FilesMatch "\.(bmp|cur|gif|ico|jpe?g|png|svgz?|webp)$">
      SetEnvIf Origin ":" IS_CORS
      Header set Access-Control-Allow-Origin "*" env=IS_CORS
    </FilesMatch>

    SetEnvIfNoCase ^(Accept-EncodXng|X-cept-Encoding|X{15}|~{15}|-{15})$ ^((gzip|deflate)\s*,?\s*)+|[X~-]{4,13}$ HAVE_Accept-Encoding
    RequestHeader append Accept-Encoding "gzip,deflate" env=HAVE_Accept-Encoding
  </IfModule>
</IfModule>

<IfModule mod_filter.c>
  AddOutputFilterByType DEFLATE \
    "application/atom+xml" \
    "application/javascript" \
    "application/json" \
    "application/ld+json" \
    "application/manifest+json" \
    "application/rdf+xml" \
    "application/rss+xml" \
    "application/schema+json" \
    "application/vnd.geo+json" \
    "application/vnd.ms-fontobject" \
    "application/x-font-ttf" \
    "application/x-javascript" \
    "application/x-web-app-manifest+json" \
    "application/xhtml+xml" \
    "application/xml" \
    "font/eot" \
    "font/opentype" \
    "image/bmp" \
    "image/svg+xml" \
    "image/vnd.microsoft.icon" \
    "image/x-icon" \
    "text/cache-manifest" \
    "text/css" \
    "text/html" \
    "text/javascript" \
    "text/plain" \
    "text/vcard" \
    "text/vnd.rim.location.xloc" \
    "text/vtt" \
    "text/x-component" \
    "text/x-cross-domain-policy" \
    "text/xml"

  <IfModule mod_mime.c>
    AddEncoding gzip svgz
  </IfModule>
</IfModule>

<IfModule mod_deflate.c>
  <FilesMatch "\\.(js|css|html|htm|php|xml)$">
    SetOutputFilter DEFLATE
  </FilesMatch>
</IfModule>

<IfModule mod_expires.c>
  ExpiresActive on
  ExpiresDefault "access plus 1 months"
</IfModule>

<IfModule mod_headers.c>
  Header unset ETag

  Header set X-UA-Compatible "IE=edge"
  Header set X-Content-Type-Options "nosniff"
  Header unset X-Powered-By

  <FilesMatch "\.(eot|otf|tt[cf]|woff2?)$">
    Header set Access-Control-Allow-Origin "*"
  </FilesMatch>

  <FilesMatch "\.(appcache|atom|bbaw|bmp|crx|css|cur|eot|f4[abpv]|flv|geojson|gif|htc|ico|jpe?g|js|json(ld)?|m4[av]|manifest|map|mp4|oex|og[agv]|opus|otf|pdf|png|rdf|rss|safariextz|svgz?|swf|topojson|tt[cf]|txt|vcard|vcf|vtt|webapp|web[mp]|webmanifest|woff2?|xloc|xml|xpi)$">
    Header unset X-UA-Compatible
  </FilesMatch>
</IfModule>

<IfModule mod_rewrite.c>
  RewriteEngine on

  #REWRITE ANPASSUNG 1 (REWRITEBASE)
  #Wenn Ihr Shop in einem Unterverzeichnis (also z.B. meinedomain.de/meinverzeichnis) installiert ist, so kommentieren Sie die kommende Zeile aus und passen Sie den Verzeichnisnamen an
  #RewriteBase /

  #REWRITE ANPASSUNG 2 (auf www.meinedomain.de umleiten)
  #Ihr Shop sollte nicht unter www.meinedomain.de und nur meinedomain.de erreichbar sein, siehe: http://guide.jtl-software.de/index.php?title=JTL-Shop3-Neuinstallation#4._Einrichtung_einer_Domainweiterleitung
  #RewriteCond %{HTTP_HOST} ^meinedomain.de
  #RewriteRule ^(.*)$ http://www.meinedomain.de/$1 [r=301,L]

  #Regeln fuer das Rewrite der URLs von JTL-Shop4
  #Aendern Sie an diesen Zeilen nichts!
  RewriteRule ^((urllist|sitemap_).*\.(xml|txt)(\.gz)?)$ includes/sitemap.php?datei=$1 [L]
  RewriteRule ^export/((sitemap_).*\.(xml|txt)(\.gz)?)$ $1 [L]
  RewriteRule ^asset/(.*)$ includes/libs/minify/?g=$1 [L]
  RewriteRule ^robots.txt$ robots.php [L]
  RewriteCond %{REQUEST_FILENAME} !-f
  RewriteCond %{REQUEST_FILENAME} !-d
  RewriteRule ^. index.php [L]
</IfModule>

FileETag None
#Server Signatur deaktivieren
#ServerSignature Off
 

deepblue

Sehr aktives Mitglied
2. Januar 2009
2.301
6
Hannover / Hamburg
Super jetzt funktioniert es. Das hatte JTL beim Shop-Update vergessen. Habe das jetzt 1:1 so eingefügt und es funktioniert.

Vielen Dank nochmals für die tolle Hilfe. Euch ein schönes Wochenende. =)
 

Xantiva

Sehr aktives Mitglied
28. August 2016
1.787
313
Düsseldorf
@XantivaMeinte damit die Werte bei Google WMT. Siehe Screenshots.
Die Ursache ist einfach:

Offensichtlich fehlen im neuen Template "Strukturierte Daten / Rich Snippets", die im vorherigen Template vorhanden waren? Im ersten Bild gehen gefundenen hreflang Tags nach unten. Ist Deine Seite mehrsprachig? Ansonsten brauchst Du die eh' nicht. Und im zweiten Bild gehen gefundenen strukturierten Daten herunter. Die kannst Du hiermit testen:
https://search.google.com/structured-data/testing-tool?hl=de
 

deepblue

Sehr aktives Mitglied
2. Januar 2009
2.301
6
Hannover / Hamburg
@Xantiva

Das Template ist immer das gleiche. Unser Onlineshop ist nur in Deutsch verfügbar. Was uns allerdings wundert ist der plötzlich absturz der Werte. OK bei Bild 1 kann ich nichts machen. Wie sieht es bei Bild 2 aus?
Der Google Link sagt mir nichts. Ich kann dort Sachen testen, aber leider kann ich bei den Ergebnissen nichts erkennen. Fehlen bei uns Angaben und Werte?

Bildschirmfoto 2017-02-11 um 12.26.42.png
 
Zuletzt bearbeitet:

deepblue

Sehr aktives Mitglied
2. Januar 2009
2.301
6
Hannover / Hamburg

Xantiva

Sehr aktives Mitglied
28. August 2016
1.787
313
Düsseldorf
Hast Du mal selber auf Deinen geposteten Link geklickt? Bei mir öffnet sich die Sitemap. ;)

Oben hast Du geschrieben, dass der Shop von 3 auf 4 aktualisiert wurde? Somit auch ein neues Template, oder?

Wie sieht es bei Bild 2 aus? Der Google Link sagt mir nichts. Ich kann dort Sachen testen, aber leider kann ich bei den Ergebnissen nichts erkennen. Fehlen bei uns Angaben und Werte?

Bei deinem Screenshot passt die id nicht - 2x die URL hintereinander?
upload_2017-2-11_16-8-13.png

Teste mal eine Detailseite, da findest Du dann die Angaben zum Produkt, usw. (in suchmaschinenfreundlicher Form).
 
Ähnliche Themen
Titel Forum Antworten Datum
Neu Wie kann man Anzahl der VPE per SQL abfragen? User helfen Usern - Fragen zu JTL-Wawi 1
Neu Merkwürdige Zeichen in der Kategorieübersicht Allgemeine Fragen zu JTL-Shop 0
Wichtig UPS Änderung der Authentifizierungsmethode zu OAuth2 JTL-ShippingLabels - Ideen, Lob und Kritik 0
Grundpreise bei Vaterartikel in der Artikelvorschau im Shop JTL-Wawi 1.8 9
Neu Einschränkung der abzuholenden Aufträge Shopify-Connector 1
Neu Wie kann ich mit der Wawi Ebay Rechnungen erstellen und nach ebay hochladen? eBay-Anbindung - Fehler und Bugs 3
Neu Creation Date der Artikel Falsch Shopware-Connector 0
Neu Datenträgerverwendung oberste Tabellen - Größe der DB verringern (Logs etc) User helfen Usern - Fragen zu JTL-Wawi 2
Neu Fehler beim Hochladen der Datei JTL-Shop - Fehler und Bugs 0
Neu Mehrere Firmen - automatisierte Änderung der Kundennummer? Arbeitsabläufe in JTL-Wawi 7
Neu Der Shop schickt die Aufträge nicht mehr an die Wawi JTL-Shop - Fehler und Bugs 1
Neu Automatische Sortierung der Bilder & Anzahl der Ebay Bilder eBay-Anbindung - Fehler und Bugs 0
Verwendung der Statistik in Wawi 1.8: JTL-Wawi 1.8 3
Neu Kann man in der POS zwischen Mandanten umschalten? User helfen Usern - Fragen zu JTL-Wawi 1
Neu Footer in der Größe anpassen Gelöste Themen in diesem Bereich 5
Falsche Anzeige der Bestandsführung JTL-Wawi - Fehler und Bugs 5
Neu Drucken-Button auf der Artikeldetailseite Allgemeine Fragen zu JTL-Shop 0
Setup Nummernkreise neue Firma - Länge der Kreise JTL-Wawi 1.8 8
Neu Darstellung/Werte der Variantenauswahl auf Amazon anpassbar? Amazon-Lister - Ideen, Lob und Kritik 0
Neu Kategorienbaum in einer Unterkategorie über der Filterung ausblenden Allgemeine Fragen zu JTL-Shop 1
Neu Anzahl der gefüllten Versandboxen ausgeben lassen Eigene Übersichten in der JTL-Wawi 1
Neu leeres Textfeld erstellen für einen Hinweis auf der Rechnung User helfen Usern - Fragen zu JTL-Wawi 2
Versandkosten werden bei der Gewinnermittlung nicht breücksichtig (1.8.12.2) JTL-Wawi 1.8 1
Wie kann ich etwas in der WAWI Datenbank per SQL ändern? JTL-Wawi 1.8 2
Neu Was steckt hinter der Zahl von 53 Bildern auf Ebay bei Variationsartikeln (und einer unsinnigen Fehlermeldung der Wawi)? JTL-Wawi - Fehler und Bugs 2
Neu Gravierender Fehler in der Shop Software Betrieb / Pflege von JTL-Shop 3
Neu Packtisch: In der Liste der Aufträge neue Feld-Spalte mit Spalteneditor hinzufügen Arbeitsabläufe in JTL-WMS / JTL-Packtisch+ 0
Neu Workflow der bei Stücklisten: Überverkäufe de-/aktivieren User helfen Usern - Fragen zu JTL-Wawi 11
Wo befindet sich das Feld mit der Information für "Zustandsbeschreibung" auf Ebay? JTL-Wawi 1.8 9
Neu Nach Umstellung auf WMS Probleme mit der JTL Ameise Installation von JTL-WMS / JTL-Packtisch+ 0
Neu Vorschaubilder in der Artikeldetailseite werden nicht angezeigt Betrieb / Pflege von JTL-Shop 1
Neu Update des JTL shops aus der Wawi funktioniert nicht Allgemeine Fragen zu JTL-Shop 1
Neu EK-Netto der Verkäufe aus Datenbank ? User helfen Usern - Fragen zu JTL-Wawi 5
Neu Shopify Erhöhung der Varianten von 100 auf 2000 - Connector App Problem Shopify-Connector 4
Fehler beim Rendering der Attribute bei SCX Abgleich kaufland.de - Anbindung (SCX) 4
Neu Eigene Felder des Auftrages in der Druckvorlage Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 2
Neu klare Warnung vor den Bausteinen und der PDF in Vorlagen User helfen Usern - Fragen zu JTL-Wawi 4
Neu Folgendes fehlt seit Mai 23 auf der Rechnung: "Versanddatum: Ist gleich dem Rechnungsdatum." Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 4
Workflow MwSt.-Sätze ersetzen 0% -> 19% ändert netto in Positionen aber nicht in der Auftragssumme JTL-Wawi 1.7 2
Neu Menüleiste wird plötzlich in der Mitte von der Seite angezeigt Allgemeine Fragen zu JTL-Shop 0
Neu SEO URL der Kategorien wird nicht an Shopware 6 übertragen Shopware-Connector 0
Neu Formatierung der Spalte Rabatt Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 5
In Diskussion Automatische Zuweisung der Kategorien für Artikel durch Workflow JTL-Workflows - Ideen, Lob und Kritik 3
Neu Vorlagen: Formel um Textfeld nur auf der letzten Seite der Rechnung darzustellen Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 2
Neu Angabe der wesentlichen Eigenschaften der Ware im Checkout Allgemeine Fragen zu JTL-Shop 11
Slider - Position auf der Startseite? Einrichtung JTL-Shop5 0
Gelöst Packtisch+ 1.8.112 : Rechnung wird bei Teillieferung erzeugt, obwohl als Ausführungsbedingung "Nur bei der letzten Teillieferung" ausgewählt ist. JTL-WMS / JTL-Packtisch+ - Fehler und Bugs 2
Speicherort der Seriennummern zu Auftragsposition in der Datenbank ? JTL-Wawi 1.8 2
Export der Einstellungen im admin Einrichtung JTL-Shop5 2
Beantwortet #GEFUNDEN# Suche jemand , der uns eine (automatische) SQL Abfrage erstellen kann mit Mail Ausgabe Dienstleistung, Jobs und Ähnliches 2

Ähnliche Themen