Neu robots.txt wie richtig einstellen ?

[madeby]

Hallo,
was muss eigentlich in dieser robots.txt stehen ? Bei mir steht aktuell nur:

User-agent: *
Disallow:

Habt ihr da einen Tipp für mich ?

 

[en001]

Was soll denn deiner Meinung nach dort rein?
Willst du das niemand /Geheim crawlt? Dann verrätst du es ja mit der robots.txt. Du willst das deine Konkurrenz analysiert was du an neuen Produkten hast? Dann füge Sitemap: https://example.com/sitemap.xml hinzu. Besser ist es keinen Standardnamen zu verwenden und den Link zur Sitemap nicht in die robots.txt zu packen.
Was nicht in den Index soll bekommt ein noindex im Code.

 

[madeby]

Was soll denn deiner Meinung nach dort rein?
Willst du das niemand /Geheim crawlt? Dann verrätst du es ja mit der robots.txt. Du willst das deine Konkurrenz analysiert was du an neuen Produkten hast? Dann füge Sitemap: https://example.com/sitemap.xml hinzu. Besser ist es keinen Standardnamen zu verwenden und den Link zur Sitemap nicht in die robots.txt zu packen.
Was nicht in den Index soll bekommt ein noindex im Code.

Verstehe nicht was du mir da vermitteln willst!
Hat sich aber mittlerweile erledigt.

 

[wawi-dl]

Man sollte bestimmte Bots aussperren, wir haben das mal auf anraten so gemacht.

Wenn sich aber jemand auskennt, dann sicherlich @css-umsetzung

# BITTE NICHT LOESCHEN, SERVER-/CRAWLING-OPTIMIERUNG
User-agent: Bingbot
User-agent: AdIdxBot
User-agent: BingPreview
User-agent: MicrosoftPreview
Crawl-delay: 5
Disallow: /*__*
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Disallow: /dbeS/*
Disallow: /jtl-store/__
Disallow: /extension-store/__
Allow: *

User-agent: *
Crawl-delay: 5
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Disallow: /dbeS/*
Disallow: /jtl-store/__
Disallow: /extension-store/__
Allow: *

 

[css-umsetzung]

Wenn sich aber jemand auskennt, dann sicherlich @css-umsetzung

Danke für die Blumen

Das ist die offizielle Version von JTL, um die Problematik der Bots, in Verbindung mit den Merkmalen etwas zu entschärfen.

 

[madeby]

Genau die hab ich auch gefunden
Die hab ich mir dann mal reinkopiert.

 

[en001]

Und das ist falsch. Warum soll denn ein Bot was crawlen das mit noindex antwortet?

 

[NoOne]

Und das ist falsch. Warum soll denn ein Bot was crawlen das mit noindex antwortet?

Weil ein Crawler das aufrufen muss, um das noindex zu bekommen. Wenn du das von vorneherein ausschließen möchtest, dann robots.txt und hoffen, dass der Bot sich dran hält. Ansonsten weiß der Crawler das nicht vorher.

 

[madeby]

Blicke langsam nicht mehr durch.

 

[wawi-dl]

Blicke langsam nicht mehr durch.

die Vorlage ist schon richtig und hat uns geholfen

 

[css-umsetzung]

Und das ist falsch. Warum soll denn ein Bot was crawlen das mit noindex antwortet?

Es geht hierbei nicht nur darum, dass der Browser das nicht indexieren soll, es geht hauptsächlich darum, dass er das gar nicht oder eben langsamer crawlen, da die Performance des Shops sonst ganz schnell in den Keller rutschen kann.

 

[en001]

Die Geschwindigeit und Masse der Crawling-Anfragen wird automatisch an den Server angepasst von seriösen Bots. Alle anderen Bots ignorieren oft genug die robots.txt.

 

[css-umsetzung]

Die Geschwindigeit und Mase der Crawling-Anfragen wird automatisch an den Server angepasst von seriösen Bots. Alle anderen Bots ignorieren oft genug die robots.txt.

Muhahahahahaha (sorry)

lese dir das mal bitte durch, momentan dreht Meta am Rad

https://forum.jtl-software.de/threads/sitemap-wird-bei-bing-wird-wegen-fehler-abgelehnt.209842/

 

[en001]

Meta macht das schon immer so. Neu ist das nicht. Da muss halt IPs sperren. Öffentlich sind die ja. Es hilft nur nie die robots.txt bei solchen Geschichten.

 

[css-umsetzung]

Das mit Meta ist nur ein Beispiel, in dem Thread war Bing das Problem und das ist es bis heute, da nimmt niemand Rücksicht darauf was der Server hergibt.

Die Robots.txt ist in dem Fall der Merkmalproblematik auch nur ein kleines Mosaiksteinchen in dem was man alles tun muss, damit der Shop nicht stehen bleibt.

 

[en001]

Da lese noch mal meine erste Antwort in dem Thread. Es gab mit der Cloud Probleme weil alles darüber dich als Bingbot identifiziert hat auch wenn es nicht Bing war. Google hat das auch sehr kurz mit ihrer Cloud. Bing habe ich damals nicht weiter beobachtet in der Richtung.

Die Sitemap ist auch 2025 nicht nützlich bei dem Shop. Was soll Bing damit? Google will so etwas auch nicht bzw. sieht so etwas nicht als "wollen wir gerne sofort holen" an.

 

[css-umsetzung]

Puhhhhhh jetzt wird es schwierig.

 

[wawi-dl]

für uns hatte Bing kaum relevanz, die Sperre von Bing hatte uns aber geholfen

wir haben die Robot seit 2 Jahren so drin, unser Umsatz hat sich verzehnfacht, dami meine ich geschadet hat es offenbar nicht

 

[wawi-dl]

Wir stellen aktuell auch fest, dass wir immer wieder ERROR 500 haben und META / Facebook offenbar massiv Anfragen stellt.

@css-umsetzung
So wie ich das lese, kannst du das bestätigen von deinen Kunden?
Hast du diese dann ausgesperrt?

 

[css-umsetzung]

Ja Meta wird ganz klar ausgesperrt, ich verzeichne hier bis zu 50 Abfragen in der "SEKUNDE"