Neu Filter URLs mit einem generellen / anderen Parameter

[Josch41]

Ich möchte mich auch gerne an diesem Thema beteiligen und bitte JTL hier um Anpassung. Wir haben das Problem, dass Artikel teils über 5 Merkmale mit z.T. über 20 Merkmalerte haben. Dies hat nun die Folge, dass ein Meta-Crawler unseren ganzen Server lahmlegt, weil er jede neue URL mit FIlterung versucht zu Crawlen. Keine gefilterte Seite darf/sollte gecrawled werden. Eine Lösung mit "__" erachte ich ebenso als nicht charmant, um nicht zu sagen nicht sonderlich professionell. Eine Filterung muss wie hier oben genannt klarer deklariert werden um dies auch in einer robots.txt einem Crawler besser mitzuteilen. Wenn ich hier nun die "__" in der Robots nicht erlaube, erkennt das der Crawler nicht. Dies ist ein erheblicher Mangel.
Wir versuchen nun über eine Cloudflare WAF das etwas zu hemmen, jedoch kann ich den Crawler dahingehend nicht blockieren, da er dann noch aggressiver vorgeht und den Server noch mehr überlastet.

Der letzte Weg ist nun, dass wir jetzt gezwungen sind aufgrund dieses Mangels die Merkmale herunterzustufen/löschen und tiefer zu kategorisieren, was wesentlich Nutzerunfreundlicher ist und somit weniger Verkäufe generiert.

Bist du sicher, dass es ein Crawler ist der euch lahmlegt. Wir hatten das gleiche Problem mit meterlangen Filter urls. Allerdings ganz klar eine Ddos Botnetz Attacke über ein deutsches VPN.
Robots.txt wird nur von freundlichen Bots/Crawlern beachtet. Wer böses bei dir will, den schert die robots wenig^^ daher sperrt "__" das deinen vermeidlichen Crawler nicht wenn er nicht gesperrt werden will
An die, die unbedingt Filterurls __ indexiert haben wollen kann ich nur sagen: " Lasst es". Einfacher ist der Shop nicht lahm zu legen als über diese links. Vor allem, wenn viele Merkmale vergeben sind oder Mehrfachauswahl möglich ist.

 

[css-umsetzung]

Bist du sicher, dass es ein Crawler ist der euch lahmlegt. Wir haben das gleiche Problem gehabt mit meterlangen Filter urls. Allerdings ganz klar eine Ddos Attacke.

Wie man das bezeichnen möchte ist letztendlich wurscht, ja das läuft mittlerweile nicht nur von Bots sondern auch von unterschiedlichsten IP Adressen aus und
das teilweise mit bis zu 50 Requests in der Sekunde wenn es ganz schlimm kommt.

Wichtig ist, man kann etwas dagegen tun wenn die sich wie üblich auf die Merkmale oder Suchen beschränken.

 

[Märztext]

Hallo zusammen,

ich kann mir auch nicht vorstellen, dass es am Crawler liegt. Dann wäre auch fragwürdig, ob die genutzte Serverinfrastruktur leistungsfähig genug ist.

Von der pauschalen Indexierung von Merkmalseiten rate ich bei jeder Gelegenheit ab.

Viele Grüße
Michael

 

[css-umsetzung]

Die Erfahrung zeigt was anderes.
und das Ausschließen der Indexierung, der Merkmale reicht bei weitem nicht mehr aus.

Musst ja nur mal im Forum danach suchen, Merkmal Bots Shop hängt.
Das ist seit mindestens zwei Jahren ein Thema un des ist dabei egal, wie groß dein Server ist.

Ich habe mal geschrieben, ich bekomme jeden Shop über die Merkmale zum Stillstand, es ist nur die Frage wie viele core der Server hat.

 

[Märztext]

Die Erfahrung zeigt was anderes.
und das Ausschließen der Indexierung, der Merkmale reicht bei weitem nicht mehr aus.

Musst ja nur mal im Forum danach suchen, Merkmal Bots Shop hängt.
Das ist seit mindestens zwei Jahren ein Thema un des ist dabei egal, wie groß dein Server ist.

Ich habe mal geschrieben, ich bekomme jeden Shop über die Merkmale zum Stillstand, es ist nur die Frage wie viele core der Server hat.

Kann man das Problem vielleicht abschwächen, indem man auf Kategorieebene die zur Auswahl stehenden Filter anpasst/reduziert? Dafür gibts ja Plugins.

 

[css-umsetzung]

Ich biete einen Schutz an, den ich in die config Datei vom Shop einfüge, der sperrt alles unerwünschte.

Aber trage das hier einfach mal in deine config vom Shop ein, dann siehst du sehr schnell, ob du ein Problem mit den Merkmalen hast.
Du erkennst das sofort, wenn du nach ein paar Minuten in das jtllogs Verzeichnis schaust.
Eventuell hast du ja wirklich ein ganz anderes Bot Problem.

https://forum.jtl-software.de/threa...hopserver-jtl-shop-query.242076/#post-1319082