Neu Filter URLs mit einem generellen / anderen Parameter

[Josch41]

Ich möchte mich auch gerne an diesem Thema beteiligen und bitte JTL hier um Anpassung. Wir haben das Problem, dass Artikel teils über 5 Merkmale mit z.T. über 20 Merkmalerte haben. Dies hat nun die Folge, dass ein Meta-Crawler unseren ganzen Server lahmlegt, weil er jede neue URL mit FIlterung versucht zu Crawlen. Keine gefilterte Seite darf/sollte gecrawled werden. Eine Lösung mit "__" erachte ich ebenso als nicht charmant, um nicht zu sagen nicht sonderlich professionell. Eine Filterung muss wie hier oben genannt klarer deklariert werden um dies auch in einer robots.txt einem Crawler besser mitzuteilen. Wenn ich hier nun die "__" in der Robots nicht erlaube, erkennt das der Crawler nicht. Dies ist ein erheblicher Mangel.
Wir versuchen nun über eine Cloudflare WAF das etwas zu hemmen, jedoch kann ich den Crawler dahingehend nicht blockieren, da er dann noch aggressiver vorgeht und den Server noch mehr überlastet.

Der letzte Weg ist nun, dass wir jetzt gezwungen sind aufgrund dieses Mangels die Merkmale herunterzustufen/löschen und tiefer zu kategorisieren, was wesentlich Nutzerunfreundlicher ist und somit weniger Verkäufe generiert.

Bist du sicher, dass es ein Crawler ist der euch lahmlegt. Wir hatten das gleiche Problem mit meterlangen Filter urls. Allerdings ganz klar eine Ddos Botnetz Attacke über ein deutsches VPN.
Robots.txt wird nur von freundlichen Bots/Crawlern beachtet. Wer böses bei dir will, den schert die robots wenig^^ daher sperrt "__" das deinen vermeidlichen Crawler nicht wenn er nicht gesperrt werden will
An die, die unbedingt Filterurls __ indexiert haben wollen kann ich nur sagen: " Lasst es". Einfacher ist der Shop nicht lahm zu legen als über diese links. Vor allem, wenn viele Merkmale vergeben sind oder Mehrfachauswahl möglich ist.

 

[css-umsetzung]

Bist du sicher, dass es ein Crawler ist der euch lahmlegt. Wir haben das gleiche Problem gehabt mit meterlangen Filter urls. Allerdings ganz klar eine Ddos Attacke.

Wie man das bezeichnen möchte ist letztendlich wurscht, ja das läuft mittlerweile nicht nur von Bots sondern auch von unterschiedlichsten IP Adressen aus und
das teilweise mit bis zu 50 Requests in der Sekunde wenn es ganz schlimm kommt.

Wichtig ist, man kann etwas dagegen tun wenn die sich wie üblich auf die Merkmale oder Suchen beschränken.