Neu Suchanfragen durch Roboter blockieren?

[Schmalfred]

Hallo, wir haben öfters das Problem, dass irgendein Crawler ohne Ende Suchanfragen durch die "Suche" jagt und entsprechend Kosten durch Mehrklicks die über den Tarif hinausgehen generiert.

Hat jemand eine Idee wie man das verhindern könnte?

 

[mustermann]

Wenn sich diese Crawler per Kennung oder IP-Adresse identifizieren lassen, kannst du versuchen, sie mit Hilfe von mod_alias oder mod_rewrite zu sperren. Dies als Gedankenanstoß:
https://stackoverflow.com/questions...spiders-for-a-special-directory-with-htaccess
http://toolflow.de/bots-in-der-htaccess-sperren/
Der Nachteil von blacklists ist, dass man sie pflegen muss.

 

[hula1499]

Der Nachteil von blacklists ist, dass man sie pflegen muss.

...und sie nie enden, da auch der dümmste Crawler in der Lage ist IP (ranges), Kennung etc. zu ändern.

 

[holzpuppe]

...und sie nie enden, da auch der dümmste Crawler in der Lage ist IP (ranges), Kennung etc. zu ändern.

Das mag wohl sein, aber der EINE ist erstmal weg.
Im Fall von garstigem "MJ12bot": Der hat seine Kennung nicht geändert. Ergo Ruhe. Sicher gibt es da ganz andere Kaliber, aber das ist ja auch Arbeit für die andere Seite. Wenn auch nur ein Klick und der muss erstmal gemacht werden. Kostet ja alles....im schlimmsten Fall: Kalorien. XD

 

[hula1499]

Auch wenn das Thema simple klingt, richtig aggressive/unangenehme Bots, kannst nicht so einfach aussperren (die robots.txt ist nur für "normale" crawler da und nicht für blackhat dinge, die halten sich sowieso nicht an robots.txt Einträge).

Hatte vorher von diesem MJ12bot noch nie etwas gehört (auch nicht in den Logfiles gesehen bei keiner unserer Domains), aber der folgt ja angeblich dem robots.txt eintrag:
majestic12.co.uk/projects/dsearch/mj12bot.php

Sicher gibt es da ganz andere Kaliber, aber das ist ja auch Arbeit für die andere Seite. Wenn auch nur ein Klick und der muss erstmal gemacht werden. Kostet ja alles....im schlimmsten Fall: Kalorien. XD

Du unterschätzt die bösen Bots
Die sind schon lange so intelligent um - ohne verbrauch jeglicher kcal - seinen Agent/IP Adresse bei einem block zu ändern.
Ich "streit" mich mit diversen Bots seit Jahren herum, sie sind einfach schneller, besser und passen sich automatisch an, da kommst mit nachtragen/neuer Kennung etc. gar nicht nach
Ich hatte mal für einen Bot 114! Kennungen eingetragen (komplett unterschiedliche) und dann genervt mit einem Mail aufgegeben (und der Bitte uns einfach auf die Blacklist zu setzen, was überraschenderweise funktioniert hatte plus diversen Erklärungen, wie es technisch abläuft -> vollautomatisch natürlich ).