Neu Suchanfragen durch Roboter blockieren?

Schmalfred

Gut bekanntes Mitglied
12. Oktober 2007
235
6
Hallo, wir haben öfters das Problem, dass irgendein Crawler ohne Ende Suchanfragen durch die "Suche" jagt und entsprechend Kosten durch Mehrklicks die über den Tarif hinausgehen generiert.

Hat jemand eine Idee wie man das verhindern könnte?
 

holzpuppe

Sehr aktives Mitglied
14. Oktober 2011
1.612
212
Leipzig
...und sie nie enden, da auch der dümmste Crawler in der Lage ist IP (ranges), Kennung etc. zu ändern.
Das mag wohl sein, aber der EINE ist erstmal weg. :p
Im Fall von garstigem "MJ12bot": Der hat seine Kennung nicht geändert. Ergo Ruhe. Sicher gibt es da ganz andere Kaliber, aber das ist ja auch Arbeit für die andere Seite. Wenn auch nur ein Klick und der muss erstmal gemacht werden. Kostet ja alles....im schlimmsten Fall: Kalorien. XD
 

hula1499

Sehr aktives Mitglied
22. Juni 2011
4.844
957
Auch wenn das Thema simple klingt, richtig aggressive/unangenehme Bots, kannst nicht so einfach aussperren (die robots.txt ist nur für "normale" crawler da und nicht für blackhat dinge, die halten sich sowieso nicht an robots.txt Einträge).

Hatte vorher von diesem MJ12bot noch nie etwas gehört (auch nicht in den Logfiles gesehen bei keiner unserer Domains), aber der folgt ja angeblich dem robots.txt eintrag:
majestic12.co.uk/projects/dsearch/mj12bot.php

Sicher gibt es da ganz andere Kaliber, aber das ist ja auch Arbeit für die andere Seite. Wenn auch nur ein Klick und der muss erstmal gemacht werden. Kostet ja alles....im schlimmsten Fall: Kalorien. XD

Du unterschätzt die bösen Bots :)
Die sind schon lange so intelligent um - ohne verbrauch jeglicher kcal - seinen Agent/IP Adresse bei einem block zu ändern.
Ich "streit" mich mit diversen Bots seit Jahren herum, sie sind einfach schneller, besser und passen sich automatisch an, da kommst mit nachtragen/neuer Kennung etc. gar nicht nach :)
Ich hatte mal für einen Bot 114! Kennungen eingetragen (komplett unterschiedliche) und dann genervt mit einem Mail aufgegeben (und der Bitte uns einfach auf die Blacklist zu setzen, was überraschenderweise funktioniert hatte plus diversen Erklärungen, wie es technisch abläuft -> vollautomatisch natürlich ).
 

Ähnliche Themen