Neu Sprunghafte Zunahme von Visits bei JTL Shops

Sascha Reuters

Teamleiter: Hosting
Mitarbeiter
29. Oktober 2019
8
6
Hückelhoven
Zitat von css-umsetzung:
Das ist der feine Unterschied, denn JTL scheint hier gut greifende Fail2Ban regeln zu haben (ich gehe davon aus das sie das auch nutzen)
Es wäre natürlich toll wenn JTL hier auch ein wenig unterstützend mitwirken würde was die Regeln angeht.
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.

In unserer Hostingumgebung nutzen wir wie beschrieben die Fail2Ban Funktion, die Filterlisten werden allerdings von uns manuell auf aktuelle Ereignisse angepasst, da wir nicht prinzipiell alle Bots oder alle Hosts eines Landes oder IP-Adresskreises ausschließen können.

Zurzeit wird evaluiert wie wir diese reaktive Handhabe durch einen proaktiven Mechanismus in unserer Hostingumgebung ersetzen können.
 
  • Gefällt mir
Reaktionen: Stephs182 und JulianG

css-umsetzung

Offizieller Servicepartner
SPBanner
6. Juli 2011
7.540
2.081
Berlin
Das liegt vermutlich daran weil die von meiner php Lösung dort zum Teil nicht drin stehen.
Wenn du mein Script für das Log bei dir einbaust, dann siehst du ja wer dich nervt.
 

cg01

Sehr aktives Mitglied
20. Januar 2018
100
28
Zitat von holzpuppe:
So, nu meld ich mich auch mal. Sprunghafte Zunahmen verzeichnen wir seit Anfang 2019, immer gerne das dreifache der "normalen" Besucherzahl. Und jetzt im Januar sogar das fünffache. *irre*


Danke an CSS-Umsetzung für den Schnippsel. Und auch an lj-shadow. ;)
Die ersten Bots kullern nun in die Logs, die ich vorher selbst in awstats noch nicht so gesehen habe. (Oder ich habs übersehen.)

Meine htaccess sieht aktuell so aus
(Bestimmt verbesserungswürdig, aber die verschiedenen Varianten haben sich mit der Zeit so ergeben und zugegeben, ich hab an sich keine Ahnung davon. Aber es funktioniert. xD) :
Code: 
#block bad bots with a 403
SetEnvIfNoCase User-Agent "AhrefsBot" bad_bot
SetEnvIfNoCase User-Agent "Baiduspider" bad_bot
SetEnvIfNoCase User-Agent "BBot" bad_bot" bad_bot
SetEnvIfNoCase User-Agent "BLEXBot" bad_bot
SetEnvIfNoCase User-Agent "Custo" bad_bot
SetEnvIfNoCase User-Agent "CFNetwork" bad_bot
SetEnvIfNoCase User-Agent "CMS Crawler" bad_bot
SetEnvIfNoCase User-Agent "CsCrawler" bad_bot
SetEnvIfNoCase User-Agent "DomainAppender" bad_bot
SetEnvIfNoCase User-Agent "Grapeshot Crawler" bad_bot
SetEnvIfNoCase User-Agent "Jakarta commons-httpclient" bad_bot
SetEnvIfNoCase User-Agent "Lipperhey SEO Service" bad_bot
SetEnvIfNoCase User-Agent "Linkdex" bad_bot
SetEnvIfNoCase User-Agent "MegaIndex.ru" bad_bot
SetEnvIfNoCase User-Agent "MJ12bot" bad_bot
SetEnvIfNoCase User-Agent "ning" bad_bot
SetEnvIfNoCase User-Agent "Python-urllib" bad_bot
SetEnvIfNoCase User-Agent "Phantom" bad_bot
SetEnvIfNoCase User-Agent "Perl tool" bad_bot
SetEnvIfNoCase User-Agent "pegasus" bad_bot
SetEnvIfNoCase User-Agent "spbot" bad_bot
SetEnvIfNoCase User-Agent "SEOprofiler Bot" bad_bot
SetEnvIfNoCase User-Agent "SMTBot" bad_bot
SetEnvIfNoCase User-Agent "SurveyBot" bad_bot
SetEnvIfNoCase User-Agent "SISTRIX Crawler" bad_bot
SetEnvIfNoCase User-Agent "Sogou Spider" bad_bot
SetEnvIfNoCase User-Agent "Verisign" bad_bot
SetEnvIfNoCase User-Agent "WebFilter" bad_bot
SetEnvIfNoCase User-Agent "Web Core / Roots" bad_bot
SetEnvIfNoCase User-Agent "WebMeUp backlink tool" bad_bot
SetEnvIfNoCase User-Agent "WGet tools" bad_bot
SetEnvIfNoCase User-Agent "Mb2345Browser" bad_bot
SetEnvIfNoCase User-Agent "LieBaoFast" bad_bot
SetEnvIfNoCase User-Agent "zh-CN" bad_bot
SetEnvIfNoCase User-Agent "MicroMessenger" bad_bot
SetEnvIfNoCase User-Agent "zh_CN" bad_bot
SetEnvIfNoCase User-Agent "Kinza" bad_bot

<Limit GET POST HEAD>
  Order Allow,Deny
  Allow from all
  Deny from env=bad_bot
</Limit>

RewriteCond %{HTTP_USER_AGENT} ^.*Baidu.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*MJ12bot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*SEOprofiler.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Ahrefs.*$[NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Sogou.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*BBot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Python-urllib.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*SurveyBot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Perl.?tool [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Jakarta.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Grapeshot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Custo.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Verisign.*$ [NC,OR]
RewriteRule ^(.*)$ http://127.0.0.1 [R,L]

RewriteCond %{HTTP_REFERER} ^http://.*majestic12\.co\.uk/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*ahrefs\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*openlinkprofiler\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*ahrefs\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*sogou\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*netwu\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*grapeshot\.co\.uk/ [NC]
RewriteRule ^(.*)$ http://127.0.0.1 [R,L]

Der "Block" steht bei mir zwischen:

Code: 
<IfModule mod_rewrite.c>
  RewriteEngine on
    RewriteCond %{HTTPS} off [OR]
    RewriteCond %{HTTP_HOST} ^www\. [NC]
    RewriteRule ^ https://meineURL.com%{REQUEST_URI} [R=301,L,NE]
Und
Code: 
 #REWRITE ANPASSUNG 1 (REWRITEBASE)
  #Wenn Ihr Shop in einem Unterverzeichnis (also z.B. meinedomain.de/meinverzeichnis) installiert ist, so kommentieren Sie die kommende Zeile aus und passen Sie den Verzeichnisnamen an
  RewriteBase /
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.

Wir hatten auch das Problem ab ca. 26.12.2019. Habe jetzt den Code in die htaccess eingefügt und schwups war erst mal Ruhe. Danke für den Beitrag.
Mal sehen wie es weiter geht.
 

sergiostiletto

Gut bekanntes Mitglied
11. Juni 2012
131
11
also, wir konnten diese sprunghaften zugriffe auf unserem shop ebenfalls über das backend so bestätigen. in google analytics dagegen so ersteinmal nicht!
für dieses problem haben sich dann aber der thomas partsch von zitro hosting und björn binder von bbf design etwas einfallen lassen, was diese zugriffe ausschließt - es wurden bots vermutet. mit einer weiteren analytics vergleichseinstellung konnte man somit den tatsächlichen zugriff messen. auch sind nach der maßnahme die zugriffe sofort gesunken, auf das normale / reale maß.
mich lässt das auf jeden fall deutlich ruhiger schlafen und dieses maß an mitdenken, handeln - auch vorsorglich, habe ich bislang so noch nicht besser erfahren, in über 10 jahren ecommerce kampf!
das sind meine 2 cents dazu.
 
  • Gefällt mir
Reaktionen: bbfdesign

knackig

Sehr aktives Mitglied
17. November 2011
952
156
Nordhessen
Mich hat es auch vor wenigen Tagen getroffen... Die Zugriffsanzahl stieg von etwa 200 am Tag auf 5000 gestern (bis nur bis Mittag). Das zwang dann den Server in die Knie und die Seite war zum Teil nicht erreichbar (503er Fehler oder nicht komplett geladen). Alle unbekannten IP's kamen dabei aus China.

Meine Lösung bestand darin, nach unterschiedlichen Forenfunden, eine Liste der chinesischen IP's zu generieren (auf https://www.countryipblocks.net/acl.php) und diese in der .htaccess zu blockieren. Seitdem läuft der Shop wieder reibungslos. Bestellungen sind in der Zwischenzeit auch wieder gekommen. Meine Kunden sehen den Shop also korrekt.
 

knackig

Sehr aktives Mitglied
17. November 2011
952
156
Nordhessen

Stephs182

Sehr aktives Mitglied
21. Januar 2015
250
25
Luckau NL
Ein Kunde hat mich heute auch hier auf diesen Thread aufmerksam gemacht. OPPO und co. haben bei uns auch zu tun gehabt, aber seit Nov. schon.

Ich habe zunächst mit der .htaccess bzw. (da ich zu der Zeit Nginx gefahren bin mit der Config dort) gegen gehalten und bin dann auch auf Fail2Ban umgestiegen und lasse diese schon da abblitzen. Auf dem ersten Server (wo nur ein größerer JTL Shop liegt, und wo es auch anfing, ist es mittlerweile wieder sehr ruhig geworden (noch 40 geblockte IP's). Auf dem anderen Server, wo die ganzen "kleineren" JTL Shops liegen sind wir aktuell bei 2500 IPs die gesperrt sind.
Aber ich schaue mir die Regel vom Andreas nochmal an und justiere gern nochmal nach.

Danke dir Andreas (css-umsetzung) für die Hilfe in der Community.
 

Stephs182

Sehr aktives Mitglied
21. Januar 2015
250
25
Luckau NL
Zitat von css-umsetzung:
Da ich bereits einige Anfragen hatte hier mal die Filter die ich verwende:
Wenn ich diesen Filter bei mir aktiviere dann sehe ich sofort das sich etwas tut, da man ja eigentlich ständig von nicht gewollten Bots besucht wird.

Plesk Bad Bot Filter:
Code: 
[Definition]
badbotscustom = EmailCollector|WebEMailExtrac|TrackBack/1\.02|sogou music spider|(?:Mozilla/\d+\.\d+ )?Jorgee|MJ12bot
badbots = Atomic_Email_Hunter/4\.0|atSpider/1\.0|autoemailspider|bwh3_user_agent|China Local Browse 2\.6|ContactBot/0\.2|ContentSmartz|DataCha0s/2\.0|DBrowse 1\.4b|DBrowse 1\.4d|Demo Bot DOT 16b|Demo Bot Z 16b|DSurf15a 01|DSurf15a 71|DSurf15a 81|DSurf15a VA|EBrowse 1\.4b|Educate Search VxB|EmailSiphon|EmailSpider|EmailWolf 1\.00|ESurf15a 15|ExtractorPro|Franklin Locator 1\.8|FSurf15a 01|Full Web Bot 0416B|Full Web Bot 0516B|Full Web Bot 2816B|Guestbook Auto Submitter|Industry Program 1\.0\.x|ISC Systems iRc Search 2\.1|IUPUI Research Bot v 1\.9a|LARBIN-EXPERIMENTAL \(efp@gmx\.net\)|LetsCrawl\.com/1\.0 \+http\://letscrawl\.com/|Lincoln State Web Browser|LMQueueBot/0\.2|LWP\:\:Simple/5\.803|Mac Finder 1\.0\.xx|MFC Foundation Class Library 4\.0|Microsoft URL Control - 6\.00\.8xxx|Missauga Locate 1\.0\.0|Missigua Locator 1\.9|Missouri College Browse|Mizzu Labs 2\.2|Mo College 1\.9|MVAClient|Mozilla/2\.0 \(compatible; NEWT ActiveX; Win32\)|Mozilla/3\.0 \(compatible; Indy Library\)|Mozilla/3\.0 \(compatible; scan4mail \(advanced version\) http\://www\.peterspages\.net/?scan4mail\)|Mozilla/4\.0 \(compatible; Advanced Email Extractor v2\.xx\)|Mozilla/4\.0 \(compatible; Iplexx Spider/1\.0 http\://www\.iplexx\.at\)|Mozilla/4\.0 \(compatible; MSIE 5\.0; Windows NT; DigExt; DTS Agent|Mozilla/4\.0 efp@gmx\.net|Mozilla/5\.0 \(Version\: xxxx Type\:xx\)|NameOfAgent \(CMS Spider\)|NASA Search 1\.0|Nsauditor/1\.x|PBrowse 1\.4b|PEval 1\.4b|Poirot|Port Huron Labs|Production Bot 0116B|Production Bot 2016B|Production Bot DOT 3016B|Program Shareware 1\.0\.2|PSurf15a 11|PSurf15a 51|PSurf15a VA|psycheclone|RSurf15a 41|RSurf15a 51|RSurf15a 81|searchbot admin@google\.com|ShablastBot 1\.0|snap\.com beta crawler v0|Snapbot/1\.0|Snapbot/1\.0 \(Snap Shots&#44; \+http\://www\.snap\.com\)|sogou develop spider|Sogou Orion spider/3\.0\(\+http\://www\.sogou\.com/docs/help/webmasters\.htm#07\)|sogou spider|Sogou web spider/3\.0\(\+http\://www\.sogou\.com/docs/help/webmasters\.htm#07\)|sohu agent|SSurf15a 11 |TSurf15a 11|Under the Rainbow 2\.2|User-Agent\: Mozilla/4\.0 \(compatible; MSIE 6\.0; Windows NT 5\.1\)|VadixBot|WebVulnCrawl\.unknown/1\.0 libwww-perl/5\.803|Wells Search II|WEP Search 00|.*AhrefsBot.*|.*seoscanners.*|.*MJ12bot.*
failregex = ^<HOST> -.*"(GET|POST|HEAD).*HTTP.*"(?:%(badbots)s|%(badbotscustom)s)"$
ignoreregex =
datepattern = ^[^\[]*\[({DATE})
    {^LN-BEG}
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.
Ich habe mir das nochmal angeschaut. Hier mein BadBot Filter (Jail) (ohne das ich vorher gesehen hatte was Andreas gemacht hatte):
Code: 
[Definition]
badbotscustom = AhrefsBot|FRD-AL00|SemrushBot|OPPO|zh-CN|EmailCollector|WebEMailExtrac|TrackBack/1\.02|sogou music spider|(?:Mozilla/\d+\.\d+ )?Jorgee
badbots = Atomic_Email_Hunter/4\.0|atSpider/1\.0|autoemailspider|bwh3_user_agent|China Local Browse 2\.6|ContactBot/0\.2|ContentSmartz|DataCha0s/2\.0|DBrowse 1\.4b|DBrowse 1\.4d|Demo Bot DOT 16b|Demo Bot Z 16b|DSurf15a 01|DSurf15a 71|DSurf15a 81|DSurf15a VA|EBrowse 1\.4b|Educate Search VxB|EmailSiphon|EmailSpider|EmailWolf 1\.00|ESurf15a 15|ExtractorPro|Franklin Locator 1\.8|FSurf15a 01|Full Web Bot 0416B|Full Web Bot 0516B|Full Web Bot 2816B|Guestbook Auto Submitter|Industry Program 1\.0\.x|ISC Systems iRc Search 2\.1|IUPUI Research Bot v 1\.9a|LARBIN-EXPERIMENTAL \(efp@gmx\.net\)|LetsCrawl\.com/1\.0 \+http\://letscrawl\.com/|Lincoln State Web Browser|LMQueueBot/0\.2|LWP\:\:Simple/5\.803|Mac Finder 1\.0\.xx|MFC Foundation Class Library 4\.0|Microsoft URL Control - 6\.00\.8xxx|Missauga Locate 1\.0\.0|Missigua Locator 1\.9|Missouri College Browse|Mizzu Labs 2\.2|Mo College 1\.9|MVAClient|Mozilla/2\.0 \(compatible; NEWT ActiveX; Win32\)|Mozilla/3\.0 \(compatible; Indy Library\)|Mozilla/3\.0 \(compatible; scan4mail \(advanced version\) http\://www\.peterspages\.net/?scan4mail\)|Mozilla/4\.0 \(compatible; Advanced Email Extractor v2\.xx\)|Mozilla/4\.0 \(compatible; Iplexx Spider/1\.0 http\://www\.iplexx\.at\)|Mozilla/4\.0 \(compatible; MSIE 5\.0; Windows NT; DigExt; DTS Agent|Mozilla/4\.0 efp@gmx\.net|Mozilla/5\.0 \(Version\: xxxx Type\:xx\)|NameOfAgent \(CMS Spider\)|NASA Search 1\.0|Nsauditor/1\.x|PBrowse 1\.4b|PEval 1\.4b|Poirot|Port Huron Labs|Production Bot 0116B|Production Bot 2016B|Production Bot DOT 3016B|Program Shareware 1\.0\.2|PSurf15a 11|PSurf15a 51|PSurf15a VA|psycheclone|RSurf15a 41|RSurf15a 51|RSurf15a 81|searchbot admin@google\.com|ShablastBot 1\.0|snap\.com beta crawler v0|Snapbot/1\.0|Snapbot/1\.0 \(Snap Shots&#44; \+http\://www\.snap\.com\)|sogou develop spider|Sogou Orion spider/3\.0\(\+http\://www\.sogou\.com/docs/help/webmasters\.htm#07\)|sogou spider|Sogou web spider/3\.0\(\+http\://www\.sogou\.com/docs/help/webmasters\.htm#07\)|sohu agent|SSurf15a 11 |TSurf15a 11|Under the Rainbow 2\.2|User-Agent\: Mozilla/4\.0 \(compatible; MSIE 6\.0; Windows NT 5\.1\)|VadixBot|WebVulnCrawl\.unknown/1\.0 libwww-perl/5\.803|Wells Search II|WEP Search 00
failregex = ^<HOST> -.*"(GET|POST|HEAD).*HTTP.*"(?:%(badbots)s|%(badbotscustom)s)"$
ignoreregex = 
datepattern = ^[^\[]*\[({DATE})
    {^LN-BEG}
 

css-umsetzung

Offizieller Servicepartner
SPBanner
6. Juli 2011
7.540
2.081
Berlin
Zitat von Stephs182:
Ich habe mir das nochmal angeschaut. Hier mein BadBot Filter (Jail) (ohne das ich vorher gesehen hatte was Andreas gemacht hatte):
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.
Ich habe mir den Filter auch nicht selbst ausgedacht, den habe ich auch bekommen gehabt und war erstaunt wie viel der im Gegensatz zum originalen Filter findet. Man könnte hier wie schon geschrieben auch meine Bots aus der php Liste eintragen.

Fail2Ban ist ganz klar der Favorit, wer das zur Verfügung hat sollte immer vorrangig darauf zurückgreifen.
 

Stephs182

Sehr aktives Mitglied
21. Januar 2015
250
25
Luckau NL
Zitat von css-umsetzung:
Man könnte hier wie schon geschrieben auch meine Bots aus der php Liste eintragen.
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.

Wenn ich das richtig rausgesucht habe dann so:?
Code: 
[Definition]
badbotscustom = AhrefsBot|FRD-AL00|SemrushBot|OPPO|zh-CN|Mb2345Browser|LieBaoFast|MicroMessenger|zh_CN|Kinza|MJ12bot|SeznamBot|EmailCollector|WebEMailExtrac|TrackBack/1\.02|sogou music spider|(?:Mozilla/\d+\.\d+ )?Jorgee
badbots = Atomic_Email_Hunter/4\.0|atSpider/1\.0|autoemailspider|bwh3_user_agent|China Local Browse 2\.6|ContactBot/0\.2|ContentSmartz|DataCha0s/2\.0|DBrowse 1\.4b|DBrowse 1\.4d|Demo Bot DOT 16b|Demo Bot Z 16b|DSurf15a 01|DSurf15a 71|DSurf15a 81|DSurf15a VA|EBrowse 1\.4b|Educate Search VxB|EmailSiphon|EmailSpider|EmailWolf 1\.00|ESurf15a 15|ExtractorPro|Franklin Locator 1\.8|FSurf15a 01|Full Web Bot 0416B|Full Web Bot 0516B|Full Web Bot 2816B|Guestbook Auto Submitter|Industry Program 1\.0\.x|ISC Systems iRc Search 2\.1|IUPUI Research Bot v 1\.9a|LARBIN-EXPERIMENTAL \(efp@gmx\.net\)|LetsCrawl\.com/1\.0 \+http\://letscrawl\.com/|Lincoln State Web Browser|LMQueueBot/0\.2|LWP\:\:Simple/5\.803|Mac Finder 1\.0\.xx|MFC Foundation Class Library 4\.0|Microsoft URL Control - 6\.00\.8xxx|Missauga Locate 1\.0\.0|Missigua Locator 1\.9|Missouri College Browse|Mizzu Labs 2\.2|Mo College 1\.9|MVAClient|Mozilla/2\.0 \(compatible; NEWT ActiveX; Win32\)|Mozilla/3\.0 \(compatible; Indy Library\)|Mozilla/3\.0 \(compatible; scan4mail \(advanced version\) http\://www\.peterspages\.net/?scan4mail\)|Mozilla/4\.0 \(compatible; Advanced Email Extractor v2\.xx\)|Mozilla/4\.0 \(compatible; Iplexx Spider/1\.0 http\://www\.iplexx\.at\)|Mozilla/4\.0 \(compatible; MSIE 5\.0; Windows NT; DigExt; DTS Agent|Mozilla/4\.0 efp@gmx\.net|Mozilla/5\.0 \(Version\: xxxx Type\:xx\)|NameOfAgent \(CMS Spider\)|NASA Search 1\.0|Nsauditor/1\.x|PBrowse 1\.4b|PEval 1\.4b|Poirot|Port Huron Labs|Production Bot 0116B|Production Bot 2016B|Production Bot DOT 3016B|Program Shareware 1\.0\.2|PSurf15a 11|PSurf15a 51|PSurf15a VA|psycheclone|RSurf15a 41|RSurf15a 51|RSurf15a 81|searchbot admin@google\.com|ShablastBot 1\.0|snap\.com beta crawler v0|Snapbot/1\.0|Snapbot/1\.0 \(Snap Shots&#44; \+http\://www\.snap\.com\)|sogou develop spider|Sogou Orion spider/3\.0\(\+http\://www\.sogou\.com/docs/help/webmasters\.htm#07\)|sogou spider|Sogou web spider/3\.0\(\+http\://www\.sogou\.com/docs/help/webmasters\.htm#07\)|sohu agent|SSurf15a 11 |TSurf15a 11|Under the Rainbow 2\.2|User-Agent\: Mozilla/4\.0 \(compatible; MSIE 6\.0; Windows NT 5\.1\)|VadixBot|WebVulnCrawl\.unknown/1\.0 libwww-perl/5\.803|Wells Search II|WEP Search 00
failregex = ^<HOST> -.*"(GET|POST|HEAD).*HTTP.*"(?:%(badbots)s|%(badbotscustom)s)"$
ignoreregex =
datepattern = ^[^\[]*\[({DATE})
    {^LN-BEG}
 
Zuletzt bearbeitet:

netgmbh

Aktives Mitglied
8. Januar 2018
37
7
Zitat von lj-shadow:
Sowas hat meiner Meinung nach auf jedem Server zu sein. Schon alleine wegen anderen Gefahren.
Böse Web-Crawler zu sperren ist da nur Beiwerk
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.

Wir sind auf einem managed Server und teilen uns diesen mit 4 weiteren Domains. Da Fail2ban globale Auswirkungen auf den ganzen Server hat, wollen die das Tool nicht aktivieren, so unser Hoster...
Naja wir haben es nun auch per htaccess gelöst und die aktive Besucherzahl ist in einer Stunde von 1500 auf 800 geschrumpft. Wir haben je Stunde über 3000 Zugriffsversuche. Mal gucken wie es sich entwickelt.
 

babytexx

Gut bekanntes Mitglied
9. Juli 2009
379
6
MD / PM
Zitat von Stephs182:
Wenn ich das richtig rausgesucht habe dann so:?
Code: 
[Definition]
badbotscustom = AhrefsBot|FRD-AL00|SemrushBot|OPPO|zh-CN|Mb2345Browser|LieBaoFast|MicroMessenger|zh_CN|Kinza|MJ12bot|SeznamBot|EmailCollector|WebEMailExtrac|TrackBack/1\.02|sogou music spider|(?:Mozilla/\d+\.\d+ )?Jorgee
badbots = Atomic_Email_Hunter/4\.0|atSpider/1\.0|autoemailspider|bwh3_user_agent|China Local Browse 2\.6|ContactBot/0\.2|ContentSmartz|DataCha0s/2\.0|DBrowse 1\.4b|DBrowse 1\.4d|Demo Bot DOT 16b|Demo Bot Z 16b|DSurf15a 01|DSurf15a 71|DSurf15a 81|DSurf15a VA|EBrowse 1\.4b|Educate Search VxB|EmailSiphon|EmailSpider|EmailWolf 1\.00|ESurf15a 15|ExtractorPro|Franklin Locator 1\.8|FSurf15a 01|Full Web Bot 0416B|Full Web Bot 0516B|Full Web Bot 2816B|Guestbook Auto Submitter|Industry Program 1\.0\.x|ISC Systems iRc Search 2\.1|IUPUI Research Bot v 1\.9a|LARBIN-EXPERIMENTAL \(efp@gmx\.net\)|LetsCrawl\.com/1\.0 \+http\://letscrawl\.com/|Lincoln State Web Browser|LMQueueBot/0\.2|LWP\:\:Simple/5\.803|Mac Finder 1\.0\.xx|MFC Foundation Class Library 4\.0|Microsoft URL Control - 6\.00\.8xxx|Missauga Locate 1\.0\.0|Missigua Locator 1\.9|Missouri College Browse|Mizzu Labs 2\.2|Mo College 1\.9|MVAClient|Mozilla/2\.0 \(compatible; NEWT ActiveX; Win32\)|Mozilla/3\.0 \(compatible; Indy Library\)|Mozilla/3\.0 \(compatible; scan4mail \(advanced version\) http\://www\.peterspages\.net/?scan4mail\)|Mozilla/4\.0 \(compatible; Advanced Email Extractor v2\.xx\)|Mozilla/4\.0 \(compatible; Iplexx Spider/1\.0 http\://www\.iplexx\.at\)|Mozilla/4\.0 \(compatible; MSIE 5\.0; Windows NT; DigExt; DTS Agent|Mozilla/4\.0 efp@gmx\.net|Mozilla/5\.0 \(Version\: xxxx Type\:xx\)|NameOfAgent \(CMS Spider\)|NASA Search 1\.0|Nsauditor/1\.x|PBrowse 1\.4b|PEval 1\.4b|Poirot|Port Huron Labs|Production Bot 0116B|Production Bot 2016B|Production Bot DOT 3016B|Program Shareware 1\.0\.2|PSurf15a 11|PSurf15a 51|PSurf15a VA|psycheclone|RSurf15a 41|RSurf15a 51|RSurf15a 81|searchbot admin@google\.com|ShablastBot 1\.0|snap\.com beta crawler v0|Snapbot/1\.0|Snapbot/1\.0 \(Snap Shots&#44; \+http\://www\.snap\.com\)|sogou develop spider|Sogou Orion spider/3\.0\(\+http\://www\.sogou\.com/docs/help/webmasters\.htm#07\)|sogou spider|Sogou web spider/3\.0\(\+http\://www\.sogou\.com/docs/help/webmasters\.htm#07\)|sohu agent|SSurf15a 11 |TSurf15a 11|Under the Rainbow 2\.2|User-Agent\: Mozilla/4\.0 \(compatible; MSIE 6\.0; Windows NT 5\.1\)|VadixBot|WebVulnCrawl\.unknown/1\.0 libwww-perl/5\.803|Wells Search II|WEP Search 00
failregex = ^<HOST> -.*"(GET|POST|HEAD).*HTTP.*"(?:%(badbots)s|%(badbotscustom)s)"$
ignoreregex =
datepattern = ^[^\[]*\[({DATE})
    {^LN-BEG}
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.
Grüsse nach Luckau.
Wo baut man den Code genau ein?htaccess ist es nicht denke ich
 

lj-shadow

Sehr aktives Mitglied
15. März 2013
466
47
Zitat von babytexx:
Grüsse nach Luckau.
Wo baut man den Code genau ein?htaccess ist es nicht denke ich
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.
Der zitierte Code ist für Fail2Ban. Da brauchst du aber Zugriff drauf. Das ist 'ne Einstellung am Server.
Fail2Ban sucht in den Webserverlogs nach - in diesem Fall - den User-Agents der Zugriffe und - sofern passender gefunden wird - sperrt diese in der Firewall des Systems.
Dann kommen diese für gewisse Zeit nicht mehr durch...
 

nonorush

Gut bekanntes Mitglied
11. November 2010
498
25
Berlin
Fail2Ban sperrt bei uns einige IPs aber wirlliche Verbesserungen bei den Visits gibt es nicht. Jeden Tag werden es bei uns mehr trotz Fail2Ban. In dem Filter ist z.B. der Bot "zh_CN" gelistet trotzdem macht der Bot munter weiter weil die IP nicht gesperrt wurde. Wie kann das sein? Ist eventuell die Schreibweise im Filter falsch?
 

Anhänge

  • bot.png
    bot.png
    9,6 KB · Aufrufe: 17
Du musst Dich einloggen oder registrieren um hier antworten zu können.
Ähnliche Themen
Titel Forum Antworten Datum
Wichtig - nach Update von 1.9.x auf 1.10.x - Lizenzen aktualisieren JTL-Wawi 1.10 0
Neu JTL Ameise Kein Import von Kundendatenmehr JTL-Ameise - Fehler und Bugs 3
Neu Das Stable Release von JTL-Wawi 1.10 ist da! Releaseforum 0
Neu Artikelliste / Artikelverwaltung -> bedingte Formatierung in Abhängigkeit von eigenen Feldern JTL-Wawi - Ideen, Lob und Kritik 0
Neu Wie kann man in den Vorlagen die Mengenanzeige von "STK" in "Menge" oder "x" ändern ! User helfen Usern - Fragen zu JTL-Wawi 2
Neu Simples CRM als Ergänzung von JTL Arbeitsabläufe in JTL-Wawi 0
Neu Ameise Export von Eigene Felder (Kunde) User helfen Usern - Fragen zu JTL-Wawi 3
Neu Kunden Ust.ID in Rechnungen von EU Kunden wird nicht angezeigt User helfen Usern - Fragen zu JTL-Wawi 1
Neu Brauche Hilfe Workflow Multichannel Rechnungserstellung nach Versand von Amazon JTL-Workflows - Ideen, Lob und Kritik 0
Kein Abgleich von Lizenzen JTL-Wawi 1.9 1
Neu Kostenfreies Tool zum Entfernen von Hintergründen User helfen Usern 0
Neu Probleme beim Abgleich von JTL WAWI und JTL Shop JTL-Wawi - Fehler und Bugs 6
Neu Fehler beim Zuweisen von Kunden-Zahlungen bei Auftragssplittung JTL-Wawi - Fehler und Bugs 1
Problem bei der Anzeige von Kindartikel-Titeln bei Vaterartikeln (JTL-Shop & eBay) JTL-Wawi 1.9 0
Neu Umstellung von Stapelversand auf Einzelversand – was wird benötigt? User helfen Usern - Fragen zu JTL-Wawi 12
Neu Löschen von Merkmalen Betrieb / Pflege von JTL-Shop 3
Neu Übermittlung von Transparency-Seriennummern an Amazon mit JTL-Wawi Amazon-Anbindung - Ideen, Lob und Kritik 0
Neu Ameise: Import von Artikelmerkmalen JTL-Ameise - Ideen, Lob und Kritik 4
Neu Wechsel von JTL Shop 5 zu Shopware 6 – Wer hat Erfahrung mit kompletter Datenmigration (Kundenlogins, Bestellungen, Gutscheine etc.)? Shopware-Connector 3
Neu Uncaught TypeError nach Update von 5.1.5 auf 5.41 Installation / Updates von JTL-Shop 2
Neu Export von Artikelnummern, in denen ein Artikel als Komponente enthalten ist mittels JTL-Ameise Arbeitsabläufe in JTL-Wawi 2
Bearbeitungsdauer von Aufträgen JTL-Wawi 1.9 0
Letzte Lieferung von Lieferadressen für Außendienstmitarbeiter JTL-Wawi 1.9 1
Ameise Texte übernehmen von JTL-Wawi 1.9 1
Neu Erstellung von Druckdokumenten DE / EN Starten mit JTL: Projektabwicklung & Migration 2
Neu JTL-Ameise-Auftragsimport; Auswertungen von importierten Daten JTL-Ameise - Fehler und Bugs 5
Neu SHOP 5.4.1: Absturz beim Ändern von Mengen im Warenkorb, wenn Menge > Bestand JTL-Shop - Fehler und Bugs 1
Keine Preise bei Import von Aufträgen JTL-Wawi 1.9 5
Neu Bedienbarkeit von JTL-Wawi per Screenreader NVDA/JAWS JTL-Wawi - Ideen, Lob und Kritik 1
Neu Benutzer Rechte - Versand Mitarbeiter soll Menge von Freipositionen mit der Lieferscheinerstellung ändern dürfen Arbeitsabläufe in JTL-Wawi 4
In Diskussion assign klappt nicht - update von MwSt auf Versandkosten JTL-Workflows - Ideen, Lob und Kritik 6
Neu Fehlende Nachkommastellen verhindern Auslieferung von Aufträgen User helfen Usern - Fragen zu JTL-Wawi 4
Verkaufte Artikel von eBay werden in wawi nicht angezeigt . JTL-Wawi 1.9 0
Neu Anzeige von Chargen-Nummern und MHDs der Komponenten von Stücklistenartikeln auf dem Lieferschein User helfen Usern - Fragen zu JTL-Wawi 1
Neu Automatische Zuweisung von Zahlungen via Sofortüberweisung Classic anhand sofort_transaction_id JTL-Wawi - Ideen, Lob und Kritik 1
Neu Footer von PDF-Block überdeckt Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 5
Neu Einrichtung von Versandarten in JTL-Shop und Verknüpfung mit JTL-Wawi Installation / Updates von JTL-Shop 12
Neu Wie Auftragsstatus ändern von "ohne Versand abgeschlossen" auf "Abgeschlossen"? Arbeitsabläufe in JTL-Wawi 4
Neu Dynamische Höhe von Textelementen beim Erstellen eines Produktdatenblatts über Artikeletiketten Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 6
Neu RETURN_ID Daten von eBay auf Rechnungskorrekturen hinterlegen Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 0
Aufträge von ebay.co.uk haben falsche Steuern JTL-Wawi 1.8 5
Neu Kupons in Abhängigkeit von anderer Warengruppe oder Kategorie Allgemeine Fragen zu JTL-Shop 0
Neu Shop 5.4.0, Seiten werden nicht indexiert von Google, keine Ahnung warum :-( Betrieb / Pflege von JTL-Shop 24
Update von 1.9.7.1 auf 1.10.9.0 nicht möglich JTL-Wawi 1.9 1
Neu Update von 1.9.7.1 auf 1.10.9. nicht möglich Installation von JTL-Wawi 4
Neu Amazon: Automatische Umstellung von FBA auf FBM möglich? Amazon-Anbindung - Fehler und Bugs 3
Neu Keine Anzeige von Bildern in der POS 1.0.11.3 Allgemeine Fragen zu JTL-POS 2
Neu Ameisen Export von JTL POS Umsätzen? Dringend Hilfe benötigt JTL Ameise - Eigene Exporte 4
Neu Bewertungen von Kindartikel auf Vaterartikel übertragen nach Umwandlung von Einzelartikel in Variations-Kombination Allgemeine Fragen zu JTL-Shop 6
Weiterleitung von existierenden Seiten nicht möglich Einrichtung JTL-Shop5 2

Ähnliche Themen

Top Bottom