Neu Sprunghafte Zunahme von Visits bei JTL Shops

Dustin · 9. Januar 2020

Wir arbeiten mit Cloudflare dort wird schon viel weggeblockt, trotzdem auch bei uns steigend!

Sascha Reuters · 9. Januar 2020

Zitat von css-umsetzung:
Das ist der feine Unterschied, denn JTL scheint hier gut greifende Fail2Ban regeln zu haben (ich gehe davon aus das sie das auch nutzen)
Es wäre natürlich toll wenn JTL hier auch ein wenig unterstützend mitwirken würde was die Regeln angeht.

In unserer Hostingumgebung nutzen wir wie beschrieben die Fail2Ban Funktion, die Filterlisten werden allerdings von uns manuell auf aktuelle Ereignisse angepasst, da wir nicht prinzipiell alle Bots oder alle Hosts eines Landes oder IP-Adresskreises ausschließen können.

Zurzeit wird evaluiert wie wir diese reaktive Handhabe durch einen proaktiven Mechanismus in unserer Hostingumgebung ersetzen können.

css-umsetzung · 9. Januar 2020

Das liegt vermutlich daran weil die von meiner php Lösung dort zum Teil nicht drin stehen.
Wenn du mein Script für das Log bei dir einbaust, dann siehst du ja wer dich nervt.

cg01 · 9. Januar 2020

Zitat von holzpuppe:

So, nu meld ich mich auch mal. Sprunghafte Zunahmen verzeichnen wir seit Anfang 2019, immer gerne das dreifache der "normalen" Besucherzahl. Und jetzt im Januar sogar das fünffache. *irre*

Danke an CSS-Umsetzung für den Schnippsel. Und auch an lj-shadow.

Die ersten Bots kullern nun in die Logs, die ich vorher selbst in awstats noch nicht so gesehen habe. (Oder ich habs übersehen.)

Meine htaccess sieht aktuell so aus
(Bestimmt verbesserungswürdig, aber die verschiedenen Varianten haben sich mit der Zeit so ergeben und zugegeben, ich hab an sich keine Ahnung davon. Aber es funktioniert. xD) :

Code:

#block bad bots with a 403
SetEnvIfNoCase User-Agent "AhrefsBot" bad_bot
SetEnvIfNoCase User-Agent "Baiduspider" bad_bot
SetEnvIfNoCase User-Agent "BBot" bad_bot" bad_bot
SetEnvIfNoCase User-Agent "BLEXBot" bad_bot
SetEnvIfNoCase User-Agent "Custo" bad_bot
SetEnvIfNoCase User-Agent "CFNetwork" bad_bot
SetEnvIfNoCase User-Agent "CMS Crawler" bad_bot
SetEnvIfNoCase User-Agent "CsCrawler" bad_bot
SetEnvIfNoCase User-Agent "DomainAppender" bad_bot
SetEnvIfNoCase User-Agent "Grapeshot Crawler" bad_bot
SetEnvIfNoCase User-Agent "Jakarta commons-httpclient" bad_bot
SetEnvIfNoCase User-Agent "Lipperhey SEO Service" bad_bot
SetEnvIfNoCase User-Agent "Linkdex" bad_bot
SetEnvIfNoCase User-Agent "MegaIndex.ru" bad_bot
SetEnvIfNoCase User-Agent "MJ12bot" bad_bot
SetEnvIfNoCase User-Agent "ning" bad_bot
SetEnvIfNoCase User-Agent "Python-urllib" bad_bot
SetEnvIfNoCase User-Agent "Phantom" bad_bot
SetEnvIfNoCase User-Agent "Perl tool" bad_bot
SetEnvIfNoCase User-Agent "pegasus" bad_bot
SetEnvIfNoCase User-Agent "spbot" bad_bot
SetEnvIfNoCase User-Agent "SEOprofiler Bot" bad_bot
SetEnvIfNoCase User-Agent "SMTBot" bad_bot
SetEnvIfNoCase User-Agent "SurveyBot" bad_bot
SetEnvIfNoCase User-Agent "SISTRIX Crawler" bad_bot
SetEnvIfNoCase User-Agent "Sogou Spider" bad_bot
SetEnvIfNoCase User-Agent "Verisign" bad_bot
SetEnvIfNoCase User-Agent "WebFilter" bad_bot
SetEnvIfNoCase User-Agent "Web Core / Roots" bad_bot
SetEnvIfNoCase User-Agent "WebMeUp backlink tool" bad_bot
SetEnvIfNoCase User-Agent "WGet tools" bad_bot
SetEnvIfNoCase User-Agent "Mb2345Browser" bad_bot
SetEnvIfNoCase User-Agent "LieBaoFast" bad_bot
SetEnvIfNoCase User-Agent "zh-CN" bad_bot
SetEnvIfNoCase User-Agent "MicroMessenger" bad_bot
SetEnvIfNoCase User-Agent "zh_CN" bad_bot
SetEnvIfNoCase User-Agent "Kinza" bad_bot

<Limit GET POST HEAD>
  Order Allow,Deny
  Allow from all
  Deny from env=bad_bot
</Limit>

RewriteCond %{HTTP_USER_AGENT} ^.*Baidu.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*MJ12bot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*SEOprofiler.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Ahrefs.*$[NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Sogou.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*BBot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Python-urllib.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*SurveyBot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Perl.?tool [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Jakarta.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Grapeshot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Custo.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Verisign.*$ [NC,OR]
RewriteRule ^(.*)$ http://127.0.0.1 [R,L]

RewriteCond %{HTTP_REFERER} ^http://.*majestic12\.co\.uk/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*ahrefs\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*openlinkprofiler\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*ahrefs\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*sogou\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*netwu\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*grapeshot\.co\.uk/ [NC]
RewriteRule ^(.*)$ http://127.0.0.1 [R,L]

Der "Block" steht bei mir zwischen:

Code:

<IfModule mod_rewrite.c>
  RewriteEngine on
    RewriteCond %{HTTPS} off [OR]
    RewriteCond %{HTTP_HOST} ^www\. [NC]
    RewriteRule ^ https://meineURL.com%{REQUEST_URI} [R=301,L,NE]

Und

Code:

 #REWRITE ANPASSUNG 1 (REWRITEBASE)
  #Wenn Ihr Shop in einem Unterverzeichnis (also z.B. meinedomain.de/meinverzeichnis) installiert ist, so kommentieren Sie die kommende Zeile aus und passen Sie den Verzeichnisnamen an
  RewriteBase /

Wir hatten auch das Problem ab ca. 26.12.2019. Habe jetzt den Code in die htaccess eingefügt und schwups war erst mal Ruhe. Danke für den Beitrag.
Mal sehen wie es weiter geht.

sergiostiletto · 9. Januar 2020

also, wir konnten diese sprunghaften zugriffe auf unserem shop ebenfalls über das backend so bestätigen. in google analytics dagegen so ersteinmal nicht!
für dieses problem haben sich dann aber der thomas partsch von zitro hosting und björn binder von bbf design etwas einfallen lassen, was diese zugriffe ausschließt - es wurden bots vermutet. mit einer weiteren analytics vergleichseinstellung konnte man somit den tatsächlichen zugriff messen. auch sind nach der maßnahme die zugriffe sofort gesunken, auf das normale / reale maß.
mich lässt das auf jeden fall deutlich ruhiger schlafen und dieses maß an mitdenken, handeln - auch vorsorglich, habe ich bislang so noch nicht besser erfahren, in über 10 jahren ecommerce kampf!
das sind meine 2 cents dazu.

chris42 · 9. Januar 2020

Zitat von lj-shadow:
https://forum.jtl-software.de/threa...e-von-visits-bei-jtl-shops.125549/post-685643

Danke. Ich hatte nur Plesk gelesen und dann weitergeschaut. fail2ban funktioniert gut.

knackig · 9. Januar 2020

Mich hat es auch vor wenigen Tagen getroffen... Die Zugriffsanzahl stieg von etwa 200 am Tag auf 5000 gestern (bis nur bis Mittag). Das zwang dann den Server in die Knie und die Seite war zum Teil nicht erreichbar (503er Fehler oder nicht komplett geladen). Alle unbekannten IP's kamen dabei aus China.

Meine Lösung bestand darin, nach unterschiedlichen Forenfunden, eine Liste der chinesischen IP's zu generieren (auf https://www.countryipblocks.net/acl.php) und diese in der .htaccess zu blockieren. Seitdem läuft der Shop wieder reibungslos. Bestellungen sind in der Zwischenzeit auch wieder gekommen. Meine Kunden sehen den Shop also korrekt.

nonorush · 9. Januar 2020

@knackig wenn bei 5000 Zugriffe die Seite nicht mehr erreichbar ist, ist der Server aber echt sehr sehr klein ausgelegt. Eigentlich dürfte da nichts passieren.

knackig · 9. Januar 2020

Zitat von nonorush:
@knackig wenn bei 5000 Zugriffe die Seite nicht mehr erreichbar ist, ist der Server aber echt sehr sehr klein ausgelegt. Eigentlich dürfte da nichts passieren.

Der Hoster (Hosteurope) hat die Limits aufgrund der ungewöhnlichen Bewegungen herabgesetzt (so hat man es mir erklärt). Diese wurden dann wieder hochgesetzt, so dass nun alles wieder läuft.

Stephs182 · 9. Januar 2020

Ein Kunde hat mich heute auch hier auf diesen Thread aufmerksam gemacht. OPPO und co. haben bei uns auch zu tun gehabt, aber seit Nov. schon.

Ich habe zunächst mit der .htaccess bzw. (da ich zu der Zeit Nginx gefahren bin mit der Config dort) gegen gehalten und bin dann auch auf Fail2Ban umgestiegen und lasse diese schon da abblitzen. Auf dem ersten Server (wo nur ein größerer JTL Shop liegt, und wo es auch anfing, ist es mittlerweile wieder sehr ruhig geworden (noch 40 geblockte IP's). Auf dem anderen Server, wo die ganzen "kleineren" JTL Shops liegen sind wir aktuell bei 2500 IPs die gesperrt sind.
Aber ich schaue mir die Regel vom Andreas nochmal an und justiere gern nochmal nach.

Danke dir Andreas (css-umsetzung) für die Hilfe in der Community.

Stephs182 · 9. Januar 2020

Zitat von css-umsetzung:

Da ich bereits einige Anfragen hatte hier mal die Filter die ich verwende:
Wenn ich diesen Filter bei mir aktiviere dann sehe ich sofort das sich etwas tut, da man ja eigentlich ständig von nicht gewollten Bots besucht wird.

Plesk Bad Bot Filter:

Code:

[Definition]
badbotscustom = EmailCollector|WebEMailExtrac|TrackBack/1\.02|sogou music spider|(?:Mozilla/\d+\.\d+ )?Jorgee|MJ12bot
badbots = Atomic_Email_Hunter/4\.0|atSpider/1\.0|autoemailspider|bwh3_user_agent|China Local Browse 2\.6|ContactBot/0\.2|ContentSmartz|DataCha0s/2\.0|DBrowse 1\.4b|DBrowse 1\.4d|Demo Bot DOT 16b|Demo Bot Z 16b|DSurf15a 01|DSurf15a 71|DSurf15a 81|DSurf15a VA|EBrowse 1\.4b|Educate Search VxB|EmailSiphon|EmailSpider|EmailWolf 1\.00|ESurf15a 15|ExtractorPro|Franklin Locator 1\.8|FSurf15a 01|Full Web Bot 0416B|Full Web Bot 0516B|Full Web Bot 2816B|Guestbook Auto Submitter|Industry Program 1\.0\.x|ISC Systems iRc Search 2\.1|IUPUI Research Bot v 1\.9a|LARBIN-EXPERIMENTAL \(efp@gmx\.net\)|LetsCrawl\.com/1\.0 \+http\://letscrawl\.com/|Lincoln State Web Browser|LMQueueBot/0\.2|LWP\:\:Simple/5\.803|Mac Finder 1\.0\.xx|MFC Foundation Class Library 4\.0|Microsoft URL Control - 6\.00\.8xxx|Missauga Locate 1\.0\.0|Missigua Locator 1\.9|Missouri College Browse|Mizzu Labs 2\.2|Mo College 1\.9|MVAClient|Mozilla/2\.0 \(compatible; NEWT ActiveX; Win32\)|Mozilla/3\.0 \(compatible; Indy Library\)|Mozilla/3\.0 \(compatible; scan4mail \(advanced version\) http\://www\.peterspages\.net/?scan4mail\)|Mozilla/4\.0 \(compatible; Advanced Email Extractor v2\.xx\)|Mozilla/4\.0 \(compatible; Iplexx Spider/1\.0 http\://www\.iplexx\.at\)|Mozilla/4\.0 \(compatible; MSIE 5\.0; Windows NT; DigExt; DTS Agent|Mozilla/4\.0 efp@gmx\.net|Mozilla/5\.0 \(Version\: xxxx Type\:xx\)|NameOfAgent \(CMS Spider\)|NASA Search 1\.0|Nsauditor/1\.x|PBrowse 1\.4b|PEval 1\.4b|Poirot|Port Huron Labs|Production Bot 0116B|Production Bot 2016B|Production Bot DOT 3016B|Program Shareware 1\.0\.2|PSurf15a 11|PSurf15a 51|PSurf15a VA|psycheclone|RSurf15a 41|RSurf15a 51|RSurf15a 81|searchbot admin@google\.com|ShablastBot 1\.0|snap\.com beta crawler v0|Snapbot/1\.0|Snapbot/1\.0 \(Snap Shots&#44; \+http\://www\.snap\.com\)|sogou develop spider|Sogou Orion spider/3\.0\(\+http\://www\.sogou\.com/docs/help/webmasters\.htm#07\)|sogou spider|Sogou web spider/3\.0\(\+http\://www\.sogou\.com/docs/help/webmasters\.htm#07\)|sohu agent|SSurf15a 11 |TSurf15a 11|Under the Rainbow 2\.2|User-Agent\: Mozilla/4\.0 \(compatible; MSIE 6\.0; Windows NT 5\.1\)|VadixBot|WebVulnCrawl\.unknown/1\.0 libwww-perl/5\.803|Wells Search II|WEP Search 00|.*AhrefsBot.*|.*seoscanners.*|.*MJ12bot.*
failregex = ^<HOST> -.*"(GET|POST|HEAD).*HTTP.*"(?:%(badbots)s|%(badbotscustom)s)"$
ignoreregex =
datepattern = ^[^\[]*\[({DATE})
    {^LN-BEG}

Ich habe mir das nochmal angeschaut. Hier mein BadBot Filter (Jail) (ohne das ich vorher gesehen hatte was Andreas gemacht hatte):

Code:

[Definition]
badbotscustom = AhrefsBot|FRD-AL00|SemrushBot|OPPO|zh-CN|EmailCollector|WebEMailExtrac|TrackBack/1\.02|sogou music spider|(?:Mozilla/\d+\.\d+ )?Jorgee
badbots = Atomic_Email_Hunter/4\.0|atSpider/1\.0|autoemailspider|bwh3_user_agent|China Local Browse 2\.6|ContactBot/0\.2|ContentSmartz|DataCha0s/2\.0|DBrowse 1\.4b|DBrowse 1\.4d|Demo Bot DOT 16b|Demo Bot Z 16b|DSurf15a 01|DSurf15a 71|DSurf15a 81|DSurf15a VA|EBrowse 1\.4b|Educate Search VxB|EmailSiphon|EmailSpider|EmailWolf 1\.00|ESurf15a 15|ExtractorPro|Franklin Locator 1\.8|FSurf15a 01|Full Web Bot 0416B|Full Web Bot 0516B|Full Web Bot 2816B|Guestbook Auto Submitter|Industry Program 1\.0\.x|ISC Systems iRc Search 2\.1|IUPUI Research Bot v 1\.9a|LARBIN-EXPERIMENTAL \(efp@gmx\.net\)|LetsCrawl\.com/1\.0 \+http\://letscrawl\.com/|Lincoln State Web Browser|LMQueueBot/0\.2|LWP\:\:Simple/5\.803|Mac Finder 1\.0\.xx|MFC Foundation Class Library 4\.0|Microsoft URL Control - 6\.00\.8xxx|Missauga Locate 1\.0\.0|Missigua Locator 1\.9|Missouri College Browse|Mizzu Labs 2\.2|Mo College 1\.9|MVAClient|Mozilla/2\.0 \(compatible; NEWT ActiveX; Win32\)|Mozilla/3\.0 \(compatible; Indy Library\)|Mozilla/3\.0 \(compatible; scan4mail \(advanced version\) http\://www\.peterspages\.net/?scan4mail\)|Mozilla/4\.0 \(compatible; Advanced Email Extractor v2\.xx\)|Mozilla/4\.0 \(compatible; Iplexx Spider/1\.0 http\://www\.iplexx\.at\)|Mozilla/4\.0 \(compatible; MSIE 5\.0; Windows NT; DigExt; DTS Agent|Mozilla/4\.0 efp@gmx\.net|Mozilla/5\.0 \(Version\: xxxx Type\:xx\)|NameOfAgent \(CMS Spider\)|NASA Search 1\.0|Nsauditor/1\.x|PBrowse 1\.4b|PEval 1\.4b|Poirot|Port Huron Labs|Production Bot 0116B|Production Bot 2016B|Production Bot DOT 3016B|Program Shareware 1\.0\.2|PSurf15a 11|PSurf15a 51|PSurf15a VA|psycheclone|RSurf15a 41|RSurf15a 51|RSurf15a 81|searchbot admin@google\.com|ShablastBot 1\.0|snap\.com beta crawler v0|Snapbot/1\.0|Snapbot/1\.0 \(Snap Shots&#44; \+http\://www\.snap\.com\)|sogou develop spider|Sogou Orion spider/3\.0\(\+http\://www\.sogou\.com/docs/help/webmasters\.htm#07\)|sogou spider|Sogou web spider/3\.0\(\+http\://www\.sogou\.com/docs/help/webmasters\.htm#07\)|sohu agent|SSurf15a 11 |TSurf15a 11|Under the Rainbow 2\.2|User-Agent\: Mozilla/4\.0 \(compatible; MSIE 6\.0; Windows NT 5\.1\)|VadixBot|WebVulnCrawl\.unknown/1\.0 libwww-perl/5\.803|Wells Search II|WEP Search 00
failregex = ^<HOST> -.*"(GET|POST|HEAD).*HTTP.*"(?:%(badbots)s|%(badbotscustom)s)"$
ignoreregex = 
datepattern = ^[^\[]*\[({DATE})
    {^LN-BEG}

css-umsetzung · 10. Januar 2020

Zitat von Stephs182:
Ich habe mir das nochmal angeschaut. Hier mein BadBot Filter (Jail) (ohne das ich vorher gesehen hatte was Andreas gemacht hatte):

Ich habe mir den Filter auch nicht selbst ausgedacht, den habe ich auch bekommen gehabt und war erstaunt wie viel der im Gegensatz zum originalen Filter findet. Man könnte hier wie schon geschrieben auch meine Bots aus der php Liste eintragen.

Fail2Ban ist ganz klar der Favorit, wer das zur Verfügung hat sollte immer vorrangig darauf zurückgreifen.

Stephs182 · 10. Januar 2020

Zitat von css-umsetzung:
Man könnte hier wie schon geschrieben auch meine Bots aus der php Liste eintragen.

Wenn ich das richtig rausgesucht habe dann so:?

Code:

[Definition]
badbotscustom = AhrefsBot|FRD-AL00|SemrushBot|OPPO|zh-CN|Mb2345Browser|LieBaoFast|MicroMessenger|zh_CN|Kinza|MJ12bot|SeznamBot|EmailCollector|WebEMailExtrac|TrackBack/1\.02|sogou music spider|(?:Mozilla/\d+\.\d+ )?Jorgee
badbots = Atomic_Email_Hunter/4\.0|atSpider/1\.0|autoemailspider|bwh3_user_agent|China Local Browse 2\.6|ContactBot/0\.2|ContentSmartz|DataCha0s/2\.0|DBrowse 1\.4b|DBrowse 1\.4d|Demo Bot DOT 16b|Demo Bot Z 16b|DSurf15a 01|DSurf15a 71|DSurf15a 81|DSurf15a VA|EBrowse 1\.4b|Educate Search VxB|EmailSiphon|EmailSpider|EmailWolf 1\.00|ESurf15a 15|ExtractorPro|Franklin Locator 1\.8|FSurf15a 01|Full Web Bot 0416B|Full Web Bot 0516B|Full Web Bot 2816B|Guestbook Auto Submitter|Industry Program 1\.0\.x|ISC Systems iRc Search 2\.1|IUPUI Research Bot v 1\.9a|LARBIN-EXPERIMENTAL \(efp@gmx\.net\)|LetsCrawl\.com/1\.0 \+http\://letscrawl\.com/|Lincoln State Web Browser|LMQueueBot/0\.2|LWP\:\:Simple/5\.803|Mac Finder 1\.0\.xx|MFC Foundation Class Library 4\.0|Microsoft URL Control - 6\.00\.8xxx|Missauga Locate 1\.0\.0|Missigua Locator 1\.9|Missouri College Browse|Mizzu Labs 2\.2|Mo College 1\.9|MVAClient|Mozilla/2\.0 \(compatible; NEWT ActiveX; Win32\)|Mozilla/3\.0 \(compatible; Indy Library\)|Mozilla/3\.0 \(compatible; scan4mail \(advanced version\) http\://www\.peterspages\.net/?scan4mail\)|Mozilla/4\.0 \(compatible; Advanced Email Extractor v2\.xx\)|Mozilla/4\.0 \(compatible; Iplexx Spider/1\.0 http\://www\.iplexx\.at\)|Mozilla/4\.0 \(compatible; MSIE 5\.0; Windows NT; DigExt; DTS Agent|Mozilla/4\.0 efp@gmx\.net|Mozilla/5\.0 \(Version\: xxxx Type\:xx\)|NameOfAgent \(CMS Spider\)|NASA Search 1\.0|Nsauditor/1\.x|PBrowse 1\.4b|PEval 1\.4b|Poirot|Port Huron Labs|Production Bot 0116B|Production Bot 2016B|Production Bot DOT 3016B|Program Shareware 1\.0\.2|PSurf15a 11|PSurf15a 51|PSurf15a VA|psycheclone|RSurf15a 41|RSurf15a 51|RSurf15a 81|searchbot admin@google\.com|ShablastBot 1\.0|snap\.com beta crawler v0|Snapbot/1\.0|Snapbot/1\.0 \(Snap Shots&#44; \+http\://www\.snap\.com\)|sogou develop spider|Sogou Orion spider/3\.0\(\+http\://www\.sogou\.com/docs/help/webmasters\.htm#07\)|sogou spider|Sogou web spider/3\.0\(\+http\://www\.sogou\.com/docs/help/webmasters\.htm#07\)|sohu agent|SSurf15a 11 |TSurf15a 11|Under the Rainbow 2\.2|User-Agent\: Mozilla/4\.0 \(compatible; MSIE 6\.0; Windows NT 5\.1\)|VadixBot|WebVulnCrawl\.unknown/1\.0 libwww-perl/5\.803|Wells Search II|WEP Search 00
failregex = ^<HOST> -.*"(GET|POST|HEAD).*HTTP.*"(?:%(badbots)s|%(badbotscustom)s)"$
ignoreregex =
datepattern = ^[^\[]*\[({DATE})
    {^LN-BEG}

css-umsetzung · 10. Januar 2020

Kinza hast du doppelt aber sonst denke ich schon das es passen sollte müsste es aber selbst testen um es genau zu wissen..

Stephs182 · 10. Januar 2020

Ich habe es nochmal angepasst.

netgmbh · 10. Januar 2020

Zitat von lj-shadow:
Sowas hat meiner Meinung nach auf jedem Server zu sein. Schon alleine wegen anderen Gefahren.
Böse Web-Crawler zu sperren ist da nur Beiwerk

Wir sind auf einem managed Server und teilen uns diesen mit 4 weiteren Domains. Da Fail2ban globale Auswirkungen auf den ganzen Server hat, wollen die das Tool nicht aktivieren, so unser Hoster...
Naja wir haben es nun auch per htaccess gelöst und die aktive Besucherzahl ist in einer Stunde von 1500 auf 800 geschrumpft. Wir haben je Stunde über 3000 Zugriffsversuche. Mal gucken wie es sich entwickelt.

babytexx · 10. Januar 2020

Zitat von Stephs182:

Wenn ich das richtig rausgesucht habe dann so:?

Code:

[Definition]
badbotscustom = AhrefsBot|FRD-AL00|SemrushBot|OPPO|zh-CN|Mb2345Browser|LieBaoFast|MicroMessenger|zh_CN|Kinza|MJ12bot|SeznamBot|EmailCollector|WebEMailExtrac|TrackBack/1\.02|sogou music spider|(?:Mozilla/\d+\.\d+ )?Jorgee
badbots = Atomic_Email_Hunter/4\.0|atSpider/1\.0|autoemailspider|bwh3_user_agent|China Local Browse 2\.6|ContactBot/0\.2|ContentSmartz|DataCha0s/2\.0|DBrowse 1\.4b|DBrowse 1\.4d|Demo Bot DOT 16b|Demo Bot Z 16b|DSurf15a 01|DSurf15a 71|DSurf15a 81|DSurf15a VA|EBrowse 1\.4b|Educate Search VxB|EmailSiphon|EmailSpider|EmailWolf 1\.00|ESurf15a 15|ExtractorPro|Franklin Locator 1\.8|FSurf15a 01|Full Web Bot 0416B|Full Web Bot 0516B|Full Web Bot 2816B|Guestbook Auto Submitter|Industry Program 1\.0\.x|ISC Systems iRc Search 2\.1|IUPUI Research Bot v 1\.9a|LARBIN-EXPERIMENTAL \(efp@gmx\.net\)|LetsCrawl\.com/1\.0 \+http\://letscrawl\.com/|Lincoln State Web Browser|LMQueueBot/0\.2|LWP\:\:Simple/5\.803|Mac Finder 1\.0\.xx|MFC Foundation Class Library 4\.0|Microsoft URL Control - 6\.00\.8xxx|Missauga Locate 1\.0\.0|Missigua Locator 1\.9|Missouri College Browse|Mizzu Labs 2\.2|Mo College 1\.9|MVAClient|Mozilla/2\.0 \(compatible; NEWT ActiveX; Win32\)|Mozilla/3\.0 \(compatible; Indy Library\)|Mozilla/3\.0 \(compatible; scan4mail \(advanced version\) http\://www\.peterspages\.net/?scan4mail\)|Mozilla/4\.0 \(compatible; Advanced Email Extractor v2\.xx\)|Mozilla/4\.0 \(compatible; Iplexx Spider/1\.0 http\://www\.iplexx\.at\)|Mozilla/4\.0 \(compatible; MSIE 5\.0; Windows NT; DigExt; DTS Agent|Mozilla/4\.0 efp@gmx\.net|Mozilla/5\.0 \(Version\: xxxx Type\:xx\)|NameOfAgent \(CMS Spider\)|NASA Search 1\.0|Nsauditor/1\.x|PBrowse 1\.4b|PEval 1\.4b|Poirot|Port Huron Labs|Production Bot 0116B|Production Bot 2016B|Production Bot DOT 3016B|Program Shareware 1\.0\.2|PSurf15a 11|PSurf15a 51|PSurf15a VA|psycheclone|RSurf15a 41|RSurf15a 51|RSurf15a 81|searchbot admin@google\.com|ShablastBot 1\.0|snap\.com beta crawler v0|Snapbot/1\.0|Snapbot/1\.0 \(Snap Shots&#44; \+http\://www\.snap\.com\)|sogou develop spider|Sogou Orion spider/3\.0\(\+http\://www\.sogou\.com/docs/help/webmasters\.htm#07\)|sogou spider|Sogou web spider/3\.0\(\+http\://www\.sogou\.com/docs/help/webmasters\.htm#07\)|sohu agent|SSurf15a 11 |TSurf15a 11|Under the Rainbow 2\.2|User-Agent\: Mozilla/4\.0 \(compatible; MSIE 6\.0; Windows NT 5\.1\)|VadixBot|WebVulnCrawl\.unknown/1\.0 libwww-perl/5\.803|Wells Search II|WEP Search 00
failregex = ^<HOST> -.*"(GET|POST|HEAD).*HTTP.*"(?:%(badbots)s|%(badbotscustom)s)"$
ignoreregex =
datepattern = ^[^\[]*\[({DATE})
    {^LN-BEG}

Grüsse nach Luckau.
Wo baut man den Code genau ein?htaccess ist es nicht denke ich

lj-shadow · 10. Januar 2020

Zitat von babytexx:
Grüsse nach Luckau.
Wo baut man den Code genau ein?htaccess ist es nicht denke ich

Der zitierte Code ist für Fail2Ban. Da brauchst du aber Zugriff drauf. Das ist 'ne Einstellung am Server.
Fail2Ban sucht in den Webserverlogs nach - in diesem Fall - den User-Agents der Zugriffe und - sofern passender gefunden wird - sperrt diese in der Firewall des Systems.
Dann kommen diese für gewisse Zeit nicht mehr durch...

nonorush · 10. Januar 2020

Fail2Ban sperrt bei uns einige IPs aber wirlliche Verbesserungen bei den Visits gibt es nicht. Jeden Tag werden es bei uns mehr trotz Fail2Ban. In dem Filter ist z.B. der Bot "zh_CN" gelistet trotzdem macht der Bot munter weiter weil die IP nicht gesperrt wurde. Wie kann das sein? Ist eventuell die Schreibweise im Filter falsch?

lj-shadow · 10. Januar 2020

Der Bot nutz zig IPs...
Ist die IP anschließend nicht gesperrt oder ist's eine andere?

Forum	Antworten	Datum
Neu 1 Lager, mit zwei Lagerbeständen von zwei Firmen	User helfen Usern - Fragen zu JTL-Wawi	0	Dienstag um 21:38 Uhr
Neu Vorlage zur Berichtigung von Rechnungen OHNE eine Rechnung zu STORNIEREN!	Dienstleistung, Jobs und Ähnliches	0	Dienstag um 16:49 Uhr
Neu Import von Kategorien geht nur für die Standrdsprache. Zweite Sprache geht leider nicht.	JTL-Ameise - Fehler und Bugs	4	Dienstag um 14:08 Uhr
Neu Seriennummer von Artikeln auf Rechnungskorrekturen / Retoure ausgeben	Eigene Übersichten in der JTL-Wawi	0	Montag um 12:21 Uhr
Neu WAWI 1.9.6.5 Ameise freier Export von Rechnungen exportiert anstatt Oktober den Monat Dezember	JTL-Ameise - Fehler und Bugs	15	Montag um 11:59 Uhr
In Bearbeitung Umstieg von LS POS auf JTL POS	Allgemeine Fragen zu JTL-POS	7	Sonntag um 13:49 Uhr
Neu Update von 5.1.5 auf 5.4	Installation / Updates von JTL-Shop	15	10. Januar 2025
Fehler beim Update von 1.9.4.6 auf 1.9.6.5 - HILFE	JTL-Wawi 1.9	4	10. Januar 2025
Neu Update Shop von 5.2 auf 5.3 und 5.4, Schritt 2: JTL-Shop-Dateien aktualisieren	Installation / Updates von JTL-Shop	25	8. Januar 2025
Neu Produktion von Artikeln mit Seriennummer	JTL-Plan&Produce - Ideen, Lob und Kritik	0	8. Januar 2025
Problem beim Import von Artikelbeständen wenn Artikel auf Pickliste	User helfen Usern - Fragen zu JTL-Wawi	3	7. Januar 2025
Update von 1.9.4.6 auf 1.9.6.5 gelingt nicht	JTL-Wawi 1.9	2	7. Januar 2025
Neu SMARTY-Änderungen beim Shopupdate von 5.2 auf 5.4 ... Kategorie-Funktionsattribute abfragen geht nicht mehr!	Templates für JTL-Shop	5	6. Januar 2025
Neu Arbeitsabauf Suche und Anlage von Kunden	Arbeitsabläufe in JTL-Wawi	0	3. Januar 2025
Neu Zahlungsmodul - 1.9.6.5 - Hinterlegen von Passwort im Tresor nicht mehr möglich trotz vergebener Rechte	JTL-Wawi - Fehler und Bugs	1	2. Januar 2025
Neu Pluginmanager lässt sich nach Update von 5.2 auf 5.4 nicht aufrufen	JTL-Shop - Fehler und Bugs	2	1. Januar 2025
Neu Wechsel von CFE Shop ( Hosting bei JTL) zu SE	Installation / Updates von JTL-Shop	5	28. Dezember 2024
Neu Liefertermin von Stücklisten	Allgemeine Fragen zu JTL-Shop	1	28. Dezember 2024
Amazon Lister Problem bei der Erstellung von Varianten-Produkten	JTL-Wawi 1.9	0	27. Dezember 2024
Neu Ausdrucken von Druckvorlagen bei Lieferscheinerstellung	Arbeitsabläufe in JTL-Wawi	4	26. Dezember 2024
Probleme mit dem Abgleich von Amazon seit Update auf JTL-Wawi 1.964	JTL-Wawi 1.9	0	22. Dezember 2024
Neu SQL-Abfrage von im Onlineshop aktiven Artikeln	JTL Ameise - Eigene Exporte	2	19. Dezember 2024
Neu Wunschzettel von Kunden einsehen	Allgemeine Fragen zu JTL-Shop	1	17. Dezember 2024
Mails von verschiedenen Adressen senden	JTL-Wawi 1.9	9	17. Dezember 2024
Otto Verkaufskanal Häkchen entfernt sich von selbst	Otto.de - Anbindung (SCX)	0	16. Dezember 2024
Neu GPSR Angaben - Problem mit Lösung von Dreizack Medien	Technische Fragen zu Plugins und Templates	2	16. Dezember 2024
Neu Automatisches Ausliefern von Vouchers aus WMS	User helfen Usern - Fragen zu JTL-Wawi	0	14. Dezember 2024
Neu Problem bei der Anzeige von Hinweistexten für Produkte einer bestimmten Kategorie im NOVA Template	Allgemeine Fragen zu JTL-Shop	1	13. Dezember 2024
ERLEDIGT: Nach Update auf von Shop 5.3.x auf 5.4.0 ERROR 500 Wer kann helfen	Upgrade JTL-Shop4 auf JTL-Shop5	0	13. Dezember 2024
Neu doppelter Etikettendruck bei Umlagerung von Filialen	User helfen Usern - Fragen zu JTL-Wawi	0	13. Dezember 2024
Neu Update von Version 1.0.0.0 schlägt fehl auf Version 1.4.29.0	User helfen Usern - Fragen zu JTL-Wawi	3	12. Dezember 2024
Neu Update von 5.1.5 auf 5.4 nicht möglich	Installation / Updates von JTL-Shop	4	12. Dezember 2024
Neu MHD von Stücklistenpositionen auf Lieferschein Druckvorlage ausgeben	Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi	0	11. Dezember 2024
Neu Dropshipping Einstellungen in Wawi mit Händler, aber Versand geht von uns aus????	User helfen Usern - Fragen zu JTL-Wawi	4	11. Dezember 2024
Neu Bestände eines Artikels, die mindestens ein MHD von x Tagen aufweisen	Eigene Übersichten in der JTL-Wawi	5	10. Dezember 2024
Neu Umzug von SQL 2016 Express auf SQL 2019 Standard mit Wawi 1.8.12.2	Installation von JTL-Wawi	10	9. Dezember 2024
Neu JTL Edition "Advanced" und Auftragspakete von JTL Start buchbar?	User helfen Usern - Fragen zu JTL-Wawi	2	9. Dezember 2024
Kein automatischer Abgleich von Kaufland	JTL-Wawi 1.9	11	7. Dezember 2024
Neu Paypal Plugin wird von akutellen IOS Geräten nicht geladen	Plugins für JTL-Shop	17	6. Dezember 2024
Versandklassen von Amazon in die WaWi übertragen	JTL-Wawi 1.9	3	5. Dezember 2024
Neu GSPR Amazon - Probleme für Wiederverkäufer von Markenprodukten	Amazon-Anbindung - Fehler und Bugs	10	4. Dezember 2024
Neu FBA-Bestand von Stücklisten in der WaWi nicht in den Komponenten sichtbar	JTL-Wawi - Fehler und Bugs	3	4. Dezember 2024
Neu Effizientere Auswahl von MHD/Charge im Packtisch ermöglichen	JTL-WMS / JTL-Packtisch+ - Ideen, Lob und Kritik	0	3. Dezember 2024
Neu Versandkostenfreie Artikel von Versandkostengrenze ausschließen	Betrieb / Pflege von JTL-Shop	2	28. November 2024
DHL Druck von Sperrgut triggert Fehler	JTL-Wawi 1.9	0	27. November 2024
Neu Zusammenführung von XML und PDF, XML als Anhang einfügen	Arbeitsabläufe in JTL-Wawi	4	26. November 2024
Gutschein von Vouchers in Wawi einfügen	JTL-Wawi 1.9	0	25. November 2024
Neu Umstellung von normalen Artikeln auf STL in Shopify	Shopify-Connector	0	24. November 2024
Möglichkeit zur einfachen Hinzufügung von Mediendateien	JTL-Wawi 1.7	0	24. November 2024
Neu GPSR / Produktsicherheitsverordnung - Unterstützung von German Market	WooCommerce-Connector	4	22. November 2024

Neu Sprunghafte Zunahme von Visits bei JTL Shops

Sehr aktives Mitglied

Teamleiter: Hosting

Offizieller Servicepartner

Gut bekanntes Mitglied

Gut bekanntes Mitglied

Gut bekanntes Mitglied

Sehr aktives Mitglied

Gut bekanntes Mitglied

Sehr aktives Mitglied

Sehr aktives Mitglied

Sehr aktives Mitglied

Offizieller Servicepartner

Sehr aktives Mitglied

Offizieller Servicepartner

Sehr aktives Mitglied

Aktives Mitglied

Gut bekanntes Mitglied

Sehr aktives Mitglied

Gut bekanntes Mitglied

Anhänge

Sehr aktives Mitglied

Ähnliche Themen