Neu Sprunghafte Zunahme von Visits bei JTL Shops

tvd

Neues Mitglied
11. Januar 2020
1
0
Hallo,

Probleme wie dieses werden sehr wahrscheinlich von sogenannten Bad Bots verursacht. Bei Shops geht es darum, Preise auszulesen oder sich mit geleakten Passwortdaten einzuloggen und Betrug zu begehen. In der Regel merkt man von denen nicht allzu viel. Sie machen grundsätzlich 20-30% des gesamten Traffics aus und laufen einfach mit. Ab und zu crawlt ein Bot die Zielwebsite ohne Rücksicht auf Verluste und zieht sie so runter. Das sieht in den Graphen sehr danach aus.

Bei der Lösung des Problems kann ich helfen. Ich biete einen Service an, der Bad Bots erkennt und automatisch über sperrt, z.B. über die Cloudflare-Firewall.

Meldet euch bei Interesse gerne per PN bei mir.

Viele Grüße,
Tobias
 

chris42

Gut bekanntes Mitglied
23. Dezember 2006
269
19
Erkrath
Fail2Ban sperrt bei uns einige IPs aber wirlliche Verbesserungen bei den Visits gibt es nicht. Jeden Tag werden es bei uns mehr trotz Fail2Ban. In dem Filter ist z.B. der Bot "zh_CN" gelistet trotzdem macht der Bot munter weiter weil die IP nicht gesperrt wurde. Wie kann das sein? Ist eventuell die Schreibweise im Filter falsch?
service fail2ban restart

sollte da ggf. helfen, der liesst dann die neue Konfig ein.....
 

lj-shadow

Sehr aktives Mitglied
15. März 2013
458
46
Vorher gff. noch max retry auf 1, die Sperrzeit hoch und die suchzeit ebenso..

Bei retry auf 1 sollte direkt nach dem Zugriff gesperrt werden.
Beachte aber, dass einige der Bots ganze ip ranges nutzen... X.1 wird gesperrt und der kommt mit x.2 usw. Wieder.
Das dauert ne Weile, daher die suchzeit hoch.

Wenn du zusätzlich die Bots anhand Ihres User Agents in der htaccess mit 403 begrüßt, bekommt er auch keine webseiteninhalte.
Und direkt danach wird er eben gesperrt für n weilchen

Bin nach ein paar Tagen aktuell auf 2990 gesperrten IPs
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: css-umsetzung

JTL_Fan

Aktives Mitglied
27. Mai 2019
86
10
Vorher gff. noch max retry auf 1, die Sperrzeit hoch und die suchzeit ebenso..

Bei retry auf 1 sollte direkt nach dem Zugriff gesperrt werden.
Beachte aber, dass einige der Bots ganze ip ranges nutzen... X.1 wird gesperrt und der kommt mit x.2 usw. Wieder.
Das dauert ne Weile, daher die suchzeit hoch.

Wenn du zusätzlich die Bots anhand Ihres User Agents in der htaccess mit 403 begrüßt, bekommt er auch keine webseiteninhalte.
Und direkt danach wird er eben gesperrt für n weilchen

Bin nach ein paar Tagen aktuell auf 2990 gesperrten IPs
habens so eingestellt wie von @css-umsetzung in dem vorigen Post, aber wie oben bereits beschrieben trotzdem noch etliche Zugriffe.

Daher folgende Fragen
  1. Wo setzt man denn die Suchzeit hoch und was regelt diese? Und auf welchen Wert?
  2. gibts evtl mittlerweile ne geupdatete Fail2Ban Config?
  3. Auf welchen Wert sollte die SPerrzeit dann gesetzt werden. ist ja schon bei 2 Tage
 
Zuletzt bearbeitet:

lj-shadow

Sehr aktives Mitglied
15. März 2013
458
46
Du kannst das im plesk beim Filter einstellen.
Die Angabe ist in Sekunden. Hab jetzt aber nicht im Kopf wo genau.
Sperrzeit ist bei mir 7 Tage.
 

lj-shadow

Sehr aktives Mitglied
15. März 2013
458
46
Plesk -> Tools & Einstellungen -> sperren von ip Adressen -> Einstellungen

Dort sind die "grundeinstellungen".
Im Jail kannst du die Sperrzeit und "Maximale Anzahl an fehlgeschlagenen Anmeldeversuchen"
Noch mal jeweils anpassen
 

JTL_Fan

Aktives Mitglied
27. Mai 2019
86
10
Plesk -> Tools & Einstellungen -> sperren von ip Adressen -> Einstellungen

Dort sind die "grundeinstellungen".
Im Jail kannst du die Sperrzeit und "Maximale Anzahl an fehlgeschlagenen Anmeldeversuchen"
Noch mal jeweils anpassen
Ok Danke

also in den Grundeinstelluingen ist bei uns folgendes drin - siehe Bild
Was würdest du hier empfehlen?

Im Jail ist folgendes Eingestellt, siehen Ebenso Bild

Es scheint also würde Fail2Ban nicht greifen. Seit 00:00 uhr schonn wieder 3000 Zugriffe was nicht normal ist
 

Anhänge

  • 2.jpg
    2.jpg
    88,9 KB · Aufrufe: 28
  • 3.jpg
    3.jpg
    107,4 KB · Aufrufe: 29

lj-shadow

Sehr aktives Mitglied
15. März 2013
458
46
Erkennung und Sperre hab ich auf 7 Tage.
(Erkennung ist vll etwas hoch)

Retry auf 1 (aber nur bei den Bad bots)
Bei SSH=1 zb würdest dich sonst selber aussperren, wenn du dich mal vertippst. (Wobei man den ssh Port ohnehin verschiebt, wenn ssh aktiv ist. Da ist bei mir vollkommen Ruhe)
 

JTL_Fan

Aktives Mitglied
27. Mai 2019
86
10
Erkennung und Sperre hab ich auf 7 Tage.
(Erkennung ist vll etwas hoch)

Retry auf 1 (aber nur bei den Bad bots)
Bei SSH=1 zb würdest dich sonst selber aussperren, wenn du dich mal vertippst. (Wobei man den ssh Port ohnehin verschiebt, wenn ssh aktiv ist. Da ist bei mir vollkommen Ruhe)
OK sorry, dass ich nachhake, also so meinst du???
 

Anhänge

  • 4.jpg
    4.jpg
    91,1 KB · Aufrufe: 18

lj-shadow

Sehr aktives Mitglied
15. März 2013
458
46
Fast... auf dem Bild stellst du die 1 wieder auf 3.
Wegen dem, was ich grade geschrieben hab.

Dann gehst du zum Jail, stellst die Sperrzeit gleich ein, Anzahl der Fehlversuche dort dann auf 1
 
  • Gefällt mir
Reaktionen: JTL_Fan

lj-shadow

Sehr aktives Mitglied
15. März 2013
458
46
Das ist kein Allheilmittel...
Und jede ip muss 1x zugreifen, bevor die dann für 7 Tage gesperrt wird. Kombiniere das mit der htaccess, dann zählt der Shop nicht mehr, weil der Zugriff dort schon gar nicht mehr ankommt.
 
  • Gefällt mir
Reaktionen: JTL_Fan

css-umsetzung

Offizieller Servicepartner
SPBanner
6. Juli 2011
6.639
1.583
Berlin
Ich würde zuerst immer schauen wer da überhaupt zugreift, es kann ja sein das bei dir andere Bots sind oder etwas anderes diese Zugriffe verursacht.
Da es in einem access log zu unübersichtlich ist bietet es sich an meine Log Funktion zu verwenden, da die den Zugriff je Aufruf nur einmal protokolliert.

Und dann siehst du ja wer zickt und wenn dein Fail2Ban nicht greift, warum auch immer hast du noch die htaccess oder meine php Lösung.
 

zttom

Offizieller JTL-Partner
ZTBanner
13. Februar 2018
12
15
Overath
Hallo zusammen,

es ist schön, wie sich diese Kommunikation zwischenzeitlich entwickelt hat. Wir von zitro Hosting möchten Euch an auch an unseren Erkenntnissen teilhaben lassen, da wir bei uns zwischenzeitlich schon das Botnetz auf ca. 200.000 IP-Adressen identifizieren konnten. Bilder und Skripte werden übrigens von dem Botnetz nicht geladen - wir vermuten aktuell, dass es das Botnetz auf die Artikelbeschreibungen und die Preise abgesehen hat

Zusammenfassend die Best-Practices für Eure Shops, die hier in den Posts einzeln schon erwähnt wurden, aber man sollte den Schutz gesamtheitlich aufbauen:

1.) Wie am Anfang von @css-umsetzung schon erwähnt, benötigt Ihr die IP-Tables-Filters. Die Regeln von @css-umsetzung oder @Stephs182 sind für den Anfang gut und werden auch funktionieren, allerdings muss der failregex angepasst werden, da er den Suchstring auch im Request sucht und sich nicht auf den User Agent beschränkt. Wenn ein Shop eine Artikel-URL benutzt, wo ein Teil von den Suchstrings vorkommt, dann werden auch legitime Requests geblockt. Daher besser:

Code:
failregex = ^<HOST> -.*"(GET|POST|HEAD).*HTTP\/\d+\.\d+" .* ".*" ".*(?:%(badbots)s|%(badbotscustom)s).*"$

Für die, die nicht so tief in der Materie stecken: zum Testen der Suchstrings lassen sich gut Online-Regex-Tester verwenden oder per Terminal über fail2ban-client.

Wir werden nächste Woche hier mal eine vollständige Liste der Suchstrings für die Bad-Bots publizieren. Wir nutzen aktuell eine Liste von ca. 250 Strings.

Zu der Frage nach den Suchzeiträumen von @JTL_Fan : Wenn ihr keine chinesischen Kunden habt, nehmt für beides: 604800

Leider wechselt das Botnetz für jeden Request die IP-Adresse, sobald ein Request durch fail2ban ins Leere läuft. Durch fail2ban und den wechselnden IP-Adressen geht die Last nicht zwangsweise zurück, sondern kann sogar noch stark zunehmen (das haben wir bei einigen Kunden beobachten können), was dann zu Punkt 2 führt:

2.) Zusätzlich zu fail2ban benötigt man auch den Schutz über die htaccess (es reicht der Schutz von @akBenutzer - wer es ganz schick haben möchte, leitet auf eine Webseite um, wo der "Kunde" über die Sperrung seiner IP-Adresse informiert wird).
Wie hier schon einmal kurz in dem Post von @lj-shadow erwähnt, blockiert fail2ban erst ab dem zweiten Request, da es die IP-Adresse erst aus den Apache-Logs extrahieren muss. D.h. der erste Request wird bei einem reinen fail2ban-Schutz immer abgearbeitet, was den htaccess-Schutz für den ersten Request notwendig macht.
Theoretisch reicht ein purer htaccess-Schutz (oder PHP basierten Schutz) für alle, die bspw. keinen fail2ban zur Verfügung haben, aber dann wird jeder Request an den Webserver weitergegeben und im Falle eines PHP-Skriptes wird der PHP-Interpreter noch belastet. Dies ist unperformanter als im Vergleich zu iptables: iptables vergleicht die Adressen über einen binären Suchbaum und benötigt egal wie viele IP-Adressen man in der Liste hat nur max. 32 bitweise Vergleiche, um zu entscheiden, ob eine Adresse blockiert werden soll.

3.) Bitte never ever:

Bei der Lösung des Problems kann ich helfen. Ich biete einen Service an, der Bad Bots erkennt und automatisch über sperrt, z.B. über die Cloudflare-Firewall.

Routet bitte nicht Euren Traffic über andere Dienstleister aus dem Ausland oder andere Anbieter im Inland. Denkt bitte an die DSGVO und wie Ihr Eure Kunden darüber informieren möchtet, dass der Verkehr gerade einmal ins Ausland und zurück geschickt wird. Fragt lieber Euren Hoster nach solchen Lösungen. Hoster haben i.d.R. auch ein großes Interesse daran Euch maßgeschneiderte Lösungen anzubieten. Dort bekommt Ihr dann alles aus einer Hand und die Sicherheit der Kundendaten ist über deren Auftragsdatenverarbeitungsvertrag geregelt. Wenn es bei einem Hoster nicht klappt, gibt es genügend andere...

4.) Zusätzlich blockieren wir eine Liste von bekannten bösartigen IP-Adressen aus verschiedenen Quellen, was mich zum nächsten Punkt bringt:

Wir beabsichtigen nächste Woche einen Dienst bereitzustellen, wo Ihr die aktuell ca. 200.000 und stetig steigenden IP-Adressen aus dem Botnetz über eine RESTful-API kostenfrei laden könnt, um Euren fail2ban-filter zu trainieren. Eine Anbindung an fail2ban werden wir hier auch posten. Wenn Ihr Eure gefundenen IP-Adressen automatisch über fail2ban über unseren Dienst mit den anderen betroffenen teilen wollt, dann könnt Ihr über eine PM an mich einen Accesstoken erhalten. Accesstoken und Schnittstelle kommen dann vrstl. Ende der kommenden Woche. Um die Datenschutzfrage vorweg zu nehmen: Wir haben mit dem Datenschutzbeauftragten des Land NRW abgeklärt, dass in Anwendungen zum Schutz von IT-Systemen, die IP-Adressen so lange aufbewahrt werden dürfen, wie diese zum Schutz der Systeme benötigt werden.

So far, seid wachsam

Tom
 
Zuletzt bearbeitet:

lj-shadow

Sehr aktives Mitglied
15. März 2013
458
46
Naja, um die Sache mit den Preisbots nochmal aufzugreifen, was ich ja von Anfang an vermutet habe...

Eigentlich(!) Wäre es noch viel besser, die Bots anders zu behandeln, als sie auszusperren.

Wenn ich die einfach nur aussperre, gebe ich dem ja trotzdem eine Info. Und zwar die, das er erwischt wurde.

Besser wäre es, ihm einfach falsche Infos zu geben.

Dann soll doch der Herr Mitbewerber seine Preise gern automatisch auf 1 Euro matchen.
Diese Tools gehören in meinen Augen verboten.
Wenn einer seine Mitbewerber-preise checken will, wozu er ja auch das Recht hat, dann bitte auch mit 2 Augen und nicht mit automatischen Tools auf Kosten *traffic/cpu* seiner Mitbewerber auf die Gefahr hin, dortige Systeme lahm zu legen.
 

JTL_Fan

Aktives Mitglied
27. Mai 2019
86
10
Kann hier jemand nochmals ne aktuelle htaccess anbieten.


Wir haben aktuelle folgendes in der Htaccess, was scheinbar nicht reicht.
Code:
  # Blockieren von Chinesischen Suchmaschinen, siehe auch https://www.johnlarge.co.uk/blocking-aggressive-chinese-crawlers-scrapers-bots/
  RewriteCond %{HTTP_USER_AGENT} SeznamBot|MQQBrowser|Screaming|Snappy|DtoBot|Gigabot|DuckDuckGo-Favicons-Bot|Yandex|yandexbot|Yeti|slurp|TheWorld|YoudaoBot|Mb2345Browser|LieBaoFast|zh-CN|MicroMessenger|zh_CN|Kinza [NC]
  RewriteRule ^ - [F,L]

Hat daher jemand nochmals eine aktuelle htaccess für uns alle evtl.? UND ist es wichtig wo der Code in der htaccess etwa steht? (klar zwischen "<IfModule mod_rewrite.c> RewriteEngine on" aber darin dann, gibts da ne Reihenfolge? Ganz oben/unten?

Denn sehr seltsam ist folgendes:
Wir haben obigen Code in der Htaccess. Der Code für die Log von @css-umsetzung liefert aber immer noch Daten mit obigen Bots. Wie kann das sein dass die dann noch durchkommen?
siehe Bild
 

Anhänge

  • 1.jpg
    1.jpg
    1,6 MB · Aufrufe: 22
Zuletzt bearbeitet:

zttom

Offizieller JTL-Partner
ZTBanner
13. Februar 2018
12
15
Overath
Denn sehr seltsam ist folgendes:
Wir haben obigen Code in der Htaccess. Der Code für die Log von @css-umsetzung liefert aber immer noch Daten mit obigen Bots. Wie kann das sein dass die dann noch durchkommen?
siehe Bild

Dein Bild ist nicht sehr aussagekräftig. Der htaccess-Schutz leitet jeden Request des Botnetzes weiterhin zum Webserver, der den dann mit einem 403 Response-Code beantwortet. Jeder Request des Bot-Netzes taucht also weiterhin in dem Apache-Log auf. Zur Kontrolle der Funktion musst Du in Deinem Apache-Log nachsehen, ob der Request mit einem 403-Response-Code beantwortet wurde. Das ist der Unterschied zu fail2ban. fail2ban blockiert schon oberhalb der Netztwerkkarte und lässt den Request gar nicht mehr zum Webserver durchkommen.
 
Ähnliche Themen
Titel Forum Antworten Datum
Bestand von Kinderartikeln wird im Vaterartikel zusammenaddiert JTL-Wawi 1.8 1
Neu beim Umstieg von unicorn auf SCX Bilder aktivieren Otto.de - Anbindung (SCX) 0
Neu Filtereinstellungen: wenn Sonderpreis bei Vater- oder Kindartikeln, Anzeige von Vater- UND Kindartikeln User helfen Usern - Fragen zu JTL-Wawi 5
Neu gelöst: Update von 5.3.0 auf 5.3.1 - Dateien hochgeladen - immernoch alte Version Gelöste Themen in diesem Bereich 6
Neu Fehler beim Bearbeiten von PLZ & Ort im Kundenkonto (Update 5.3.0) JTL-Shop - Fehler und Bugs 1
Neu Wechsel WAWI Hosting von JTL mit RDP auf ecomDATA User helfen Usern - Fragen zu JTL-Wawi 2
Neu Fehler bei Bearbeitung von Designvorlagen eBay-Designvorlagen - Fehler und Bugs 0
Neu Mitgabe von Nährwertangaben WooCommerce-Connector 1
Neu E-Mail-Adresse beim Versand von Lieferantenbestellungen User helfen Usern - Fragen zu JTL-Wawi 0
Neu JTL 1.8.12.0 - Artikelattribut für Shop importieren - Format CSV-Datei / Hilfe bei Import von individuellen Attributen für JTL-Shop (googlekat) JTL-Ameise - Ideen, Lob und Kritik 1
Neu Bilder von Merkmalen werden nicht angezeigt Gelöste Themen in diesem Bereich 5
Neu Shopify Erhöhung der Varianten von 100 auf 2000 - Connector App Problem Shopify-Connector 1
Neu Bestimmte Artikel von JTL-Search ausschließen JTL-Search 0
Artikel Netto Preis von 4 Nachkommastellen auf 2 umstellen JTL-Wawi 1.7 5
Artikelabgleich verlangsamt sich automatisch von Wawi JTL-Wawi 1.8 2
Formatierungsfehler in XML bei Verwendung von dotliquid kaufland.de - Anbindung (SCX) 2
Neu Produktfeld "Produktkategorie" von JTL nach Shopify? Shopify-Connector 0
Alternativpositionen und gültig von bis JTL-Wawi 1.8 0
Neu Fehler beim erstellen von Aufträgen. Digitale Unterschrift im Auftrag. JTL-Wawi - Fehler und Bugs 0
Export von Bestellungen als Excel JTL-Wawi 1.6 1
Neu Sortierung von Artikel nach Preis absteigend Allgemeine Fragen zu JTL-Shop 4
Ameisen Import von Aufträgen: Zahlungsziel in Tagen immer 0 JTL-Wawi 1.8 1
Neu Menüleiste wird plötzlich in der Mitte von der Seite angezeigt Allgemeine Fragen zu JTL-Shop 0
Neu 💡Umsatzsteuer- und Internationalisierungs-Expertise von unserem neuen Partner countX News, Events und Umfragen 4
Neu Update von 5.1.5 auf 5.2.4 Installation / Updates von JTL-Shop 1
EAN-Code von Umverpackungen hinterlegen JTL-Wawi 1.7 3
Neu Update von Wawi 17.15.4. auf 18.12.0 geht nicht, weil Primary voll ist JTL-Wawi - Fehler und Bugs 4
In Diskussion Fehler beim Versenden von E-Mails: "Could not convert socket to TLS" JTL-POS - Fehler und Bugs 1
Neu Error beim öffnen von Artikeln und Unterkategorien in zweiter Sprache JTL-Shop - Fehler und Bugs 1
Neu Umstieg von Shopware 5 zu JTL Shop 5 - Ranking behalten Allgemeine Fragen zu JTL-Shop 2
Neu Zusammenführen / Konsolidieren von Artikeln aus 2 Quellen (Amazon / Shopify) und zentrale Bestands-Verteilung an beide Systeme User helfen Usern - Fragen zu JTL-Wawi 0
Neu Bestände von der Wawi mit ebay abgleichen User helfen Usern - Fragen zu JTL-Wawi 2
Neu Anpassen einer Rechnungsvorlage - Bearbeiten von Textbausteinen Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 4
Lieferant hat identischen Artikel von verschiedenen Herstellern oder verschiedene Packungsgrößen JTL-Wawi 1.7 0
Kein Fehler von 1.6.39 zu 1.8.12 JTL-Wawi 1.8 4
Verwiesen an Support wo finde ich die Logdatei von den Workflows JTL-Workflows - Fehler und Bugs 9
In Diskussion Workflow von Stornobelege Rechnung JTL-Workflows - Ideen, Lob und Kritik 1
Neu Gruppierung im Megamenü unabhängig von Kategorien Allgemeine Fragen zu JTL-Shop 0
Neu Anzeige von Neuheiten und Topsellern im JTL Shop 5 Allgemeine Fragen zu JTL-Shop 2
Neu Bestände der einzelnen Lager weichen von den reellen Beständen willkürlich ab JTL-Shop - Fehler und Bugs 7
Neu Benachrichtigung von Amazon - Active Listings Report User helfen Usern - Fragen zu JTL-Wawi 0
Neu Nach Update von 1.5 auf 1.8 Versand in die Schweiz nicht mehr möglich JTL-ShippingLabels - Fehler und Bugs 2
Neu Versandetikett von der Merchant FFN JTL an die Fulfiller FFN JTL übertragen? Richtiger Weg? User helfen Usern - Fragen zu JTL-Wawi 0
Neu NEU ✔️ PDF-Angebots-Plugin für den JTL-Shop 5 - PDF Angebote von der Produktseite oder aus dem Warenkorb heraus generieren B2C / B2B Plugins für JTL-Shop 5
Neu Migration von eCommerce-Integrator auf JTL Connector - Software 5 Shop Onlineshop-Anbindung 2
Neu Kurzbeschreibung von einem "Stücklisten-Artikel" wird in der Rechnungskorrektur Vorlage nicht angezeigt. Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 1
Neu Import von sonderpreisen JTL-Ameise - Fehler und Bugs 1
Neu automatisierte Weiterleitung von https:// nach https://www. Betrieb / Pflege von JTL-Shop 10
Neu Produktbeschreibung von einem anderen Produkt abrufen User helfen Usern - Fragen zu JTL-Wawi 0
Neu Umzug der POS von Tablet zu Windows PC Einrichtung / Updates von JTL-POS 2

Ähnliche Themen