Neu Sprunghafte Zunahme von Visits bei JTL Shops

holzpuppe

Sehr aktives Mitglied
14. Oktober 2011
1.713
253
Leipzig
So, nu meld ich mich auch mal. Sprunghafte Zunahmen verzeichnen wir seit Anfang 2019, immer gerne das dreifache der "normalen" Besucherzahl. Und jetzt im Januar sogar das fünffache. *irre*


Danke an CSS-Umsetzung für den Schnippsel. Und auch an lj-shadow. ;)
Die ersten Bots kullern nun in die Logs, die ich vorher selbst in awstats noch nicht so gesehen habe. (Oder ich habs übersehen.)

Meine htaccess sieht aktuell so aus
(Bestimmt verbesserungswürdig, aber die verschiedenen Varianten haben sich mit der Zeit so ergeben und zugegeben, ich hab an sich keine Ahnung davon. Aber es funktioniert. xD) :
Code:
#block bad bots with a 403
SetEnvIfNoCase User-Agent "AhrefsBot" bad_bot
SetEnvIfNoCase User-Agent "Baiduspider" bad_bot
SetEnvIfNoCase User-Agent "BBot" bad_bot" bad_bot
SetEnvIfNoCase User-Agent "BLEXBot" bad_bot
SetEnvIfNoCase User-Agent "Custo" bad_bot
SetEnvIfNoCase User-Agent "CFNetwork" bad_bot
SetEnvIfNoCase User-Agent "CMS Crawler" bad_bot
SetEnvIfNoCase User-Agent "CsCrawler" bad_bot
SetEnvIfNoCase User-Agent "DomainAppender" bad_bot
SetEnvIfNoCase User-Agent "Grapeshot Crawler" bad_bot
SetEnvIfNoCase User-Agent "Jakarta commons-httpclient" bad_bot
SetEnvIfNoCase User-Agent "Lipperhey SEO Service" bad_bot
SetEnvIfNoCase User-Agent "Linkdex" bad_bot
SetEnvIfNoCase User-Agent "MegaIndex.ru" bad_bot
SetEnvIfNoCase User-Agent "MJ12bot" bad_bot
SetEnvIfNoCase User-Agent "ning" bad_bot
SetEnvIfNoCase User-Agent "Python-urllib" bad_bot
SetEnvIfNoCase User-Agent "Phantom" bad_bot
SetEnvIfNoCase User-Agent "Perl tool" bad_bot
SetEnvIfNoCase User-Agent "pegasus" bad_bot
SetEnvIfNoCase User-Agent "spbot" bad_bot
SetEnvIfNoCase User-Agent "SEOprofiler Bot" bad_bot
SetEnvIfNoCase User-Agent "SMTBot" bad_bot
SetEnvIfNoCase User-Agent "SurveyBot" bad_bot
SetEnvIfNoCase User-Agent "SISTRIX Crawler" bad_bot
SetEnvIfNoCase User-Agent "Sogou Spider" bad_bot
SetEnvIfNoCase User-Agent "Verisign" bad_bot
SetEnvIfNoCase User-Agent "WebFilter" bad_bot
SetEnvIfNoCase User-Agent "Web Core / Roots" bad_bot
SetEnvIfNoCase User-Agent "WebMeUp backlink tool" bad_bot
SetEnvIfNoCase User-Agent "WGet tools" bad_bot
SetEnvIfNoCase User-Agent "Mb2345Browser" bad_bot
SetEnvIfNoCase User-Agent "LieBaoFast" bad_bot
SetEnvIfNoCase User-Agent "zh-CN" bad_bot
SetEnvIfNoCase User-Agent "MicroMessenger" bad_bot
SetEnvIfNoCase User-Agent "zh_CN" bad_bot
SetEnvIfNoCase User-Agent "Kinza" bad_bot

<Limit GET POST HEAD>
  Order Allow,Deny
  Allow from all
  Deny from env=bad_bot
</Limit>

RewriteCond %{HTTP_USER_AGENT} ^.*Baidu.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*MJ12bot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*SEOprofiler.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Ahrefs.*$[NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Sogou.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*BBot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Python-urllib.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*SurveyBot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Perl.?tool [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Jakarta.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Grapeshot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Custo.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Verisign.*$ [NC,OR]
RewriteRule ^(.*)$ http://127.0.0.1 [R,L]

RewriteCond %{HTTP_REFERER} ^http://.*majestic12\.co\.uk/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*ahrefs\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*openlinkprofiler\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://.*ahrefs\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*sogou\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*netwu\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*grapeshot\.co\.uk/ [NC]
RewriteRule ^(.*)$ http://127.0.0.1 [R,L]

Der "Block" steht bei mir zwischen:

Code:
<IfModule mod_rewrite.c>
  RewriteEngine on
    RewriteCond %{HTTPS} off [OR]
    RewriteCond %{HTTP_HOST} ^www\. [NC]
    RewriteRule ^ https://meineURL.com%{REQUEST_URI} [R=301,L,NE]
Und
Code:
 #REWRITE ANPASSUNG 1 (REWRITEBASE)
  #Wenn Ihr Shop in einem Unterverzeichnis (also z.B. meinedomain.de/meinverzeichnis) installiert ist, so kommentieren Sie die kommende Zeile aus und passen Sie den Verzeichnisnamen an
  RewriteBase /
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: netgmbh

netgmbh

Aktives Mitglied
8. Januar 2018
37
7
Bei uns sind ebenfalls merkwürdige Anstiege zu verzeichnen. Zudem ist unsere Statistik vor juni 2019 gelöscht. Woran es liegt wissen wir nicht.
 

Rainer S

Moderator
Mitarbeiter
8. August 2018
926
196
Zudem ist unsere Statistik vor juni 2019 gelöscht. Woran es liegt wissen wir nicht.

Das dürfte an dem Plugin "Recht auf Vergessenwerden" liegen...

Kann aber auch an aktiviertem Garbage Collector (Automatische Shop Bereinigung ) liegen wenn dieser im Backend unter System --> globale Einstellungen --> Globale Einstellungen aktiviert ist.
 

netgmbh

Aktives Mitglied
8. Januar 2018
37
7
Also ich war jetzt mal etwas in den Protokollen und kann auch viele Zugriffe aus China verzeichnen. Zudem haben wir unsere Hosting Partner informiert und die habe extrem viele abrufe durch Yandex festgestellt.
Unsere Besucherzahl liegt normalerweise bei 150-300 pro Tag. Seit dem 31.12.2019 sind es 3000-5000 pro Tag.

fail2ban dürfen wir nicht installieren. Hat jemand eine Liste um ip's aus China in der htaccess zu blockieren?

Edit:
Unsere aktuelle Besucherzahl, die momentan im Shop unterwegs sind liegt bei 2154
 

nonorush

Gut bekanntes Mitglied
11. November 2010
498
25
Berlin
Die Idee soetwas handisch zu lösen finde ich nicht zielführend. Ich lasse fail2ban gerade 1,5 Stunden laufen und es sind ca. 420 IPs blockiert. Ich habe die Sperrzeit auf 7 Tage gesetzt wenn man es auf 5 Stunden lässt fängt der Spaß wieder von vorne an denke ich. Einfach komplette Adressbereiche sperren ist kurzfristig eine Lösung die meisten Angriffe kommen von 54.36.148.xxx und 54.36.149.xxx.
Was ich mich frage warum in der Statistik vom JTL Shop Webcrawler der Suchmaschinen als Besuch zählen. Das müsste man mal ändern.
 
Zuletzt bearbeitet:

lj-shadow

Sehr aktives Mitglied
15. März 2013
466
47

hula1499

Sehr aktives Mitglied
22. Juni 2011
5.321
1.253
if(preg_match("/Mb2345Browser|LieBaoFast|zh-CN|MicroMessenger|zh_CN|Kinza|MJ12bot|AhrefsBot/",$_SERVER['HTTP_USER_AGENT'])) { header('HTTP/1.0 403 Forbidden'); die("zugriff nicht erlaubt"); }

Wenn ein Bot mit einer Versionsnummer kommt, zb.


wird dieser mit der Eingabe von "SemrushBot/" oder "SemrushBot" bei mir nicht geblockt. Muss dafür noch irgendeine Wildcard verwendet werden?
 

hula1499

Sehr aktives Mitglied
22. Juni 2011
5.321
1.253
Jo, das "/" wurde von mir nicht für Anfang/Ende erkannt:

Code:
if(preg_match("/SemrushBot|DotBot/",$_SERVER['HTTP_USER_AGENT'])) {
    header('HTTP/1.0 403 Forbidden');
    die("zugriff nicht erlaubt");
}

funktioniert nun, danke.
 

hula1499

Sehr aktives Mitglied
22. Juni 2011
5.321
1.253

Shop:
/includes/config.JTL-Shop.ini.php

Ich sperre aber AhrefsBot absichtlich nicht, da ich dort einen Account hab. Willst alle diese SEO Crawler sperren, würd ich AhrefsBot noch dazunehmen:


Code:
if(preg_match("/AhrefsBot|SemrushBot|DotBot/",$_SERVER['HTTP_USER_AGENT'])) {
    header('HTTP/1.0 403 Forbidden');
    die("zugriff nicht erlaubt");
}

Theoretisch auch noch rogerbot, aber der war bei mir noch nicht :D


Und hätte man (ich) sich seine php log angesehen, hätte man dort auch gefunden:
[09-Jan-2020 08:37:56 Europe/Berlin] PHP Warning: preg_match(): No ending delimiter '/' found in /xxx/includes/config.JTL-Shop.ini.php on line 15
:D
 

bulldog28

Gut bekanntes Mitglied
14. Juni 2009
300
2
Wir haben das gleiche Phänomen seit einigen Tagen. Hier unser Screenshot. Kontaktieren heute mal unseren Hoster und schicken ihm die Infos zu den Lösungsansätzen, da wir selbst keine Ahnung von soetwas haben. Lt. dem Dashbar-Plugin wird immer nur eine gefilterte Seite aufgerufen. Dies passiert in unserem "alten" JTL Shop. Version 4.06 (Build: 15) - Wir haben noch einen zweiten Shop, der erst ein Jahr ca. online ist, mit einer älteren Version (4.06 (Build: 11) ), dort ist alles ruhig. Unterschied außerdem und vielleicht relevant: Der Shop auf dem es auftritt ist extern gehostet, der "ruhige Shop" ist bei JTL direkt.
 

Anhänge

  • besucher.JPG
    besucher.JPG
    27,4 KB · Aufrufe: 28

css-umsetzung

Offizieller Servicepartner
SPBanner
6. Juli 2011
7.764
2.190
Berlin
Unterschied außerdem und vielleicht relevant: Der Shop auf dem es auftritt ist extern gehostet, der "ruhige Shop" ist bei JTL direkt.
Das ist der feine Unterschied, denn JTL scheint hier gut greifende Fail2Ban regeln zu haben (ich gehe davon aus das sie das auch nutzen)
Es wäre natürlich toll wenn JTL hier auch ein wenig unterstützend mitwirken würde was die Regeln angeht.
 
  • Gefällt mir
Reaktionen: Freaky

nonorush

Gut bekanntes Mitglied
11. November 2010
498
25
Berlin
Mein Fial2ban badbot Filter der hier veröffentlicht wurde hat ca. 600 IPs geblockt. Mehr kommen nicht dazu aber die Besucher statistiken steigen weiter. Es wird auch von Tag zu Tag mehr.
 
Zuletzt bearbeitet:
Ähnliche Themen
Titel Forum Antworten Datum
Neu Server Error 500 nach dem Installieren von JTL Theme Editor Plugins für JTL-Shop 3
Neu seit 1.8.25 kein Aufschalten von Angeboten merh möglich mit 1.7.14.0 Amazon-Anbindung - Fehler und Bugs 2
Neu cName von tArtikelBeschreibung zweisprachig User helfen Usern - Fragen zu JTL-Wawi 1
Neu zweiten Mandanten für Ankauf von Ware? gleiche Firma, gleiche Person. Lizenzen? User helfen Usern - Fragen zu JTL-Wawi 2
Neu Rechnungsanzeige Amazon von "Bar" auf "Zahlung via Amazon Pay" Amazon-Anbindung - Fehler und Bugs 1
Neu Sichtbarkeit von Artikeln / "Visibility" Feld in DB PrestaShop-Connector 0
Buchhalterische Abwicklung von Gutscheinen aus Rechnungskorrekturen Allgemeine Fragen zu JTL-Vouchers 0
Löschen von Verkaufskanal nicht möglich JTL-Wawi 1.10 2
Hochladen von Artikel zu Ebay klappt nicht JTL-Wawi 1.10 13
JTL WAWI GUI Update von 1.9.8.0 auf 1.10.13.1 nicht möglich WAWI reagiert nicht JTL-Wawi 1.10 3
Neu Speicherort vom Worker eingelesenen Angebote von Amazon User helfen Usern - Fragen zu JTL-Wawi 2
Nach dem Import von Aufträgen kein Artikel Preis JTL-Wawi 1.9 1
Neu Workflow zur Zählen von Retouren und Bestellungen von einem Kunden JTL-Workflows - Ideen, Lob und Kritik 1
Neu Hat jemand Erfahrung mit der Anbindung von TikTok Shop über Shopify? Einrichtung und Installation von JTL-eazyAuction 0
Neu Versanddaten Import -> Automatisches Abschließen von Dropship Bestellungen möglich? User helfen Usern 1
Neu Hilfe beim Einrichten von JTL-Wawi mit unternehmensspezifischen Artikeldaten Arbeitsabläufe in JTL-Wawi 14
Neu Anbindung von Global E als Versanddienstleister in JTL – wer wäre dabei? JTL-Wawi - Ideen, Lob und Kritik 0
Neu Entfernung von Elementen aus dem Template Templates für JTL-Shop 1
Neu Update von 1.9.8.0 auf 1.10.13.1 Fehlerhafte Variationswert - Sortiernummern JTL-Wawi - Fehler und Bugs 3
Neu Rechnungsdatenservice 2.0 : Wie initial Übergabe von Rechnungen mit Belegtyp (Belegkreis) "Rechnungsausgang" an Datev Unternehmen online? User helfen Usern - Fragen zu JTL-Wawi 1
Neu Update von 5.1.8 auf 5.2.1 inkl. PHP Umstellung von 7.4 auf 8.x funktioniert einfach nicht. 500er Serverfehler Installation / Updates von JTL-Shop 13
Neu Lagerkommentar von Stücklistenartikel auf Lager-Packliste ausgeben Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 2
Neu Unnötiger Fehler beim Import von Kundendaten JTL-Shop - Fehler und Bugs 0
Neu Einstellen von Variationen ohne Aufpreis (+) Angabe in der Variationsauswahl Allgemeine Fragen zu JTL-Shop 1
Neu Shopupdate von 5.4.0 auf 5.5.2 Fehlercode: 500 Internal Server Error Installation / Updates von JTL-Shop 7
Neu Importieren von Artikelmerkmalen mit der Ameise JTL-Ameise - Ideen, Lob und Kritik 1
Menge von 0,0 auf 1 ? JTL-Wawi 1.10 14
Probleme beim Import von eBay-Produkten in JTL – neue Artikel werden nicht übernommen eBay-Anbindung - Fehler und Bugs 5
Neu Aufschlüsselung von Tabelle tQueue ?? Hat wer Infos darüber?? User helfen Usern - Fragen zu JTL-Wawi 2
Neu Verkäufe von Stücklistenartikel über FBA werden im Lager nicht abgezogen Amazon-Anbindung - Fehler und Bugs 0
Vererben von Kindartikel ek auf den Vaterartikel JTL-Wawi 1.10 1
Neu JTL WaWai Artikel aus Angebote von Plattformen Amazon+Otto erstellen Einrichtung und Installation von JTL-eazyAuction 0
Neu gleichzeitiges vorkommen von mehreren Artikeln in einem Bon Allgemeine Fragen zu JTL-POS 0
Verkaufskanäle können nicht geöffnet werden, da diese bereits von einem anderen Benutzer bearbeitet werden JTL-Wawi 1.9 2
Neu Merkmalfilter - Nur Merkmale von Kindern filtern Allgemeine Fragen zu JTL-Shop 1
Neu Texteditor Hinweis Plugin von Webstollen Plugins für JTL-Shop 0
In Diskussion Automatisches Ausliefern von Gutschein funktioniert nicht JTL-Workflows - Ideen, Lob und Kritik 2
Neu Löschen von Lieferantenbestellungen verhindern User helfen Usern - Fragen zu JTL-Wawi 0
Neu Behandlung von JTL Shop Coupons und Retouren in JTL Wawi Arbeitsabläufe in JTL-Wawi 0
Import mit Ameise von "Varianten" JTL-Wawi 1.10 1
keine Eazybusiness Datenbank beim öffnen von JTL WaWi JTL-Wawi 1.7 3
JTL Connector <-> JTL WAWI Keine neune Importe von Aufträgen JTL-Wawi 1.9 0
Neu Zustandsbeschreibung wird beim auflisten von Produkten nicht übertragen Amazon-Anbindung - Fehler und Bugs 1
Export WaWi Daten von EcomData über BackUp Funktion - Wiedereinspielen am PC JTL-Wawi 1.10 7
Neu JTL Shop: Ausblenden von Unterkategorien (In der Mitte) möglich ? Allgemeine Fragen zu JTL-Shop 0
Neu .php-cs-fixer.php - nicht identisch mit den Dateien der aktuellen Version von JTL-Shop JTL-Shop - Fehler und Bugs 3
Neu Getrennte Auswertung von Pick- und Packleistung möglich? JTL-WMS / JTL-Packtisch+ - Ideen, Lob und Kritik 1
Beschaffung/Bestellungen Steuerung von Mwst % in Positionen ohne Lieferantenzuordnung und Freipositionen. JTL-Wawi 1.10 0
Neu Umgang mit fehlerhaften Rechnungen von Verkäufern Smalltalk 0
Neu Kartongröße abhängig von der Stückzahl User helfen Usern - Fragen zu JTL-Wawi 1

Ähnliche Themen