Neu JTL Search 4.000 Bot Suchanfragen pro Tag was tun?

Kojiro

Gut bekanntes Mitglied
16. November 2010
195
5
Hallo,
wir testen grade JTL Search und dabei ist mir aufgefallen dass irgendjemand via Bot, täglich zur gleichen Zeit 3.500 - 4.000 Produkte von einem Hersteller über die Suchfunktion abfragt. Von JTL habe ich leider noch keine Rückmeldung zu der Thematik, gibt es eine Möglichkeit dieses Verhalt / Bot auszusperren oder herauszufinden wer das ist?
 
  • Gefällt mir
Reaktionen: Leightig

Kojiro

Gut bekanntes Mitglied
16. November 2010
195
5
Kleines Update, nachdem wir jetzt manuell die IP in der htaccess gesperrt haben, geht es einen Tag lang gut, dann kommt eine Abfrage über eine andere IP. Allerdings nutzt dieser User anscheinend keinen Proxy, da die Abfrage immer über das gleiche Subnetz von Vodafone kommen. Ein befreundeter Programmierer sagte, man könnte über ein kleines Programm die Abfragen der Suche in die Datenbank speichern und bei X-Suchabfragen Minute, den Zugang sperren. Gibt es dazu schon Erfahrungen oder ggf. schon vorhandenen Code/Plugin?
 

McAvity

Sehr aktives Mitglied
7. September 2016
595
146
@Kojiro

Welchen User-Agent sendet der Bot denn?
Mal versucht den Bot per robots.txt auszusperren?

Stammt die IP denn aus dem Vodafone-Netz in DE? Hast Du da mal die IP-Adresse (gerne per PN)?

MfG

McAvity
 

Kojiro

Gut bekanntes Mitglied
16. November 2010
195
5
Vielen Dank für den Vorschlag, aber mit denen hatten wir schon geschrieben und auch das Plugin ausprobiert, leider ohne Erfolg.
@Kojiro

Welchen User-Agent sendet der Bot denn?
Mal versucht den Bot per robots.txt auszusperren?

Stammt die IP denn aus dem Vodafone-Netz in DE? Hast Du da mal die IP-Adresse (gerne per PN)?

MfG

McAvity
Was meinst du mit User-Agent?
das mit der robots.txt. habe ich noch nicht probiert, werde ich mal prüfen lassen ob das funktioniert.

Die IP kommt seit gut 2-3 Wochen von Vodafone, wechselt immer mal wieder, da ich die IP manuell über die htaccess sperre, kommt dann aber einen Tag später zurück, mit einer ähnlichen IP, aber immer noch aus dem gleichen Teil Deutschlands.
 

en001

Sehr aktives Mitglied
15. März 2017
444
43
Die IP sagt doch nichts aus. Das schon gar nicht wenn es eine von einem Mobilfunkanbieter ist. Da kommen dann alee IP aus der selben Gegend. Wichtiger ist ein sicherer Shop.
 

en001

Sehr aktives Mitglied
15. März 2017
444
43
Man sollte Updates einspielen etc. und lieber schauen das vin "innen" keine Gefahr droht weil Mitarbeiter falsch klicken, Sofrware downloaden oder Malware mitbringen.
 

McAvity

Sehr aktives Mitglied
7. September 2016
595
146
lieber schauen das vin "innen" keine Gefahr droht weil Mitarbeiter falsch klicken, Sofrware downloaden oder Malware mitbringen.

Sorry, aber was hat das mit der konkreten Problemstellung zu tun?

Oder verwechselst Du hier "Bot" im Sinne von "Botnetz" = Malware mit dem "Search Engine Robot", der halt auch als "Bot" abgekürzt wird?

Ich weiß jetzt ja nicht, wie Du / Ihr die IP ermittelt habt.

Ich würde mir in solch einem Fall mal den "Access- Log" des Webservers ansehen (vermutlich Apache oder Nginx).

Im Logfile des Apache, um mal bei diesem Beispiel zu bleiben, sehe das dann z.B. so aus:

111.222.333.123 HOME - [01/Feb/1998:01:08:39 -0800] "GET /bannerad/ad.htm HTTP/1.0" 200 198 "http://www.referrer.com/bannerad/ba_intro.htm" "Mozilla/4.01 (Macintosh; I; PPC)"

Das kann bei Dir das gleiche Format haben, muss es aber nicht, da man die Ausgabe und den Umfang der Angaben, die der Apache Webserver loggt, konfigurieren kann (Stichwort "LogFormat").

In diesem Beispiel wären die beiden folgenden Abschnitt interessant:
"http://www.referrer.com/bannerad/ba_intro.htm"
Das ist der Referrer, also sozusagen ein Verweis auf die Seite, auf der der "Nutzer" den Link "angeklickt" hat, der ihn zu dieser Seite (in deinem Fall das Suchergebnis) geführt hat.

"Mozilla/4.01 (Macintosh; I; PPC)"
Das ist der übermittelte "User-Agent" - sozusagen die Browser- und Betriebssystemversion, die das seitenaufrufende System verwendet.
Welche Daten da übermittelt werden steht jedem System frei, das kann man beliebig ändern (z.B. bei Firefox und Chrome).
Search Egine Bots senden hier meist eine eindeutige Kennung, eine Liste findet man u.a. hier: https://www.keycdn.com/blog/web-crawlers#top-10-web-crawlers-and-bots

MfG

McAvity
 

Kojiro

Gut bekanntes Mitglied
16. November 2010
195
5
Ich weiß jetzt ja nicht, wie Du / Ihr die IP ermittelt habt.
Ich habe mir die Suchen im JTL Search Backend angeschaut und dann die Log-Dateien vom Server nach dem Suchparameter durchsucht. Dabei dann die IP gefunden. Und wenn ich dann in der Log Datei die IP-Adresse eingebe sehe ich was der "Nutzer" da so getrieben hat.

Hier mal Auszüge von dem was täglich passiert (IP wurde von mir gelöscht, das fett gedruckte sind die EAN Suchanfragen

- - [26/Aug/2021:06:48:48 +0200] "GET /navi.php?qs=5011921116461 HTTP/1.0" 200 54912 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36"
- - [26/Aug/2021:06:48:49 +0200] "GET /navi.php?qs=5011921111633 HTTP/1.0" 200 54908 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36"
- - [26/Aug/2021:06:48:51 +0200] "GET /navi.php?qs=5011921111596 HTTP/1.0" 200 54910 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36"
- - [26/Aug/2021:06:48:53 +0200] "GET /navi.php?qs=5011921112289 HTTP/1.0" 200 54912 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36"
- - [26/Aug/2021:06:48:55 +0200] "GET /navi.php?qs=5011921112265 HTTP/1.0" 200 54912 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36"
- - [26/Aug/2021:06:48:57 +0200] "GET /navi.php?qs=5011921112357 HTTP/1.0" 200 54907 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36"
- - [26/Aug/2021:06:48:59 +0200] "GET /navi.php?qs=5011921112333 HTTP/1.0" 200 54911 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36"

Das hier wären auch noch einige Zeilen, welche ausserhalb der Suchanfragen, aber am gleichen Tag mit gleicher IP gelaufen sind. Die Einträge habe ich gestern Abend gefunden, daraus schließt sich für mich, dass der Nutzer ein Kundenkonto bei mir hat, jetzt ist für mich nur die Frage wie kann ich das daraus zurückverfolgen? JTL habe ich heute morgen schon angeschrieben, bisher nur noch keine Antwort erhalten. Auf die Kundentabellen im PHPmyadmin habe ich keinen Zugriff

[20/Aug/2021:11:48:51 +0200] "GET /Mein-Konto?bestellung=96741 HTTP/1.0" 200 39543 "https://www.xxx.de/Mein-Konto" "Mozilla/5.0 (Linux; Android 11; Pixel 4a (5G)) AppleWebKit/537.36 (KHTML, like Gecko) SamsungBrowser/14.2 Chrome/87.0.4280.141 Mobile Safari/537.36"

[23/Aug/2021:20:05:02 +0200] "GET /Mein-Konto?a=53428&n=1&r=7 HTTP/1.0" 200 38333 "https://www.xxx.de/xxx" "Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1"

[24/Aug/2021:23:44:33 +0200] "GET /Bestellvorgang HTTP/1.0" 200 41811 "https://www.xxx.de/xxx" "Mozilla/5.0 (Linux; Android 9; SM-N950F) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Mobile Safari/537.36"

[24/Aug/2021:23:44:43 +0200] "POST /Bestellvorgang HTTP/1.0" 200 39737 "https://www.xxx.de/xxx" "Mozilla/5.0 (Linux; Android 9; SM-N950F) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Mobile Safari/537.36"
 

McAvity

Sehr aktives Mitglied
7. September 2016
595
146
das fett gedruckte sind die EAN Suchanfragen

Jetzt wäre ja die Frage, was Du verkaufst. Gut, die Produkte kann man über die EAN ermitteln, darum geht es aber nicht.
Die Frage ist halt: sind das z.B. Sammlerstücke, die nicht immer verfügbar sind oder die täglichen Preisschwankungen unterliegen?

Vielleicht ist das ja ein passionierter Sammler, der bestimmten Artikeln "hinterherjagt". Oder es ist ein Mitbewerber, der deine Preise / Bestände auswertet.
Der User Agent ist ja nun eher etwas außergewöhnlich und findet sich in einigen Listen für Sicherheitstools von vor 2-3 Jahren.

jetzt ist für mich nur die Frage wie kann ich das daraus zurückverfolgen
[20/Aug/2021:11:48:51 +0200] "GET /Mein-Konto?bestellung=96741 HTTP/1.0"

Vielleicht reicht das? ;)

MfG

McAvity
 

Kojiro

Gut bekanntes Mitglied
16. November 2010
195
5
Leider nicht, das ist nur die fortlaufende ID in der SQL und nicht die eigentliche Bestellnummer. Wichtig ist es das ich mir sicher bin wenn ich Anschuldigungen gegen einen potenziellen Kunden erhebe. Da die EAN nur Händlern zur Verfügung stehen, gehe ich von einem Mitbewerber aus.

Die Frage für mich wäre aktuell, was ist das
GET /Mein-Konto?a=53428&n=1&r=7 HTTP/1.0" 200 38333

Die Kundennummer kann es nicht sein
 

McAvity

Sehr aktives Mitglied
7. September 2016
595
146
Laut hier ( https://forum.jtl-software.de/threads/variable-fuer-jtl-shop-url.117739/ ) könnte es die interne Artikelnummer sein.

Da die EAN nur Händlern zur Verfügung stehen

Das stimmt so nicht ganz. Der Hersteller bietet auf seiner Webseite ja die komplette Händler-Preisliste für z.B. D ohne Registrierung zum Download an. Darin sind auch sämtliche EAN enthalten.

Aber wenn ich das richtig sehe sind doch viele der mit den Artikeln verbundenen EAN aktuell nicht lieferbar, oder?

MfG

McAvity
 

Kojiro

Gut bekanntes Mitglied
16. November 2010
195
5
Das stimmt so nicht ganz. Der Hersteller bietet auf seiner Webseite ja die komplette Händler-Preisliste für z.B. D ohne Registrierung zum Download an. Darin sind auch sämtliche EAN enthalten.
echt? Wo? Ich kenne nur den Direktdownload welcher wöchentlich per Mail kommt, aber habe jetzt auf Anhieb keine Verlinkung innerhalb des Shops gefunden

Aber wenn ich das richtig sehe sind doch viele der mit den Artikeln verbundenen EAN aktuell nicht lieferbar, oder?
Jaein, ist mit unter vom Artikel abhängig, aber generell gibt es durchaus limitierte Artikel.
 

McAvity

Sehr aktives Mitglied
7. September 2016
595
146
Ähnliche Themen
Titel Forum Antworten Datum
Neu Bestimmte Artikel von JTL-Search ausschließen JTL-Search 0
Neu JTL-Search - funktioniert nach Anmeldung als Kunde schlechter als ohne Anmeldung User helfen Usern - Fragen zu JTL-Wawi 0
Neu Best Pratices Shopware - JTL - Buchhaltung User helfen Usern - Fragen zu JTL-Wawi 1
Neu JTL Ameise Extrem Langsam im Export JTL-Ameise - Fehler und Bugs 7
Wichtig 👉 Wichtiger Hinweis: JTL-eazyAuction Server Downtime am Dienstag, 02.04.2024 News, Events und Umfragen 0
Neu Wechsel WAWI Hosting von JTL mit RDP auf ecomDATA User helfen Usern - Fragen zu JTL-Wawi 2
JTL Worker Manueller Abgleich nicht möglich trotz deaktivierem Worker 2.0 JTL-Wawi 1.8 4
Neu JTL Shopify Connector und Billbee frage Shopify-Connector 0
Neu Nach Umstellung auf WMS Probleme mit der JTL Ameise Installation von JTL-WMS / JTL-Packtisch+ 0
Neu JTL Pos Sum-Up Rückgabe Allgemeine Fragen zu JTL-POS 0
Neu JTL Worker 2.0 und tinetbestellung Technische Fragen zu den JTL-Connectoren 0
Neu JTL-Shop 5.3 - Aktuell 5.3.1 Releaseforum 1
Neu JTL 1.8.12.0 - Artikelattribut für Shop importieren - Format CSV-Datei / Hilfe bei Import von individuellen Attributen für JTL-Shop (googlekat) JTL-Ameise - Ideen, Lob und Kritik 1
JTL Shop Gutscheine über JTL-Vouchers erstellen Allgemeine Fragen zu JTL-Vouchers 1
Neu JTL Connector zu SW6 auch als Testumgebung möglich ? Onlineshop-Anbindung 3
Neu Update des JTL shops aus der Wawi funktioniert nicht Allgemeine Fragen zu JTL-Shop 1
Neu JTL Shop Gutscheine über JTL-Vouchers erstellen Allgemeine Fragen zu JTL-Shop 0
Neu JTL zu Shopify Bestand wird nicht aktualisiert Shopify-Connector 0
Neu JTL Wawi Bild-Upload unvollständig oder nur als mit meinem PC hochgeladen zu sehen User helfen Usern - Fragen zu JTL-Wawi 2
JTL Multishop: Domain 1: Eine Sprache, eine Währung | Domain 2: 3 Sprachen, 3 Währungen JTL-Wawi 1.7 3
Neu Email Versand in JTL Wawi einstellen User helfen Usern - Fragen zu JTL-Wawi 3
Neu Produktfeld "Produktkategorie" von JTL nach Shopify? Shopify-Connector 0
Neu Greyhound JTL-Connector funktioniert nach Update auf 1.8.12 nicht mehr richtig Technische Fragen zu den JTL-Connectoren 5
Neu JTL erstellt falsche Rechnungskorrekturen für Amazon.co.uk Aufträge und verweigert den Support Amazon-Anbindung - Fehler und Bugs 5
Neu E-Commerce-Effizienz steigern: Welche Programmiersprache verbessert die JTL-Shop-Entwicklung? Technische Fragen zu Plugins und Templates 1
Neu JTL-Wawi Logdatei Speicherort JTL-Wawi - Fehler und Bugs 6
In Diskussion JTL POS Kundennummer wird nicht an JTL Wawi übertragen JTL-POS - Fehler und Bugs 2
Auftrag und Rechnung Ausgabe funktioniert nicht Client JTL 1.8.10.0 JTL-Wawi 1.8 9
Neu DPD-Versand in Nicht-EU-Länder mit JTL-Shipping JTL-ShippingLabels - Ideen, Lob und Kritik 1
Neu JTL-Ameise Kontaktdaten-Export und in Greyhound importieren plus Zuweisen User helfen Usern 1
Wichtig 👉 Wichtiger Hinweis: JTL-eazyAuction Server Downtime am Dienstag, 12.03.2024 News, Events und Umfragen 0
Neu JTL Shipping Labels mit DHL Unterschied Versenden, Versenden 3.0 und Intraship User helfen Usern - Fragen zu JTL-Wawi 8
Tablet Empfehlung für JTL-WaWi APP? JTL-Wawi App 0
Neu JTL überträgt Versandart Sendungsnummer nur teilweise an Amazon Amazon-Anbindung - Fehler und Bugs 3
Neu JTL-Installation- Verbindung zur Datenbank -SA Kennwort Installation von JTL-Wawi 22
Neu Alle Produktbilder in Shopify aus JTL löschen Shopify-Connector 0
Neu Kompatibilitätsliste JTL Shop & JTL Wawi Installation / Updates von JTL-Shop 2
Neu JTL-POS installation vom Playstore Einrichtung / Updates von JTL-POS 2
Neu JTL-POS installation vom Playstore Installation von JTL-Wawi 0
Neu JTL-Kenner Raum Aachen zur Mithilfe gesucht Dienstleistung, Jobs und Ähnliches 2
Neu JTL-Shop 5 Paypal Zahlung 30 Tage Zahlungsziel Allgemeine Fragen zu JTL-Shop 6
Neu JTL-Shop 5.3.0 RC3 Fehler nach Update Portlet Banner, fehlendes Produkt JTL-Shop - Fehler und Bugs 0
Neu Umstieg von Shopware 5 zu JTL Shop 5 - Ranking behalten Allgemeine Fragen zu JTL-Shop 2
Neu JTL Connector Woocomerce für PHP Version 7.4 WooCommerce-Connector 2
Neu Verbindungsproblem Wawi (1.8.12.0) zum JTL-Shop (5.2.4) über localhost User helfen Usern - Fragen zu JTL-Wawi 0
Neu JTL 1.5.55.8 Statistik - durschnittlicher Verkaufspreis - Mengen und Position User helfen Usern - Fragen zu JTL-Wawi 0
Neu JTL-Wawi mit Shopware/Magnalister User helfen Usern - Fragen zu JTL-Wawi 3
Neu Lizenz zu verkaufen für JTL-Shop Standard Edition Allgemeine Fragen zu JTL-Shop 4
JTL stürzt bei Druckvorschau oder Drucken seit Wechsel auf v.1.7 immer wieder ab JTL-Wawi 1.8 6
JTL Shop : automatisch setzen: Verfügbar ab: 28.04.2024 (Vorbestellung möglich) JTL-Wawi 1.8 0

Ähnliche Themen