Neu Doofinder wird von Bot voll gemüllt

flori

Aktives Mitglied
17. Januar 2017
89
14
Hallo

Wir arbeiten mit Doofinder bei dem wir pro Suchanfrage zahlen. Das läuft über das Webstollen Plugin.
In den letzten paar Tagen ist die Anzahl der Suchen auf das >10 fache gestiegen. In kürzerster Zeit wurde unser Kontingent aufgebraucht.

Doofinder hat mir daraufhin das Logfile gegeben und gesagt ich muss die IP sperren. Keine gute Idee, da das unsere eigne IP war.

In unserem Access Log habe ich dann gesehen dass der Bing Bot die Suche über unseren Server direkt an Doofinder auslöst und so unser Kontingente verbraucht.

Kennt das Problem jemand? Muss ich das über die Robots sperren?

danke
 

Schmalfred

Gut bekanntes Mitglied
12. Oktober 2007
240
12
Hallo

Wir arbeiten mit Doofinder bei dem wir pro Suchanfrage zahlen. Das läuft über das Webstollen Plugin.
In den letzten paar Tagen ist die Anzahl der Suchen auf das >10 fache gestiegen. In kürzerster Zeit wurde unser Kontingent aufgebraucht.

Doofinder hat mir daraufhin das Logfile gegeben und gesagt ich muss die IP sperren. Keine gute Idee, da das unsere eigne IP war.

In unserem Access Log habe ich dann gesehen dass der Bing Bot die Suche über unseren Server direkt an Doofinder auslöst und so unser Kontingente verbraucht.

Kennt das Problem jemand? Muss ich das über die Robots sperren?

danke
Servus, das hatten wir Ende April auch.. eigentlich müsste Doofinder eine IP Sperre für ungewöhnliche Abfragen haben, über die robots.txt kann man m.w.n. keine "Such"-Formular/Eingabefelder sperren. Bei doofinder selbst kann man IP's (Bereiche) sperren. https://www.doofinder.com/support/general/search-engine-security

Der Bing Bot hat laut einer aktuellen Liste folgende IP Bereiche.. die einfach mal in den Settings bei Doofinder eintragen.. ohne Gewähr.. wir testen das auch nur gerade nach dem Schema.

157.55.39.0/24
207.46.13.0/24
40.77.167.0/24
13.66.139.0/24
13.66.144.0/24
52.167.144.0/24
13.67.10.16/28
13.69.66.240/28
13.71.172.224/28
139.217.52.0/28
191.233.204.224/28
20.36.108.32/28
20.43.120.16/28
40.79.131.208/28
40.79.186.176/28
52.231.148.0/28
51.8.235.176/28
51.105.67.0/28
 

flori

Aktives Mitglied
17. Januar 2017
89
14
Hallo


Funktioniert so leider nicht!

Wie geschrieben, müsste ich meine eigene Shop IP sperren! Doofinder sieht nicht die IPs der Bots.

Das funktioniert folgend:
Der Bot verwendet nicht die Suche über das Suchfeld, sondern durchsucht die URLs
Wir haben im Doofinder Plugin eingestellt, dass auch bei der nativen Suche die Doofinder Daten geladen werden sollen. (Würde aus meiner Sicht ja Sinn machen das die Suchergebnisse gleich sind.

In dem Fall steht aber unsere eigene Shop IP im Doofinder Log, und ich müsste diese Sperren. Dann funktioniert aber unsere Suche nicht mehr!

Workaround bis jetzt:
Unsere IP lassen wir gesperrt.
Native Suche verwendet nicht das Doofinder Ergebnis

So haben wir unterschiedliche Ergebnisse in der Suche aber die Bots verbrauchen nicht unsere Kontingente.

Ales sehr wenig zufriedenstellend!

sg Florian
www.kite-team.de
 

forumjtlolshopag

Sehr aktives Mitglied
6. Juni 2018
614
163
Also wir nutzen Doofinder auch, haben aber die Native Suche nicht aktiviert und das Layer via Javascript so gestaltet, das es wie eine "normale" Suche funktioniert. Fanden das so besser. Das Layer geht bei uns 100% in die Breite und lässt nur etwas raum oben für das Logo etc. Damit fahren wir aktuell ganz gut.
 

csaeum

Sehr aktives Mitglied
23. Juli 2011
1.295
141
Küps
Frag doch mal beim Doofinder support nach die sind schnell und gut.

PS: Falsches Unterforum das müsste eigentlich in den JTL- Shop Bereich!
 
Ähnliche Themen
Titel Forum Antworten Datum
Rechnungsentwurf wird nicht zur Rechnung bei Auslieferung JTL-Wawi 1.8 0
Bestand von Kinderartikeln wird im Vaterartikel zusammenaddiert JTL-Wawi 1.8 1
Neu Rechnungsdatum ist gleich Lieferdatum wird nicht erkannt User helfen Usern - Fragen zu JTL-Wawi 1
Neu PrestaShop Connector für Prestashop 8 mit PHP 8.2 wird nicht unterstützt PrestaShop-Connector 0
Neu Auftrag mit Freiposition Menge 0 läßt sich nicht ausliefern + wird nicht auf Lieferschein angezeigt User helfen Usern - Fragen zu JTL-Wawi 1
Neu Merkmalübersetzung wird im Shop nicht angezeigt JTL-Shop - Fehler und Bugs 2
Neu JTL zu Shopify Bestand wird nicht aktualisiert Shopify-Connector 0
Neu Wo kann ich einstellen, welche Rechnungsvorlage "gezogen" wird Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 13
Neu FBA Lager wird nicht angelegt Amazon-Anbindung - Fehler und Bugs 11
Neu Rechnung wird nicht auf englisch gespeichert Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 3
Neu Wareneingang Packtisch 1.8.12.0: Seriennumer wird abgeschnitten. JTL-WMS / JTL-Packtisch+ - Fehler und Bugs 1
Neu Fehler: Sonderpreis falsch formatiert, wird nicht importiert; obwohl importiert genau wie exportiert User helfen Usern - Fragen zu JTL-Wawi 0
Neu Versandmail / Versandbenachrichtigung wird nicht gesendet JTL-Wawi - Fehler und Bugs 1
Neu Menüleiste wird plötzlich in der Mitte von der Seite angezeigt Allgemeine Fragen zu JTL-Shop 0
In Diskussion JTL POS Kundennummer wird nicht an JTL Wawi übertragen JTL-POS - Fehler und Bugs 2
Neu SEO URL der Kategorien wird nicht an Shopware 6 übertragen Shopware-Connector 0
Kann ich eine email an die Wawi senden durch die dann ein neuer Auftrag generiert wird? (Daten müssen händisch vervollständigt werden...) JTL-Wawi 1.8 2
Issue angelegt [WAWI-75449] Artikel duplizieren - ASIN wird nicht mit dupliziert. JTL-Wawi - Fehler und Bugs 1
Neu Ware auf Retoureplatz wird als "verfügbar" betrachtet JTL-Wawi - Fehler und Bugs 2
Gelöst Packtisch+ 1.8.112 : Rechnung wird bei Teillieferung erzeugt, obwohl als Ausführungsbedingung "Nur bei der letzten Teillieferung" ausgewählt ist. JTL-WMS / JTL-Packtisch+ - Fehler und Bugs 2
Neu Funktionsattribut unverkäuflich wird nicht an den Shop übertragen Allgemeine Fragen zu JTL-Shop 1
Neu Title Tag wird auf Loginseite nicht übernommen Betrieb / Pflege von JTL-Shop 1
Neu Erstinstallation JTL WaWi 1.8.12 - heruntergeladen wird SQL Express 2017 _statt_ der empfohlenen 2022 Version Installation von JTL-Wawi 8
Neu Kurzbeschreibung von einem "Stücklisten-Artikel" wird in der Rechnungskorrektur Vorlage nicht angezeigt. Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 1
Neu Shop wird nicht verbunden Onlineshop-Anbindung 2
Neu Guthaben reduziert nicht den Auftragswert sondern wird als Zahlung angerechnet User helfen Usern - Fragen zu JTL-Wawi 2
Neu Sortiernummer Merkmalwert wird nicht richtig übernommen (Ameise) JTL-Wawi - Fehler und Bugs 0
Lieferanten EK wird nicht auf Artikelebene kopiert? EK ist überall 0 beim Artikel. JTL-Wawi 1.8 8
Neu Versandkosten Berechnung im Warenkorb wird nicht aktualisiert JTL-Shop - Fehler und Bugs 1
Neu Mailvorlagen - Footer - Email wird nicht angezeigt? Allgemeine Fragen zu JTL-Shop 0
Verwiesen an Support TSE Modul wird nicht mehr erkannt, kann auch nicht wieder aktiviert werden, diverse Fehlermeldungen JTL-POS - Fehler und Bugs 1
[JTL-WAWI API] Gewicht (ItemWeight) wird nicht gespeichert JTL-Wawi 1.8 2
Bug? Worker 2.0 - Shop Abgleich "Quicksync" ist kein Quicksync mehr - Paketgröße wird ignoriert JTL-Wawi 1.8 10
Beschreibung wird beim Import fehlerhaft übernommen JTL-Wawi 1.8 0
Neu MS SQL 14 Express wird langsam voll. Welche Lienzen benötigen wir? Bitte um Hilfe Eigene Übersichten in der JTL-Wawi 27
Neu Kurzbeschreibung wird nach dem letztem Shop-Abgleich nicht im Frontend angezeigt User helfen Usern - Fragen zu JTL-Wawi 0
Verwiesen an Servicepartner Warenlager wird nicht erkannt Arbeitsabläufe in JTL-Wawi 1
Neu Bei der Installation / Püfung wird Netzwerkfehler angezeigt Installation / Updates von JTL-Shop 3
Neu SQL Abfrage wird mehrfach ausgeführt - Ausgabe in der Übersicht falsch Eigene Übersichten in der JTL-Wawi 8
Neu JTL-Shop 5.2.4 - Umlaute wird in Plugins falsch übergeben JTL-Shop - Fehler und Bugs 2
Rechnung wurde erstellt und Versendet aber wird nicht angezeigt JTL-Wawi 1.8 0
Druckvorlagenset wird nicht mehr gedruckt JTL-Wawi 1.8 0
1.8.11.0 Bildname wird immer noch nicht übernommen ! JTL-Wawi 1.8 8
Neu E-Mail Versandbenachrichtigung aus JTL Wawi 1.8.10.0 wird doppelt versendet User helfen Usern 0
Neu Gewicht pro Paket, wird nicht gesplittet Arbeitsabläufe in JTL-WMS / JTL-Packtisch+ 1
Neu Gebinde wird nicht erkannt JTL-Wawi App 0
Neu Verpackungseinheit wird bei Bestücken der Einkaufsliste nicht beachtet JTL-Wawi - Fehler und Bugs 0
Neu Coupon wird nicht abgezogen Allgemeine Fragen zu JTL-Shop 11
Wo ist der JTL Worker bei der 1.8.10.0 wird nicht installiert Crash Windwos Server. Bestellungen werden nicht abgeholt JTL-Wawi 1.8 41
Neu Gefahrnummer auf Pickliste wird nicht ausgegeben User helfen Usern - Fragen zu JTL-Wawi 0

Ähnliche Themen