Neu Doofinder wird von Bot voll gemüllt

[flori]

Hallo

Wir arbeiten mit Doofinder bei dem wir pro Suchanfrage zahlen. Das läuft über das Webstollen Plugin.
In den letzten paar Tagen ist die Anzahl der Suchen auf das >10 fache gestiegen. In kürzerster Zeit wurde unser Kontingent aufgebraucht.

Doofinder hat mir daraufhin das Logfile gegeben und gesagt ich muss die IP sperren. Keine gute Idee, da das unsere eigne IP war.

In unserem Access Log habe ich dann gesehen dass der Bing Bot die Suche über unseren Server direkt an Doofinder auslöst und so unser Kontingente verbraucht.

Kennt das Problem jemand? Muss ich das über die Robots sperren?

danke

 

[recent.digital]

Danke für den Hinweis.

Wir haben einige Kunden die Doofinder einsetzen - ich werde das in der kommenden Woche über unseren Support abklären und ggf. hier Wissenswertes posten.

 

[Schmalfred]

Hallo

Wir arbeiten mit Doofinder bei dem wir pro Suchanfrage zahlen. Das läuft über das Webstollen Plugin.
In den letzten paar Tagen ist die Anzahl der Suchen auf das >10 fache gestiegen. In kürzerster Zeit wurde unser Kontingent aufgebraucht.

Doofinder hat mir daraufhin das Logfile gegeben und gesagt ich muss die IP sperren. Keine gute Idee, da das unsere eigne IP war.

In unserem Access Log habe ich dann gesehen dass der Bing Bot die Suche über unseren Server direkt an Doofinder auslöst und so unser Kontingente verbraucht.

Kennt das Problem jemand? Muss ich das über die Robots sperren?

danke

Servus, das hatten wir Ende April auch.. eigentlich müsste Doofinder eine IP Sperre für ungewöhnliche Abfragen haben, über die robots.txt kann man m.w.n. keine "Such"-Formular/Eingabefelder sperren. Bei doofinder selbst kann man IP's (Bereiche) sperren. https://www.doofinder.com/support/general/search-engine-security

Der Bing Bot hat laut einer aktuellen Liste folgende IP Bereiche.. die einfach mal in den Settings bei Doofinder eintragen.. ohne Gewähr.. wir testen das auch nur gerade nach dem Schema.

157.55.39.0/24
207.46.13.0/24
40.77.167.0/24
13.66.139.0/24
13.66.144.0/24
52.167.144.0/24
13.67.10.16/28
13.69.66.240/28
13.71.172.224/28
139.217.52.0/28
191.233.204.224/28
20.36.108.32/28
20.43.120.16/28
40.79.131.208/28
40.79.186.176/28
52.231.148.0/28
51.8.235.176/28
51.105.67.0/28

 

[flori]

Hallo


Funktioniert so leider nicht!

Wie geschrieben, müsste ich meine eigene Shop IP sperren! Doofinder sieht nicht die IPs der Bots.

Das funktioniert folgend:
Der Bot verwendet nicht die Suche über das Suchfeld, sondern durchsucht die URLs
Wir haben im Doofinder Plugin eingestellt, dass auch bei der nativen Suche die Doofinder Daten geladen werden sollen. (Würde aus meiner Sicht ja Sinn machen das die Suchergebnisse gleich sind.

In dem Fall steht aber unsere eigene Shop IP im Doofinder Log, und ich müsste diese Sperren. Dann funktioniert aber unsere Suche nicht mehr!

Workaround bis jetzt:
Unsere IP lassen wir gesperrt.
Native Suche verwendet nicht das Doofinder Ergebnis

So haben wir unterschiedliche Ergebnisse in der Suche aber die Bots verbrauchen nicht unsere Kontingente.

Ales sehr wenig zufriedenstellend!

sg Florian
www.kite-team.de

 

[forumjtlolshopag]

Also wir nutzen Doofinder auch, haben aber die Native Suche nicht aktiviert und das Layer via Javascript so gestaltet, das es wie eine "normale" Suche funktioniert. Fanden das so besser. Das Layer geht bei uns 100% in die Breite und lässt nur etwas raum oben für das Logo etc. Damit fahren wir aktuell ganz gut.

 

[csaeum]

Frag doch mal beim Doofinder support nach die sind schnell und gut.

PS: Falsches Unterforum das müsste eigentlich in den JTL- Shop Bereich!