Neu Achtung: JTL-Search & Cloudflare inkompatibel

[intrinsicforce]

Hallo allerseits,

wie mir kürzlich vom Support bestätigt wurde, stört Cloudflare die Verbindung zwischen dem Shop- und den JTL-Search Servern.

Das hat zur Folge, dass Artikel über JTL-Search ggf. nicht gefunden werden können, selbst bei korrekter Eingabe des Artikelnamens, der Artikel-ID oder sonstiges, bei keine Fehlertoleranz erforderlich ist.

JTL hat diese Problematik bislang nicht über die Hilfeseiten kommuniziert. Der Fehler ist auch nicht einfach aufzudecken, da nur ein bestimmter Teil der Artikel betroffen ist. Zur Prüfung müsste ggf. jeder Artikel einzeln mit der ID abgesucht werden, um festzustellen, ob dieser überhaupt auf dem JTL-Search Server liegt. Nach einer Stichprobenprüfung waren in unserem Fall ca. 30 % betroffen, möglicherweise über Jahre hinweg.

Cloudflare ist an sich sehr sinnvoll zur erhöhten Abwehr von Angriffen und Bots, welche ordentlich Traffic oder auch kostenpflichtige Suchanfragen erzeugen können (siehe hier ->Link). Ein Lösungsvorschlag seitens JTL besteht noch nicht - außer Cloudflare für den Shop abzustellen.

Eventuell muss die Konfiguration angepasst werden, Vorgehensweise ist jedoch unklar, da keine Details dazu verfügbar sind, wie genau die Verbindung gestört wird. Eventuell besteht das Problem auch bei Nutzung anderer CDNs, wurde aber nicht geprüft.

 

[NoOne]

Dynamischer Content und Cache ist generell kein leichtes Thema. Was bei Search (oder auch Doofinder) noch erschwerend dazu kommt: Die eigentlichen Daten liegen nicht auf dem Webserver, auf dem dein Shop liegt. Der Shop schickt die Suchanfrage an die Searchserver und der Searchserver sendet das Ergebnis zurück an den Shop. Wenn Cloudflare sich jetzt dazwischen schaltet und die Anfrage an den Search-Server nicht weiterleitet, weil dort schon eine gecachte Version vorliegt, dann ist das schlecht. Dann liefert Cloudfalre die bereites gecachte Anfrage zurück. Und wenn das veraltet ist, dann gibts unter Umständen ein falsches Ergebnis.

Cloudflare darf sich hier nicht einmischen, wenn Daten an Search übertragen und von Search zurück an den Shop übertragen werden. Weder bei der Suche, noch bei den Deltas und Komplett-Exporten. Ohne jetzt groß darüber nachzudenken, würde ich alles von Cloudflare ausschließen, dass /search in der URL und/oder qs als GET-Parameter enthält. Sowie auch komplett /export vom Shop. Weil da sowohl die Search-Deltas als auch die Komplett-Exporte drinliegen (und auch die Exportformate).

Wobei ich da jetzt kein Experte bin und nicht weiß, wie granular man Cloudflare da konfigurieren kann.

 

[intrinsicforce]

Cloudflare darf sich hier nicht einmischen, wenn Daten an Search übertragen und von Search zurück an den Shop übertragen werden. Weder bei der Suche, noch bei den Deltas und Komplett-Exporten. Ohne jetzt groß darüber nachzudenken, würde ich alles von Cloudflare ausschließen, dass /search in der URL und/oder qs als GET-Parameter enthält. Sowie auch komplett /export vom Shop. Weil da sowohl die Search-Deltas als auch die Komplett-Exporte drinliegen (und auch die Exportformate).

Wobei ich da jetzt kein Experte bin und nicht weiß, wie granular man Cloudflare da konfigurieren kann.

Die Komplett-Exporte sind auch betroffen... Laufen nie durch.

Scheint dann auch so als wäre nur die Shopinterne Suche oder die Ajax-Suche von Netzdinge mit CDN nutzbar ohne weitere Einstellungen, da nur diese direkt auf dem Shopserver laufen.

Problem bei deinem Vorschlag zur Konfiguration: Wenn Cloudflare die Such-URLs grundsätzlich nicht mehr über den Proxy laufen lässt, wäre der Weg an dieser Stelle wieder frei für die Bots...

 

[NoOne]

Dann darf da ggf. nicht zu lang gecacht werden und man muss damit leben, dass die Suchergebnisse für 1 Tag oder X Stunden nach Abgleich nicht stimmen. Solang zumindest die Exporte zu den Search Servern durchkommen.

 

[intrinsicforce]

Veraltete Suchergebnisse wären ein kleineres Problem als das komplette Fehlen eines Großteils der Artikel.

Es sind vor allem die Exporte zu den Search-Servern, die nicht ankommen. Im Backend werden diese nach der Erstellung nicht gelistet bzw. die Statusmeldung verbleibt nach manuellem Export bei:

Es wurden noch keine erfolgreichen Imports durchgeführt.

Für einzelne Ordner wie z.B. /export ließe sich bei Cloudflare ein Cache-Bypass einrichten. Aber selbst nach Einrichtung dieser oder der Umstellung auf "Development-Mode", welche den Cache generell deaktiviert, änderte sich nichts am Verhalten bzw. dieser Statusmeldung. Prüfzeitraum war jedoch unter 30 min, unklar wie lange es braucht, bis die Daten zum Search-Server übertragen werden (sind nur 550 Artikel, jtlsearch.zip hat nur ~250 kb)

 

[NoOne]

Übertragen geht schnell. Indizieren manchmal nicht so... Die Search-Server sind auch sowas wie Shared Hosting, mein ich. Wenn da also entsprechend viel los ist, dauert alles ein bissel länger.

 

[P0ttwal]

Veraltete Suchergebnisse wären ein kleineres Problem als das komplette Fehlen eines Großteils der Artikel.

Es sind vor allem die Exporte zu den Search-Servern, die nicht ankommen. Im Backend werden diese nach der Erstellung nicht gelistet bzw. die Statusmeldung verbleibt nach manuellem Export bei:

Für einzelne Ordner wie z.B. /export ließe sich bei Cloudflare ein Cache-Bypass einrichten. Aber selbst nach Einrichtung dieser oder der Umstellung auf "Development-Mode", welche den Cache generell deaktiviert, änderte sich nichts am Verhalten bzw. dieser Statusmeldung. Prüfzeitraum war jedoch unter 30 min, unklar wie lange es braucht, bis die Daten zum Search-Server übertragen werden (sind nur 550 Artikel, jtlsearch.zip hat nur ~250 kb)

Es gibt ein paar Ordern die man ausschließen sollte. Auch für den reibungslosen Abgleich mit dem Worker.

Hab hier auch beides in einem Shop am laufen. Und fehlende Produkte sind mir da in der Suche noch nie aufgefallen.

 

[recent.digital]

Ein bisschen OT, aber dennoch ggf. interessant: Die KI-Option von Cloudflare nicht aktivieren. Diese Blockiert auch bekannte Zahlungsdienstleister etc. und sorgt so womöglich für Chaos.

 

[intrinsicforce]

Ein bisschen OT, aber dennoch ggf. interessant: Die KI-Option von Cloudflare nicht aktivieren. Diese Blockiert auch bekannte Zahlungsdienstleister etc. und sorgt so womöglich für Chaos.

Du meinst aber nicht die KI-Bot-Blocker, oder (Option heisst dort Block AI Scrapers and Crawlers)?

Sonst kenne ich nämlich keine KI-Option, ist wahrscheinlich etwas aus einem Paid-Plan...

 

[recent.digital]

Du meinst aber nicht die KI-Bot-Blocker, oder (Option heisst dort Block AI Scrapers and Crawlers)?

Sonst kenne ich nämlich keine KI-Option, ist wahrscheinlich etwas aus einem Paid-Plan...

Ja bezog sich auf einen Paid-Plan.