Neu Cloudflare und JTL Shop - Problem oder zu empfehlen?

[Weedness]

Das muss auf dem Rechner, auf dem die Wawi läuft, in die HOSTS Datei eingetragen werden. Unter Windows befindet die sich in C:\Windows\System32\drivers\etc. Da einfach im Format < Shop-IP> <Domain> eintragen, also z.B.
123.123.123.123 www.test.de

Beispiele stehen aber auch in der Datei selbst drin. Da muss man aber auch beachten, dass der Shop selbst ein gültiges SSL-Zertifikat auf die Domain hat und ausliefert. Sonst gleicht die Wawi nicht ab.

Ich habe sowohl auf meinem Desktop (JTL-Wawi) und Server (JTL Worker) die Host Datei folgendermaßen angepasst:

# --- JTL Worker Einträge für shop-weedness.de ---
31.172.XX.XX shop-XXX.de # Direkte IP für Hauptdomain
31.172.XX.XX. www.shopXX.de # Direkte IP für WWW-Subdomain

Trotzdem funktioniert der abgleich nicht.

Zusätzlich habe ich in Cloudflare die IP Adresse vom Server und Desktop Freigeschaltet. Anhang. Jtl Worker streikt immer noch: [DbeSClient]Die Verbindung mit dem Remoteserver kann nicht hergestellt werden. [DbeSClient]Ein Verbindungsversuch ist fehlgeschlagen, da die Gegenstelle nach einer bestimmten Zeitspanne nicht richtig reagiert hat, oder die hergestellte Verbindung war fehlerhaft, da der verbundene Host nicht reagiert hat 31.172.XXX

 

[OliverS]

Das sieht nach unserem Hosting aus. Wenn es der Shop ist von dem ich denke dass er es ist, dann ist der letzte Abgleichsversuch um 10:48 durchgekommen und mit einem 503 gescheitert. Das würde zu "nicht erreichbar" passen. Im Moment seh ich bei dem Shop aber keine Lastproblematik. Der Abgleich sollte derzeit problemlos funktionieren.

 

[apalusa]

nein ich bin schon auf Domäne Ebene Unterwegs. Bei mir sieht die Menüführung komplett anders aus.

Das sieht mir so aus als wärt ihr in einer teureren Stufe bei Cloudflare, nur so könnte ich mir die ganzen zusätzlichen Optionen erklären (oder es wurde etwas anderes hinzugebucht). Unter "Page Shield" gibt es keine Regeln dieser Art, oder?

Leider reicht da meine Cloudflare Kenntnis nicht aus um zu wissen, wie das bei euch nachgestellt werden kann. Die einzige Idee die ich noch hätte wäre unter "Bots" zu prüfen was es für Optionen gibt oder ob hier Regeln gesetzt werden können.

Die Benutzerdefinierten Regeln bei denen bei euch jetzt die IP zugelassen wird, habe ich bei mir in Cloudflare auch, und das sogar im selben Menüpunkt. Aber es wird hier explizit zwischen den Benutzerdefinierten und den UP-Zugriffsregeln unterschieden, ich vermute daher, dass die beiden Regelarten unterschiedlich früh/spät in der Hierarchie angewendet werden.

Ansonsten bleibt euch noch die Option den Cloudflare Support zu kontaktieren (vielleicht auch mit meinem Screenshot um zu zeigen welches Menü ihr sucht). Der Support kann da vermutlich noch am besten Helfen, wo ihr diese IP Regeln finden könnt.

 

[Weedness]

Das sieht nach unserem Hosting aus. Wenn es der Shop ist von dem ich denke dass er es ist, dann ist der letzte Abgleichsversuch um 10:48 durchgekommen und mit einem 503 gescheitert. Das würde zu "nicht erreichbar" passen. Im Moment seh ich bei dem Shop aber keine Lastproblematik. Der Abgleich sollte derzeit problemlos funktionieren.

Ja ist euer Hosting. Nach 1,5 Wochen DDos ist jetzt alles wieder auf normalzustand.


Der Abgleich sollte derzeit problemlos funktionieren. -> funktioniert er aber nicht.
letzte Abgleichsversuch um 10:48 -> Nein ich mache die ganze Zeit shop abgleiche.

Habe sogar den Proxy ausgemacht. Selbst dann funktioniert der Abgleich nicht.

 

[OliverS]

Ja ist euer Hosting. Nach 1,5 Wochen DDos ist jetzt alles wieder auf normalzustand.


Der Abgleich sollte derzeit problemlos funktionieren. -> funktioniert er aber nicht.
letzte Abgleichsversuch um 10:48 -> Nein ich mache die ganze Zeit shop abgleiche.

Habe sogar den Proxy ausgemacht. Selbst dann funktioniert der Abgleich nicht.

Kannst du den Shop aus dem Browser vom Wawi-Server aus aufrufen? Wie gesagt, in den Logs ist schon lang kein Abgleichsversuch verzeichnet. Den würde ich sehen.

Edit: Konntest du sicherlich nicht, die IP vom Wawi-Server war gesperrt. Versuch nochmal einen Abgleich.

 

[Weedness]

Das sieht mir so aus als wärt ihr in einer teureren Stufe bei Cloudflare, nur so könnte ich mir die ganzen zusätzlichen Optionen erklären (oder es wurde etwas anderes hinzugebucht). Unter "Page Shield" gibt es keine Regeln dieser Art, oder?

Leider reicht da meine Cloudflare Kenntnis nicht aus um zu wissen, wie das bei euch nachgestellt werden kann. Die einzige Idee die ich noch hätte wäre unter "Bots" zu prüfen was es für Optionen gibt oder ob hier Regeln gesetzt werden können.

Die Benutzerdefinierten Regeln bei denen bei euch jetzt die IP zugelassen wird, habe ich bei mir in Cloudflare auch, und das sogar im selben Menüpunkt. Aber es wird hier explizit zwischen den Benutzerdefinierten und den UP-Zugriffsregeln unterschieden, ich vermute daher, dass die beiden Regelarten unterschiedlich früh/spät in der Hierarchie angewendet werden.

Ansonsten bleibt euch noch die Option den Cloudflare Support zu kontaktieren (vielleicht auch mit meinem Screenshot um zu zeigen welches Menü ihr sucht). Der Support kann da vermutlich noch am besten Helfen, wo ihr diese IP Regeln finden könnt.

Nein bin im Pro Plan.

Page shield auch nichts zu finden.

Bots -> habe ich schon ausprobiert da ist nur der Super Bot Fight zu finden.

Cloudflare support gibt es erst mit einem größeren Paket.

 

[Weedness]

Kannst du den Shop aus dem Browser vom Wawi-Server aus aufrufen? Wie gesagt, in den Logs ist schon lang kein Abgleichsversuch verzeichnet. Den würde ich sehen.

Edit: Konntest du sicherlich nicht, die IP vom Wawi-Server war gesperrt. Versuch nochmal einen Abgleich.

Seite kann vom Wawi-Server abgerufen werden, aber nicht von meinem Desktop.

bitte noch mein Desktop entsperren.

Abgleich wird gerade durchgeführt.

 

[mischael134]

Mußte wegen massiven KI-Bot Zugriffen auch cloudflare installieren (eigentlich würde ich lieber was deutsches nehmen, aber ich hatte jetzt keine Geduld für einen Anbietervergleich).
Habe den Pro Plan abonniert. Und versuche nun alle Probleme auszumerzen. Das Problem ist, dass manchmal Fehler nicht reproduzierbar sind. Das macht die Fehlersuche komplexer...

Was ich schon angepasst habe:

1. hosts auf der Wawi angepasst (https://www.sfxonline.de/blog/jtl-wawi-jtl-shop-fuer-betrieb-mit-cloudflare-cdn-konfigurieren/) damit der Worker abrufen kann
2. Cloudflare IP Regel für den Abruf meines Google Shopping Exportes, sonst wird der Export Download nicht durchgelassen und die Preise im Merchant Center werden nicht aktualisiert.
3. Google Tag manager für cloudflare (https://support.google.com/google-ads/answer/16061406?hl=de), damit Ads und Analytics wieder alle Daten bekommen (ich lasse da aber nochmal einen google Techniker drüber schauen (sie richtig traue ich der Sache noch nicht)
4. Mollie webhooks werden nicht durchgelassen. Zahlungen gehen zwar durch, aber die Kommunikation ist trotzdem nicht komplett gegeben. Es werden z.B. Zahlungserinnerungen rausgeschickt, obwohl bezahlt ist. Da bin ich gerade mit Webstollen an einer Lösung.

Welche Punkte habt ihr noch in Zusammenhang mit Cloudflare, auf die man achten sollte ?

 

[vlat]

aussperren der ki bots per .htaccess nicht möglich?

 

[apalusa]

Welche Punkte habt ihr noch in Zusammenhang mit Cloudflare, auf die man achten sollte ?

Wie sich schon weiter oben in diesem Thread gezeigt hat, ist nicht alles bei Cloudflare immer ganz identisch/funktional/nötig, ich vermute mal das hängt unter anderem auch vom verwendeten Server und den dort getroffenen Konfigurationen ab. Aber trotzdem Liste ich mal auf, was wir alles umsetzen mussten damit Cloudflare bei uns funktioniert:

- Eine Umleitungsregel für die Root-Domain auf die Subdomain "www." einrichten (die Standardregel von JTL in der .htaccess wurde nach Aktivierung von Cloudflare ignoriert).
- Bei uns gab es ein Problem mit dem Cloudflare Cache (Bestellungen gingen teilweise nicht mehr, bei Aufruf der Startseite wurde stattdessen eine Artikelseite gezeigt und diverse andere Probleme), deshalb haben wir eine Page Rule erstellt um den Cache komplett zu umgehen und somit nur die Sicherheitsoptionen von Cloudflare, aber ohne den Cache/CDN zu verwenden. (Bis ich das Problem genauer diagnostizieren und beheben kann).
- Wir nutzen auch eines der vielen Tools für die regelmäßige Prüfung der Website auf Probleme und SEO Qualität. Deren Crawler werden teilweise auch blockiert und nun per User-Agent Regel an den Sicherheitstoren von Cloudflare vorbei geschleust.
- Wir verwenden eine Suche im Shop die regelmäßig aktualisiert werden muss. Hierfür wird alle 15 Minuten eine bestimmte URL von einem automatischen System aufgerufen. In Cloudflare haben wir diese spezifische Ziel-URL ebenfalls komplett an den Sicherheitsprüfungen vorbei geschleust, so dass der Aufruf ohne Probleme erfolgen kann.

Cloudflare IP Regel für den Abruf meines Google Shopping Exportes

Hierfür haben wir keine Regel aber bei uns funktioniert der Abruf absolut einwandfrei (Google greift auf die entsprechende export.csv zu die vom JTL Shop erstellt wird). Das ist wohl einer der Punkte die je nach Konfiguration bei manchen Nutzern funktionieren und bei anderen nicht.

Google Tag manager für cloudflare

Das ist auch mal ein Interessanter Punkt, wir konnten nach Aktivierung von Cloudflare keinen erkennbaren Abfall in Datenmenge oder Qualität für Google Ads & Co. feststellen, aber das ganze über eine URL von unserer Domain laufen zu lassen ist grundsätzlich ein Thema das wir uns auch mal ansehen werden.
Hierzu mal eine Frage: Muss für die URL die man hier bei Google konfiguriert irgend etwas besonderes eingerichtet werden? Da gibt es doch sicherlich ein Code Schnipsel das vorhanden sein muss, damit die Daten dann auch tatsächlich an Google gesendet werden, oder wird das automatisch von Cloudflare auf der entsprechenden Seite eingebunden wenn alles korrekt konfiguriert ist?

 

[mischael134]

aussperren der ki bots per .htaccess nicht möglich?

Das haben wir versucht, aber dann kommt halt der nächste, außerdem halten sich nicht alle an die Einschränkung. Nur um mal die Dimensionen klar zu machen. Das sind pro Std 80k Anfragen die reinkommen, davon werden ca 10k durchgelassen. außerdem gibt es auch einige "böse" Bots die sich z.B. als google bot ausgeben. Wenn man dann google nicht komplett aussperren will, wird es schwer, weil man dann IP-Adressen ausschließen muß.

 

[mischael134]

Danke für die Antwort !

Wie sich schon weiter oben in diesem Thread gezeigt hat, ist nicht alles bei Cloudflare immer ganz identisch/funktional/nötig, ich vermute mal das hängt unter anderem auch vom verwendeten Server und den dort getroffenen Konfigurationen ab. Aber trotzdem Liste ich mal auf, was wir alles umsetzen mussten damit Cloudflare bei uns funktioniert:

- Eine Umleitungsregel für die Root-Domain auf die Subdomain "www." einrichten (die Standardregel von JTL in der .htaccess wurde nach Aktivierung von Cloudflare ignoriert).

Den DNS Eintrag für das www. hatte ich im ursprünglichen DNS schon eingetragen, daher war das bei mir kein Problem. Ist wahrscheinlich grundsätzlich besser das schon im DNS und nicht erst in der .htaccess geregelt zu haben

- Bei uns gab es ein Problem mit dem Cloudflare Cache (Bestellungen gingen teilweise nicht mehr, bei Aufruf der Startseite wurde stattdessen eine Artikelseite gezeigt und diverse andere Probleme), deshalb haben wir eine Page Rule erstellt um den Cache komplett zu umgehen und somit nur die Sicherheitsoptionen von Cloudflare, aber ohne den Cache/CDN zu verwenden. (Bis ich das Problem genauer diagnostizieren und beheben kann).

Ich habe auch immer mal wieder Kunden die sich melden, weil "etwas" nicht klappt. Das ist aber nicht für mich reproduzierbar und es gibt auch keine Logs die mir da weiterhelfen (im Shop sehe ich nichts, im error_log des des WS auch nicht). Wenn noch einer eine Idee hat wo man noch schauen könnte...
Problem ist halt, dass die Kunden dann einfach zum nächsten gehen und ich das lediglich nach einiger Zeit am Umsatz sehe.
Ich hab den Cache von Cloudflare jetzt auch komplett ausgeschaltet. Es ist auch nicht so, dass ich den wirklich brauche. Solange ich nur die relevanten Anfragen bekomme, kommt die Infrastruktur gut hinterher und ist schnell genug. Mir ging es ja wirklich nur darum, dass ich Ruhe vor den KI-Bots habe.

- Wir nutzen auch eines der vielen Tools für die regelmäßige Prüfung der Website auf Probleme und SEO Qualität. Deren Crawler werden teilweise auch blockiert und nun per User-Agent Regel an den Sicherheitstoren von Cloudflare vorbei geschleust.

Habe ich noch keine Probleme festgestellt, aber was heißt das schon. Wenn der User-agent eindeutig benannt wird, ist es aber natürlich kein Problem eine Regel dafür zu bauen.

- Wir verwenden eine Suche im Shop die regelmäßig aktualisiert werden muss. Hierfür wird alle 15 Minuten eine bestimmte URL von einem automatischen System aufgerufen. In Cloudflare haben wir diese spezifische Ziel-URL ebenfalls komplett an den Sicherheitsprüfungen vorbei geschleust, so dass der Aufruf ohne Probleme erfolgen kann.

Ich lasse Anfragen der eigenen IP aktuell komplett durch, ich sehe da derzeit nur die cron_inc.php, die immer wieder aufgerufen wird. Diese php war meines Wissens für die Erstellung der export Datei notwendig. Mal beobachten ob noch mehr aufgerufen wird..

Hierfür haben wir keine Regel aber bei uns funktioniert der Abruf absolut einwandfrei (Google greift auf die entsprechende export.csv zu die vom JTL Shop erstellt wird). Das ist wohl einer der Punkte die je nach Konfiguration bei manchen Nutzern funktionieren und bei anderen nicht.

Interessant.

Das ist auch mal ein Interessanter Punkt, wir konnten nach Aktivierung von Cloudflare keinen erkennbaren Abfall in Datenmenge oder Qualität für Google Ads & Co. feststellen, aber das ganze über eine URL von unserer Domain laufen zu lassen ist grundsätzlich ein Thema das wir uns auch mal ansehen werden.
Hierzu mal eine Frage: Muss für die URL die man hier bei Google konfiguriert irgend etwas besonderes eingerichtet werden? Da gibt es doch sicherlich ein Code Schnipsel das vorhanden sein muss, damit die Daten dann auch tatsächlich an Google gesendet werden, oder wird das automatisch von Cloudflare auf der entsprechenden Seite eingebunden wenn alles korrekt konfiguriert ist?

Ich denke da ist die Frage wie du Google Ads integriert hast. Bei mir läuft mittlerweile alles über die Google Tags in Kombination mit dem Plugin von Netzdinge. Man kann die Code Schnipsel auch von Hand einfügen (die werden im Tag Manager nach der Konfiguration angeben), aber da ich mir nicht anmaße, dass Thema komplett durchdrungen zu haben, lass ich mir das von Google entsprechend einrichten und von denen bestätigen, dass es so funktioniert wie es soll...

 

[apalusa]

Ich habe auch immer mal wieder Kunden die sich melden, weil "etwas" nicht klappt. Das ist aber nicht für mich reproduzierbar und es gibt auch keine Logs die mir da weiterhelfen (im Shop sehe ich nichts, im error_log des des WS auch nicht). Wenn noch einer eine Idee hat wo man noch schauen könnte...
Problem ist halt, dass die Kunden dann einfach zum nächsten gehen und ich das lediglich nach einiger Zeit am Umsatz sehe.
Ich hab den Cache von Cloudflare jetzt auch komplett ausgeschaltet. Es ist auch nicht so, dass ich den wirklich brauche. Solange ich nur die relevanten Anfragen bekomme, kommt die Infrastruktur gut hinterher und ist schnell genug. Mir ging es ja wirklich nur darum, dass ich Ruhe vor den KI-Bots habe.

Ähnlich verhält es sich bei uns, Cloudflare ist eher als Blockade für Bots und sonstige Spammer aktiviert worden nicht weil unser Server es nicht packt.
Bei uns waren aber die Problem keine Meldungen von Kunden sondern ich hatte damit Minutenweise selbst zu kämpfen wenn ich unsere Website verwendet habe. Sicherlich gibt es da eine Konfiguration damit der Cache von Cloudflare einwandfrei mit dem Shop läuft, aber solange es nicht nötig ist, werden wir dafür nicht extra jemanden beauftragen. Falls doch mal, würde ich mein erlangtes Wissen hier dann teilen.

Ich lasse Anfragen der eigenen IP aktuell komplett durch

In unserem Fall wird der Cronjob derzeit über Cronjob.de angestoßen, kommt also nicht von unserer IP und ich bin mir nicht sicher ober Cronjob.de eine feste IP verwendet. Ich hatte mal versucht das ganze über die Cronjobs im Server einzurichten und selbst der ecomData Support meinte die Konfiguration ist richtig, funktioniert hatte es aber nicht, daher läuft das bei uns derzeit nun einfach über einen externen Service und dafür weiß ich das es funktioniert und erhalte automatisch eine Meldung per E-Mail falls der Abruf doch mal einen Fehler zurückgibt (z.B. Server nicht mehr erreichbar).

Ich denke da ist die Frage wie du Google Ads integriert hast. Bei mir läuft mittlerweile alles über die Google Tags in Kombination mit dem Plugin von Netzdinge.

Wir haben hierfür das Plugin von Webstollen, da könnte ich es zwar auch über den Tag Manager integrieren aber derzeit habe ich Analytics und Ads über die entsprechende direkte Konfiguration im Plugin eingebunden. Das Plugin hatte damals ein paar Optionen zu Steuern die ich bei der Einrichtung im Tag Manager nicht finden konnte, entweder gab es die damals dort noch nicht oder ich bin einfach aus den Hilfeseiten nicht schlau und auch mit manuelle Suche nicht fündig geworden. Da wir aber auch sonst nichts haben was über den Tag Manager zusätzlich eingebunden werden würde, hatten wir bis jetzt auch noch keinen Grund zu wechseln auch wenn es eine Option wäre.
Ich gehe mal davon aus, dass das Plugin einfach den Job übernimmt den jeweiligen Code Schnipsel auf jeder Seite einzufügen so wie es bei einer manuellen Einrichtung wäre, werde hier aber auch mal bei Webstollen nachfragen ob es da Erfahrung/Tipps zu diesem Thema gibt.

Den DNS Eintrag für das www. hatte ich im ursprünglichen DNS schon eingetragen, daher war das bei mir kein Problem. Ist wahrscheinlich grundsätzlich besser das schon im DNS und nicht erst in der .htaccess geregelt zu haben

Über den DNS Eintrag das zu regeln ist natürlich die noch bessere Option, derzeit ist unsere Domain bei Hetzner und dort ist das Menü leider nicht unbedingt so übersichtlich wie bei anderen Anbietern, allein schon deshalb, da es im Dashboard für exakt dieselbe Domain mehr als einen Eintrag, jeweils mit eigenen Einstellungen, Konfigurationen, etc. gibt.

 

[mischael134]

Zum Thema Mollie, man kann einfach den User-Agent "Mollie HTTP client/1.0" per Regel vom Super-Bot-Mode ausschließen.

Hat jetzt so lange gedauert, weil die Suche über die Logs bei Cloudflare case sensitiv ist... wenn man mollie mit kleinem "m" schreibt findet man daher nichts 😖

 

[timdocsign]

Hallo in die Runde,

ich würde hier nochmal ganz vorne ansetzen, das Problem JTL Shop Cloudflare ist ja die Cache-policys vom JTL Shop. Die da lauten

chache-control: no-store, no-cache, must-revalidate
pragma: no-cache

Das bedeutet meinr Meinung nach folgendes:

Anfrage geht zu Cloudflare (darf nicht chachen - cf-cache-status: DYNAMIC) und fragt den Request beim eurem Server an, wenn die Daten fertig sind, dann geht es über Cloudflare zurück an den Anfrageserver. Das ist natürlich ein Problem für die TTFB und verlangsamt die ganze Sache erheblich.

1. Hat jemand von euch die Cache-rules im JTL Shop geändert?
2. Hat jemand die passenden Cloudflare Cache Rules implentiert ?

Ich checke dsa gerade und habe noch nichst passendes dazu gefunden.

Grüße Alex

 

[mischael134]

Ich habe das Caching in Cloudflare ebenfalls ausgeschaltet. Es gab immer wieder Kunden die nicht bestellen konnten, wo wir aber keinen Fehler feststellen konnten.
Und da ich nur die Bot-Abwehr etc von Cloudflare benötige, weil mein Server eigentlich schnell genug ist (wenn er nur die normalen Anfragen bekommt) nutze ich das Cloudflare Caching einfach nicht.

 

[welpe]

Beim Cloudflare Cache muss man extrem aufpassen.

Hallo in die Runde,

ich würde hier nochmal ganz vorne ansetzen, das Problem JTL Shop Cloudflare ist ja die Cache-policys vom JTL Shop. Die da lauten

chache-control: no-store, no-cache, must-revalidate
pragma: no-cache

Das bedeutet meinr Meinung nach folgendes:

Anfrage geht zu Cloudflare (darf nicht chachen - cf-cache-status: DYNAMIC) und fragt den Request beim eurem Server an, wenn die Daten fertig sind, dann geht es über Cloudflare zurück an den Anfrageserver. Das ist natürlich ein Problem für die TTFB und verlangsamt die ganze Sache erheblich.

1. Hat jemand von euch die Cache-rules im JTL Shop geändert?
2. Hat jemand die passenden Cloudflare Cache Rules implentiert ?

Ich checke dsa gerade und habe noch nichst passendes dazu gefunden.

Grüße Alex

Also da ich die letzten Tage mich ein wenig damit beschäftigt habe.

Das Problem ist das sobald du auf die Website kommst ein Cookie gesetzt wird. Und zwar für den Warenkorb z.b. Deswegen auch Dynamic. Die Seite darf dann nicht mehr auf Cache da du sonst Probleme bekommst siehe unten.

Wenn du nun die Seiten auf HIT hast (also gecacht) was man mit Cloudflare erzwingen könnte dann wäre die Seite zwar schneller da ja aus dem Cache.

Problem ist nur dann das es eine Seite aus dem Cache ist mit einem falschen Cookie wodurch dann der Warenkorb fehlerhaft angezeigt wird oder man nichts mehr ins Warenkorb reinlegen kann (Fehlerhafter Token)

Also wirklich in den Cache kann man eigentlich nur Bilder usw. einfach rein tun.


Den rest wie die Beschreibung und so könnte man vielleicht rein technisch schon noch schaffen. Da müssten man den Warenkorb, Token, Cookie auslagern (das es nicht gecacht wird) und separat laden lassen. Bestimmt technisch möglich.

Aber der Aufwand und es dann nach jedem Patch zu überprüfen ob auch alles passt naja.