Neu JTL Shop 5 ... REDIS Cache läuft stündlich voll

css-umsetzung

Offizieller Servicepartner
SPBanner
6. Juli 2011
6.708
1.615
Berlin
Weil es dafür kein Plugin gibt,

Ich verwende das hier in der config.jtl- shop.ini.php am Ende der Datei

Code:
if(!empty($_SERVER['HTTP_USER_AGENT']) && preg_match("/Mb2345Browser|LieBaoFast|zh-CN|MicroMessenger|zh_CN|Kinza|MJ12bot|AhrefsBot|Bytespider/",$_SERVER['HTTP_USER_AGENT'])) {
    header('HTTP/1.0 403 Forbidden');
    die("zugriff nicht erlaubt");
}
 
  • Gefällt mir
Reaktionen: Freaky

Freaky

Sehr aktives Mitglied
7. Mai 2009
1.240
67
Habe mir jetzt noch mal die Logs angeguckt, dass ist überwiegend der Bing Bot, der das verursacht und für 500er Fehler sorgt.
Allerdings bekommt auch fast nur der die 500er Fehler. Echte Useranfragen erhalten gar keine 500er Fehler.

Bing ruft halt einfach Merkmalwertkombinationen in 10-15-facher Kombination auf.

Es wäre cool, wenn man den Bots nur die Merkmalfilterseiten sperren könnte.
 

wawi-dl

Sehr aktives Mitglied
29. April 2008
5.959
575
Wir werden noch nicht so ganz glücklich, wir müssen zunächst mal herausfinden, ob wir tatsächlich mehr RAM brauchen.
16 GB oder 32 GB wird dann gleich richtig teuer monatlich :(

Wir haben 3 Shops auf dem Server laufen, 1 ganz kleiner und 2 fast identische ... ich denke die werden sich zusätzlich dann den RAM teilen und wegnehmen?

@waldemar.p
Wir haben in einem Shop nun mal Cache "sqlite3" aktiviert, wie lange soll man dann warten um den Speicher zu prüfen???
Dieser Speicher sollte dann auch RAM sein?

Wir würden uns auch gerne mal von jemanden beraten lassen, gerne auch gegen Bezahlung, der sich dann mit unserem Hoster evtl. mal austauscht.
Ein Umzug ist uns derzeit zu komplex und nicht möglich.
 

css-umsetzung

Offizieller Servicepartner
SPBanner
6. Juli 2011
6.708
1.615
Berlin
32G ist eigentlich schon Pflicht. Du möchtest ja auch genug Apachen, bzw. fpm‘s für die vielen User bereitstellen, sonst hast du hier das nächste Nadelöhr.

Gib dem Redies 4G und lass es richtig konfigurieren. Dann wird das vernünftig laufen.

ich sagte ja schon, beim JTL Hosting läuft auch bei der 250MB Begrenzung nix über.
 
  • Gefällt mir
Reaktionen: wawi-dl

Rektor

Sehr aktives Mitglied
22. November 2011
592
189
Wir werden noch nicht so ganz glücklich, wir müssen zunächst mal herausfinden, ob wir tatsächlich mehr RAM brauchen.
16 GB oder 32 GB wird dann gleich richtig teuer monatlich
Bei welchem Hoster seid Ihr denn?

Komischerweise hatten wir das Problem im August/September auch, das der Redis Cache nach nur 1 Tag vollgelaufen war. Bei all-ink mit 1TB HDD und 8GB Arbeitsspeicher. Es machte sich immer mehr bemerkbar, das das Shopbackend nur sehr zögerlich reagierte, teilweise gar nicht mehr reagierte. Auch der Seitenaufbau im Frontend hatte teilweise unterirdisch schlechte Ladezeiten, wobei das nur manchmal vorkam.
Haben jetzt einen aktuellen Server zum gleichen Preis mit 1TB SSD und 32GB Ram, läuft jetzt sehr schnell und mit dem Redis keine Probleme mehr. Auch alles andere läuft seit dem Serverwechsel sehr flüssig.
Du solltest wirklich mal darüber nachdenken, eventuell mal auf so einen Server zu wechseln.
 
Zuletzt bearbeitet:

wawi-dl

Sehr aktives Mitglied
29. April 2008
5.959
575
Wir sind bei diesem Hoster schon sehr lange und mit dem Support mega zufrieden, so schnelle Reaktionszeiten egal um welche Uhrzeit.

Aktuell haben wir Tests laufen, haben jetzt mal auf 32GB hochgesetzt (ManagedServer), jetzt rennt auch alles wie es soll, auch im Backend (Bilder-Generierung WEBP).
REDIS wurde auf max 16GB RAM gesetzt, diese hat er sich nach 30-45min gleich gezogen, aber rennt.
Wollen dann mal schauen, ob auch 16GB ausreichen, aber bei 2 Shops wird das evtl. eng.

Was bezahlt ihr denn?
Bei uns ist alles dabei, auch Email-Postfächer und würden dann bezahlen grob 73€/mntl. Netto.
32GB RAM
8 Kerne
240GB SSD
 

wawi-dl

Sehr aktives Mitglied
29. April 2008
5.959
575
Ich hab die Email vom Hoster als Zeitpunkt genommen, kann also 15Min vorher gewesen sein, im Backend stand auf jeden Fall etwas von 1h 5min mit 16GB.
 

Rektor

Sehr aktives Mitglied
22. November 2011
592
189
  • Gefällt mir
Reaktionen: wawi-dl

hula1499

Sehr aktives Mitglied
22. Juni 2011
5.173
1.078
Der müsste doch eigentlich rennen wie Hölle.... Unterdimensioniert ist der bestimmt nicht.
Eventuell mal richtig konfigurieren..
Wie wenn du auch nur einen Funken Ahnung davon hast, was für Seiten und/oder Last drauf läuft ;)

Würde heute nur NVMe Platten nehmen (sollte gerade für Merkmallastige Seiten sicher einen kleinen Extraschub bringen) und wegen caching auch gleich zu 128 GB greifen (Preisdifferenz ist ja nicht wirklich relevant).
 

Rektor

Sehr aktives Mitglied
22. November 2011
592
189
Wie wenn du auch nur einen Funken Ahnung davon hast, was für Seiten und/oder Last drauf läuft
Da hast du eigentlich Recht.
Jedoch bin ich so schlau und frag den Hostinganbieter, weshalb einige Prozesse nur stockend laufen und bitte um Empfehlungen, wie das abgestellt werden kann.
Da du ja selbst nicht weißt, weshalb dein Redis- Cache immer wieder am Limit ist, empfehle ich dir, einen Fachmann bzw. deinen Hoster zu konsultieren, weshalb das Problem besteht. Eigentlich sollten dort Fachleute sein, welche dir auf Anhieb das Problem erklären und Abhilfen vorschlagen.
Hier im Forum kann dir sicher nur bedingt geholfen werden, zumal niemand im Forum weiß, welche Lasten wirklich auf deinem Server laufen, bzw. welche leistungshungrigen Prozesse du gar nicht beurteilen kannst. Das kann sicher dein Hoster exakt einsehen und dir entsprechende Hilfestellungen oder Hardware-Umstellung anbieten.

Es ist, wie bereits geschrieben nur seltsam, das wir fast zeitgleich Probleme mit dem Redis-Cache haben, obwohl es dazu in der Vergangenheit kein einziges Problem bei uns gab.
 

css-umsetzung

Offizieller Servicepartner
SPBanner
6. Juli 2011
6.708
1.615
Berlin
Ich tendiere mittlerweile eher zu Timme https://timmehosting.de/managed-server Managed Server t31 NVMe 350 (auch wenn mir dadurch der Nebenverdienst der Serverwartung verloren geht).
Das hat verschiedene Gründe, ein Hauptgrund besteht darin das Strato Server zu oft auf den Spamlisten stehen, obwohl der eigene Server gar nicht betroffen ist und Strato hier nicht handelt.
Daher kann ich diese meinen Kunden derzeit nicht mehr empfehlen.

Ein weiterer Grund ist die reine nginx Anbindung die schon einiges mehr bringt.

Das NVMe macht sich bei Merkmal lastigen Seiten nicht wirklich positiv bemerkbar, es gibt da eigentlich keinen Unterschied, da hier die Merkmale und die Datenbank selbst das Problem sind, das wurde in einem anderem Beitrag schon angesprochen.
Aber ja klar, NVMe ist immer die bessere Wahl und macht sich auch bemerkbar.

Ich meine das war All Inkl, da war es mal so, das die auch bei den Servern, die Webseiten auf NVMe oder SSD
laufen ließen und die Datenbank auf einer normalen oder dann auf einer SSD aufgesetzt haben. Keine Ahnung ob das noch immer so ist, aber das würde ich hinterfragen um sicherzugehen, wenn ich bei denen einen Server nehme.
 

wawi-dl

Sehr aktives Mitglied
29. April 2008
5.959
575
Die "Lifetime"-Einstellung ist genau das TTL. Bei Redis sollte sogar der Server bzw. Redis selber sich drum kümmern die alten Einträge zu entfernen, Shop setzt lediglich nur das TTL.
1GB ist allerdings recht wenig, wenn es tatsächlich der Shop wesentlich mehr benötigt. D.h. der Cache wird immer überfüllt sein und es wird häufiger auf die Datenbank zurückgegriffen, wo die Performance des Shops darunter leiden wird.
Wie bereits erwähnt, mal ggf. dann mit der SqLite-Methode ausprobieren, und die Shop-Performance mal dabei prüfen, ob es dann ggf. besser ist, weil dann der Cache sich entfalten kann. Auf Redis kann man sowieso bei Nichtgefallen wieder zurückstellen.
Wir hatten einen Shop auf REDIS umgestellt mit genug RAM, läuft jetzt 1A.

Den anderen Shop haben wir auf SQLITE3 umgestellt, das war unser Todesurteil und hat unseren kompletten Webspace voll geballert.
Angeblich lief dieser Amok und hatte über 40GB verursacht.
 

css-umsetzung

Offizieller Servicepartner
SPBanner
6. Juli 2011
6.708
1.615
Berlin
@wawi-dl Ich habe immer so das Gefühl, das du dich nicht dem eigentlichem Problem stellst :)

Du sprichst im ersten Posting davon das du nur 5000 Artikel mit Merkmalen hast, das ist in der JTL Welt NIX.

Du schreibst auch das ein Umzug zu komplex ist, dass ist falsch, ein Domain Umzug ist kein Hexenwerk, auch wenn es ein kompletter Server ist, wenn du beispielsweise von einem Plesk zu einem anderen Plesk Server wechselst, dann ist das mit drei Klicks und es Wartezeit über Nacht erledigt.

Ich habe auch gefragt ob du echt so viel Traffic in dem Shop hast, da wäre es schon spannend zu wissen wie das da aussieht.

Dann habe ich schon des Öfteren geschrieben, das der Shop auch mit 2 oder weniger GB klar kommt, dass ignorierst du irgendwie und gibst dem immer mehr und wunderst dich das dieser dann auch genutzt wird, überläuft und dann nichts mehr geht.

Entweder geht dein Serverbetreiber mit dem Thema zu Lachs um und will dir nur was größeres andrehen oder du kommunizierst das gegenüber dem Serverbetreiber falsch, irgendwas an der Geschichte gehst du gerade falsch an, dann solltest du wirklich mal jemand schauen lassen der weiß wie er das richtig analysiert und sich das gesamtpaket anschaut.

Ein Serverumzug bei HE intern, geht in Minuten, bei All Inkl. vermutlich auch, warum sollte dein Hoster das intern nicht auch innerhalb von Minuten oder zwei Stunden hinbekommen?
Dann sagst du das der Speicher Amok läuft und du in einer Stunde schnell auf 40GB kommst.

Da schrieb ich ja schon, das dies nicht normal ist. Ich würde also nach der Ursache forschen. Hierfür bietet es sich an mal zu loggen was da passiert..
Ein durschauen der access. log ist einfach zu aufwendig, da dort ja zu viel Einträge sind die sich in einer txt Anzeige nicht wirklich nachvollziehen lassen.

Wenn ich bei Kunden ähnliche Probleme habe, dann aktiviere ich mir ein zusätzliches eigenes logging mit dem ich übersichtlich sehe wer so alles auf den Shop zugreift.
Da können ganz spannende Sachen zu Tage kommen und wenn da jemand nervt der da nichts zu suchen hat und an der Performance kratzt, dann über die Botsperre in seine Grenzen weisen.

Trage das hier mal am Ende deiner config-ini vom Shop ein und schaue dann nach einer Weile mal in das jtllogs Verzeichnis was in den Dateien so drin steht an Requests und wer der refferer war, insbesondere sind in deinem Fall ja die Aufrufe über die Merkmalsuche interessant.

Code:
if(!empty($_SERVER['REQUEST_URI']) && $fp = fopen(PFAD_ROOT."jtllogs/zugriffslog_".date("d-m-Y").".log","a+")) {
    fwrite($fp,date("H:i:s")."    ".$_SERVER['REMOTE_ADDR']."                ".$_SERVER['HTTP_USER_AGENT']."\n");
    fwrite($fp,$_SERVER['REQUEST_URI']."\n");
    fwrite($fp,"---------------------------------------------------------------------------------\n");
    fclose($fp);
}
 

wawi-dl

Sehr aktives Mitglied
29. April 2008
5.959
575
Danke dir, doch der Umzug ist für uns gewaltig, nicht jeder ist in allem fit und macht das mit Links, es hängt hinten vieles dran, nicht nur Shop-Umzug, sondern auch Emails, Tools, etc.
Zudem benötigt man dazu Zeit und Ressourcen.


siehe auch hier, wir stehen nur dazwischen, wissen nicht was der Hoster macht und haben keine Expertise / KnowHow, es sind nicht unsere Kern-Kompetenzen :(
Wir würden uns auch gerne mal von jemanden beraten lassen, gerne auch gegen Bezahlung, der sich dann mit unserem Hoster evtl. mal austauscht.
Ein Umzug ist uns derzeit zu komplex und nicht möglich.

Aktuell mit mehr Speicher läuft ja alles, nur SQLITE3 war ein Fehler, das hat über 2 Tage jetzt 40GB verursacht.
 

css-umsetzung

Offizieller Servicepartner
SPBanner
6. Juli 2011
6.708
1.615
Berlin
siehe auch hier, wir stehen nur dazwischen, wissen nicht was der Hoster macht und haben keine Expertise / KnowHow, es sind nicht unsere Kern-Kompetenzen :(
Musst du auch nicht, dafür hast du ja deine Bereiche in denen du topfit bist.

Aber wenn es ein interner Umzug ist, dann macht das ja der Hoster für dich.
Ich schrieb ja schon das es auch ein wenig auf das Betriebssystem ankommt, je nachdem geht das per KlickiBunti oder man muss das jemanden gut vorbereitet, manuell machen lassen.

Wichtig wäre wirklich, das du meinen Codeschnipsel mal einbaust und dir anschaust was da passiert.
Ich werde mich da jetzt auch nicht aufdrängen, dass was bei dir zu prüfen erforderlich wäre können auch eine Menge anderer SP.
 
Ähnliche Themen
Titel Forum Antworten Datum
Neu Wie stelle ich ohne viel Aufwand fest, ob meine Plugins nach einem Update für JTL Shop 5.3.1 geeignet ist ? JTL-Shop - Ideen, Lob und Kritik 4
Neu JTL-Shop oder Workflow: Artikel mit Menge > 1 sollen trotzdem als separate Einzelartikel im Auftrag aufgeführt werden User helfen Usern - Fragen zu JTL-Wawi 0
Neu JTL Shop 5 als Docker File? Installation / Updates von JTL-Shop 1
Neu JTL SHOP 4 Vorlagenproblem Einrichtung von JTL-Shop4 0
Neu JTL SHOP update von 5.2.4 auf 5.3.1 - DBupdater startet nicht das Datenbankupdate Installation / Updates von JTL-Shop 6
Evo Slider in JTL Shop 5.3.1 Einrichtung JTL-Shop5 0
JTL Shop Kreditkartenzahlung erneut an Kunden senden Allgemeine Fragen zu JTL-Shop 0
Neu JTL Shop in Safari zeigt Feld falsch an. JTL-Shop - Fehler und Bugs 0
Neu Bestseller-Templates AVIA, CLEARIX, FIRE - schnell, universell, 100% kompatibel zum JTL-Shop Templates für JTL-Shop 2
Neu Mindestbestellwert für Netto-Einkaufswert JTL-Shop 5 Allgemeine Fragen zu JTL-Shop 0
Neu JTL Shop 5 Daten - In "leere" JTL Wawi Datenbank importieren - Ist das möglich? User helfen Usern - Fragen zu JTL-Wawi 8
Neu JTL-Shop 5 Liste von CSV-Export Variablen gesucht Allgemeine Fragen zu JTL-Shop 1
Neu zweiten Shop auch bei JTL hosten ? Allgemeine Fragen zu JTL-Shop 1
Neu Error Code = 0 bei Installation JTL-Shop 5.3.1 Einrichtung JTL-Shop5 3
Neu Angriff auf JTL-Shop ?Log file: Wrong ip Allgemeine Fragen zu JTL-Shop 2
Gelöst Ausgabe Kundengruppenattribute JTL-Shop 5.3 Allgemeine Fragen zu JTL-Shop 0
Neu Badges / Artikelsticker bei JTL Shop 5.3.0 Templates für JTL-Shop 0
Neu Bug Popup/eModal - JTL Shop 5.3 JTL-Shop - Fehler und Bugs 1
Neu JTL-Shop 5.3 - Aktuell 5.3.1 Releaseforum 1
Neu JTL 1.8.12.0 - Artikelattribut für Shop importieren - Format CSV-Datei / Hilfe bei Import von individuellen Attributen für JTL-Shop (googlekat) JTL-Ameise - Ideen, Lob und Kritik 1
JTL Shop Gutscheine über JTL-Vouchers erstellen Allgemeine Fragen zu JTL-Vouchers 2
Neu JTL Shop Gutscheine über JTL-Vouchers erstellen Allgemeine Fragen zu JTL-Shop 2
Neu E-Commerce-Effizienz steigern: Welche Programmiersprache verbessert die JTL-Shop-Entwicklung? Technische Fragen zu Plugins und Templates 1
Neu Kompatibilitätsliste JTL Shop & JTL Wawi Gelöste Themen in diesem Bereich 3
Neu JTL-Shop 5 Paypal Zahlung 30 Tage Zahlungsziel Allgemeine Fragen zu JTL-Shop 6
Neu JTL-Shop 5.3.0 RC3 Fehler nach Update Portlet Banner, fehlendes Produkt JTL-Shop - Fehler und Bugs 0
Neu Umstieg von Shopware 5 zu JTL Shop 5 - Ranking behalten Allgemeine Fragen zu JTL-Shop 2
Neu Verbindungsproblem Wawi (1.8.12.0) zum JTL-Shop (5.2.4) über localhost User helfen Usern - Fragen zu JTL-Wawi 0
Neu Lizenz zu verkaufen für JTL-Shop Standard Edition Allgemeine Fragen zu JTL-Shop 4
JTL Shop : automatisch setzen: Verfügbar ab: 28.04.2024 (Vorbestellung möglich) JTL-Wawi 1.8 0
Neu Programmierung eines Tools zur Verwaltung einer Datentabelle (JTL Shop 5) Technische Fragen zu Plugins und Templates 6
I have faced an issue while the JTL Shop order has synchronized to the JTL WAWI 1.8 version. JTL-Wawi 1.8 0
Neu JTL Shop 5 Umfrage!? Allgemeine Fragen zu JTL-Shop 0
Neu Woocommerce mit JTL Connector "Die Shop-URL verweist nicht auf einen gültigen Shop" WooCommerce-Connector 4
Hosting JTL- Shop unter https://...12358.jtl-shop.de/ Einrichtung JTL-Shop5 0
Neu JTL-Shop Standard Edition Lizenz zu verkaufen Umstieg auf JTL-Shop 7
Neu Wie kann ich im JTL-Shop einen Abwesenheitshinweis einstellen? Allgemeine Fragen zu JTL-Shop 1
Neu JTL Shop 5.30? Allgemeine Fragen zu JTL-Shop 9
Neu Anzeige von Neuheiten und Topsellern im JTL Shop 5 Allgemeine Fragen zu JTL-Shop 2
Neu NEU ✔️ PDF-Angebots-Plugin für den JTL-Shop 5 - PDF Angebote von der Produktseite oder aus dem Warenkorb heraus generieren B2C / B2B Plugins für JTL-Shop 5
Neu JTL Shop funktioniert nicht mehr Allgemeine Fragen zu JTL-Shop 2
Neu JTL Shop Template Domain lösen? Allgemeine Fragen zu JTL-Shop 0
Neu Migration von eCommerce-Integrator auf JTL Connector - Software 5 Shop Onlineshop-Anbindung 2
Neu CloudFlare RocketLoader und JTL-Shop OnPage Composer JTL-Shop - Fehler und Bugs 0
Neu JTL-Shop 5 und PHP OpCache Allgemeine Fragen zu JTL-Shop 9
Sprachauswahl im JTL Shop 5 Einrichtung JTL-Shop5 5
Neu JTL Shop und WAWI komplett testen vor Shop-Release Gelöste Themen in diesem Bereich 8
Neu JTL Wawi Warenwirtschaft mit Gambio Cloud-Shop Gambio-Connector 0
Neu Anfängerfrage nach der prinzipiellen Funktionsweise mit JTL-Shop und FFN Starten mit JTL: Projektabwicklung & Migration 4
Neu Neue Tab in JTL 5 Shop erstellen Allgemeine Fragen zu JTL-Shop 3

Ähnliche Themen