Neu Suche Lösung! (mit Finderlohn!) - überfüllter phptmp Ordner.

Neuling88

Gut bekanntes Mitglied
15. Januar 2016
145
4
Hallo zusammen,

ich habe folgendes riesen Problem und wäre sogar bereit demjenigen der mir helfen kann XXX EUR zu zahlen. Das soll jetzt nicht unseriös klingeln, aber es ist so eine LAST!
Das Problem ist, dass auf meinem FTP ein phptmp Ordner existiert, der sich ständig / sekündlich mit session Dateien füllt (60-100 Dateien pro Minute) . Größe: 4000-8000 Bytes,
dazwischen auch mal 50.000 oder 90.000 Bytes. Natürlich ist dann irgendwann der Speicher voll oder überlastet. Hier im Forum findet man einen alten Thread ( Shop 3) in dem mal
1-2 Leute das selbe Problem hatten - jedoch ohne definitiven Lösungsvorschlag.

Der Hoster sagt: Viele Bots, Crawler Zugriffe, daneben Doofinder der Artikel durchscannt, Google, Bingbots, Google Analytics Plugin, usw. usw.

Soweit ich es einschätzen kann, aber alles / vieles "normal". Google Bots durchforsten ständig das Internet und Doofinder ist ein seriöses, beliebtes Tool, 1000fach im Einsatz. Letztes Mal
haben wir SEO Maßnahmen in Auftrag gegeben, als dann 1-2 Scans auf der Seite gemacht wurden ging gar nichts mehr, weil es dann noch mehr Zugriffe / Tests gab. Diese Maßnahmen von
SEO Unternehmen für einen IST Zustand sind doch aber auch ganz normal!?

Es gibt eine:
session.gc_maxlifetime = 1440

1440 seconds = 24 minutes

Das hilft nur nichts, da die Dateien ja viel schneller anwachsen. Natürlich können wir den Ordner auch mit Cronjobs leeren lassen. Das Problem: Er ist dann immer ganz leer und echte eingeloggte Nutzer mit
Waren im Warenkorb werden rausgeworfen. Manuell lösche ich den ganzen Tag tausende Files (außer die letzte Stunde) um aktive Nutzer nicht zu stören. Aber das kann ja kein Dauerzustand sein.

Wir haben einen dedicated Server (VPS Cloud) der nicht mit anderen Kunden geteilt wird mit eigen Betriebssystem und eigener IP Adresse (ich selbst habe 0 Ahnung, aber das ist das was wir haben).

Wer traut sich zu hier weiterhelfen zu können oder sich mal session Dateien anzuschauen und evtl. den Verursacher rauszufinden? Der Hoster meinte auch, dass es evtl. veraltete Software / Plugins sein können etc.,
aber wir haben jetzt den neuen Shop 5 und wirklich nur ganz wenige Plugins am laufen.
 

mh1

Sehr aktives Mitglied
4. Oktober 2020
1.261
337
...Hier im Forum findet man einen alten Thread (Shop 3) in dem mal 1-2 Leute das selbe Problem hatten - jedoch ohne definitiven Lösungsvorschlag.
Falls du diesen Thread meinst: https://forum.jtl-software.de/threa...ion-dateien-in-phptmp-bug.37363/#post-1028173
Dort steht doch eine mögliche Lösung, sogar mit konkretem Link zum PHP Manual :oops:
Und so furchtbar alt ist der Thread ja auch nicht (meine letzter Beitrag war gestern vormittag) ;)


...Natürlich können wir den Ordner auch mit Cronjobs leeren lassen. Das Problem: Er ist dann immer ganz leer und echte eingeloggte Nutzer mit
Waren im Warenkorb werden rausgeworfen. Manuell lösche ich den ganzen Tag tausende Files (außer die letzte Stunde) um aktive Nutzer nicht zu stören. Aber das kann ja kein Dauerzustand sein.
Da du ja schreibst, dass du dich mit der Conjob Lösung anfreunden könntest, aber keine aktiven User löschen willst, könntest du doch nur die Dateien, die älter sind als eine Stunde von dem Cronjob löschen lassen (also dieselbe Auswahl, die du ja auch bei deinen manuellen Löschvorgängen machst): find /foo/bar/phptmp -daystart -maxdepth 1 -mmin +59 -type f -name "*.session" -exec rm -f {} \;. Aber bevor man so einen Cronjob einrichtet, sollte man den Befehl gründlich testen (und vorallem vor das rm ein echo schreiben).


EDIT:

Der find Befehl ist aber nur als Beispiel anzusehen. Ich weiß ja nicht, welches Betriebssystem du auf deinem Server hast bzw. welche Befehle/Tools dort zur Verfügung stehen.
 

FMoche

Moderator
Mitarbeiter
15. Dezember 2014
1.359
340
Halle (Saale)
Du kannst auch probieren, in der includes/config.JTL- Shop.ini.php die Zeile
Code:
define('SAVE_BOT_SESSION', 3);
einzufügen.
Das sollte dafür sorgen, dass für erkannte Bots keine Session gespeichert wird.
Das sollte zumindest für die meisten Suchmaschinen helfen. Wie das bzgl. Doofinder aussieht, kann ich leider nicht sagen, weil ich nicht weiß, wie da der Useragent-String aussieht.
 

Neuling88

Gut bekanntes Mitglied
15. Januar 2016
145
4
Falls du diesen Thread meinst: https://forum.jtl-software.de/threa...ion-dateien-in-phptmp-bug.37363/#post-1028173
Dort steht doch eine mögliche Lösung, sogar mit konkretem Link zum PHP Manual :oops:
Und so furchtbar alt ist der Thread ja auch nicht (meine letzter Beitrag war gestern vormittag) ;)



Da du ja schreibst, dass du dich mit der Conjob Lösung anfreunden könntest, aber keine aktiven User löschen willst, könntest du doch nur die Dateien, die älter sind als eine Stunde von dem Cronjob löschen lassen (also dieselbe Auswahl, die du ja auch bei deinen manuellen Löschvorgängen machst): find /foo/bar/phptmp -daystart -maxdepth 1 -mmin +59 -type f -name "*.session" -exec rm -f {} \;. Aber bevor man so einen Cronjob einrichtet, sollte man den Befehl gründlich testen (und vorallem vor das rm ein echo schreiben).


EDIT:

Der find Befehl ist aber nur als Beispiel anzusehen. Ich weiß ja nicht, welches Betriebssystem du auf deinem Server hast bzw. welche Befehle/Tools dort zur Verfügung stehen.

Die sagen da es schon so eine hohe Last auf der Seite gibt, wäre das checken von "Zeiten" zum löschen > 1 Stunde auch zu einer Überlast führen. Ich kopiere mal ein paar Zeilen ein:

ZITAT:
Das leeren des Ordners dauert an sich schon lange und diese Operation erhöht nochmals die Systemlast, wenn man also ein Script programmiert was zusätzlich die Zeitstempel prüft wird dadurch noch mehr Last erzeugt und es werden sehr viel mehr Session Dateien erhalten bleiben als jetzt.

Die Sessions bzw. besser gesagt Seitenaufrufe uns Suchabfragen werden zu ca. 80% nur durch Crawler und Bots erzeugt.

Dadurch wird eine System Überlast erzeugt die in den Spitzen bei 100 bis sogar 200% liegt.

ZITAT2:
Nein, die Cronjobs sind nur als Notlösung gedacht.

Sie müssen die automatisierten Zugriffe von den SEO Bots wieder loswerden.

Also die robots.txt und htaccess verwenden um diese auszusperren und Abfragen der Datenbank zu optimieren, weniger Optionen zum filtern, Statistiken deaktivieren etc.

ZITAT3:
Wenn Sie das Problem mit den Bots nicht sofort lösen können, dann brauchen Sie ein System welches sehr hohe Systemresourcen hat und von jemandem managed wird.

Also ein Root System was sehr viele Rechenintensive Anfragen verarbeiten kann.



Allerdings ist dies auch keine Garantie das ein dedicated Root Server das auf Dauer schafft die Last zu bewältigen.

Es gibt viele Anbieter, wichtig dabei ist das es ein echter Root Server ist der managed wird z.b. ....
 

Neuling88

Gut bekanntes Mitglied
15. Januar 2016
145
4
Du kannst auch probieren, in der includes/config.JTL- Shop.ini.php die Zeile
Code:
define('SAVE_BOT_SESSION', 3);
einzufügen.
Das sollte dafür sorgen, dass für erkannte Bots keine Session gespeichert wird.
Das sollte zumindest für die meisten Suchmaschinen helfen. Wie das bzgl. Doofinder aussieht, kann ich leider nicht sagen, weil ich nicht weiß, wie da der Useragent-String aussieht.
@FMoche WOW DANKE. Das scheint zu funktionieren. Jetzt sind aus 60 pro Minute 1-5 pro Minute geworden.
 

css-umsetzung

Offizieller Servicepartner
SPBanner
6. Juli 2011
6.639
1.583
Berlin
wenn du das hier noch in deine config Datei vom Shop einfügst, dann bist du auch die schädlichen Bots los die einfach nur Ressourcen fressen

PHP:
if(preg_match("/Mb2345Browser|LieBaoFast|Seekport|SemrushBot|zh-CN|MicroMessenger|zh_CN|Kinza|MJ12bot|AhrefsBot/",$_SERVER['HTTP_USER_AGENT'])) {
    header('HTTP/1.0 403 Forbidden');
    die("zugriff nicht erlaubt");
}
 

Neuling88

Gut bekanntes Mitglied
15. Januar 2016
145
4
wenn du das hier noch in deine config Datei vom Shop einfügst, dann bist du auch die schädlichen Bots los die einfach nur Ressourcen fressen

PHP:
if(preg_match("/Mb2345Browser|LieBaoFast|Seekport|SemrushBot|zh-CN|MicroMessenger|zh_CN|Kinza|MJ12bot|AhrefsBot/",$_SERVER['HTTP_USER_AGENT'])) {
    header('HTTP/1.0 403 Forbidden');
    die("zugriff nicht erlaubt");
}

Super, danke. Wäre ScreamingFrog evtl. auch noch so etwas? Oder sind die "ok"? @css-umsetzung
 

css-umsetzung

Offizieller Servicepartner
SPBanner
6. Juli 2011
6.639
1.583
Berlin
das muss jeder für sich entscheiden was man zusätzlich einbindet.
ScreamingFrog ist ja ein SEO Crawler, du weißt ja selbst am besten ob du den aktiviert hast, wenn nicht dann aussperren...
 

Neuling88

Gut bekanntes Mitglied
15. Januar 2016
145
4

Neuling88

Gut bekanntes Mitglied
15. Januar 2016
145
4
Hatte diesen Link bei mir drin und er hat immer gut geholfen. Nun hatte ich aber ein Error deswegen und konnte keinen Abgleich mehr machen. Nach löschen des Codes geht dies wieder. Von 0 auf Gleich nach 1 Jahr.
Was kann das sein?
 

css-umsetzung

Offizieller Servicepartner
SPBanner
6. Juli 2011
6.639
1.583
Berlin
Das verursacht aber keinen error, es gibt glaube ich max ein Warning wenn die Servervariable leer ist, das sollte man am besten noch mit !empty() abfragen um sicher zu sein.

Code:
if(!empty($_SERVER['HTTP_USER_AGENT']) && preg_match("/Mb2345Browser|LieBaoFast|Seekport|SemrushBot|zh-CN|MicroMessenger|zh_CN|Kinza|MJ12bot|AhrefsBot/",$_SERVER['HTTP_USER_AGENT'])) {
header('HTTP/1.0 403 Forbidden');
die("zugriff nicht erlaubt");
}
 

Neuling88

Gut bekanntes Mitglied
15. Januar 2016
145
4
Das verursacht aber keinen error, es gibt glaube ich max ein Warning wenn die Servervariable leer ist, das sollte man am besten noch mit !empty() abfragen um sicher zu sein.

Code:
if(!empty($_SERVER['HTTP_USER_AGENT']) && preg_match("/Mb2345Browser|LieBaoFast|Seekport|SemrushBot|zh-CN|MicroMessenger|zh_CN|Kinza|MJ12bot|AhrefsBot/",$_SERVER['HTTP_USER_AGENT'])) {
header('HTTP/1.0 403 Forbidden');
die("zugriff nicht erlaubt");
}

Habe den jetzt mal nochmal eingefügt und das scheint soweit zu gehen. Vorher ging es aber jetzt auch 1 Jahr lang. Und auf einmal... (5 Stunden vorher noch einen Abgleich gemacht),
flutschte der Abgleich so durch und im Log gab es folgenden Error:

Der Abgleich wurde abgebrochen. Alle im Abgleich entstandenen Fehler finden Sie im Logbuch.
<br />
<b>Notice</b>: Undefined index: HTTP_USER_AGENT inXXXXXXXXX/config.JTL- Shop.ini.php</b> on line <b>26</b><br />
0;JTL4;501;<br />
<b>Notice</b>: Undefined index: HTTP_USER_AGENT in <b>/XXXXXXXXs/config.JTL-Shop.ini.php</b> on line <b>26</b><br />
0;JTL4;501;


(die XXXe habe ich mal gerade selbst eingefügt, ist unsere URL / Pfad etc.) Aber genau in dieser Zeile 26 war der Code... als ich ihn dann rausnahm, ging es wieder.

PS: Wer bist Du überhaupt? Wir können ja mal zusammenarbeiten !? :) Brauche öfters mal Hilfe bei Dingen.
 

css-umsetzung

Offizieller Servicepartner
SPBanner
6. Juli 2011
6.639
1.583
Berlin
Das ist ja auch kein Error, das ist eine Notice Meldung und es ging so lange gut, bis jemand auf die glorreiche Idee kam, bei dir, in der Config Datei vom Shop das error_reporting zu aktivieren (dem solltest du mal auf die Finger klopfen und darum bitten das wieder zu deaktivieren, denn das hat im Live Betrieb nichts zu suchen) :)

https://guide.jtl-software.com/jtl-...-jtl-shop-abgleich-angezeigt-was-soll-ich-tun

PS: Wer bist Du überhaupt? Wir können ja mal zusammenarbeiten !? :) Brauche öfters mal Hilfe bei Dingen.
Wie jetzt, ich bin die css-umsetzung , da gebe ich mir solche Mühe bekannt zu werden :D
Jeder kann mich buchen....
 
  • Gefällt mir
Reaktionen: ecki
Ähnliche Themen
Titel Forum Antworten Datum
Neu Suche jemanden BmeCat´s in Wawi Dienstleistung, Jobs und Ähnliches 2
Beantwortet #GEFUNDEN# Suche jemand , der uns eine (automatische) SQL Abfrage erstellen kann mit Mail Ausgabe Dienstleistung, Jobs und Ähnliches 2
Neu Suche Seite 2 gibt falsche URL aus JTL-Shop - Fehler und Bugs 4
Merkmalfilter im Shop aktivieren und einstellen, suche optimieren. Einrichtung JTL-Shop5 3
Neu Suche nach Dienstleister Dienstleistung, Jobs und Ähnliches 4
Neu Menü, Logo und Suche beim Scrollen anzeigen / Mobilansicht Templates für JTL-Shop 0
Fehlermeldung in der Suche Einrichtung JTL-Shop5 0
Neu Kurzbeschreibung als Tooltip in der Galerieansicht der Kategorie/Suche Betrieb / Pflege von JTL-Shop 1
Neu SUCHE JTL Service Partner - zuverlässig! User helfen Usern - Fragen zu JTL-Wawi 1
Neu Suche Workflow Bedingung: "Wenn nicht storniert?" User helfen Usern - Fragen zu JTL-Wawi 2
Suchergebnisse normale Suche filtern MEHRERE Kategorien anklicken geht nicht Einrichtung JTL-Shop5 1
Wichtig JTL-Fulfillment Lager in Hückelhoven: Die All-in-One-Lösung für die Lagerung Eurer Ware Business Jungle 0
Neu fehlerhafte Zolldaten an Parcel.One, Lösung für Freipositionen (z.B. US Sales Tax) JTL-ShippingLabels - Fehler und Bugs 0
Neu CSV Auftrag mit Artikeldaten (GTIN, Beschreibung, etc.) exportieren Arbeitsabläufe in JTL-Wawi 1
Neu PrestaShop Connector für Prestashop 8 mit PHP 8.2 wird nicht unterstützt PrestaShop-Connector 0
Neu Packtisch: In der Liste der Aufträge neue Feld-Spalte mit Spalteneditor hinzufügen Arbeitsabläufe in JTL-WMS / JTL-Packtisch+ 0
Neu Wechsel WAWI Hosting von JTL mit RDP auf ecomDATA User helfen Usern - Fragen zu JTL-Wawi 2
Neu Eigene Seiten mit Plugin erstellen Technische Fragen zu Plugins und Templates 0
Neu Alles Artikel "unverkäuftlich" mit Urlaubshinweis JTL-Ameise - Ideen, Lob und Kritik 2
Wo befindet sich das Feld mit der Information für "Zustandsbeschreibung" auf Ebay? JTL-Wawi 1.8 9
Neu Ärger mit WMS mobile - Scan bestätigt nicht zuverlässig die Eingabe Gelöste Themen - JTL-WMS / JTL-Packtisch+ 4
Neu 2x SumUp als Zahlungsmethode mit 2x verschiedenen SumUp Accounts aber 1x Kartenlesegerät? Allgemeine Fragen zu JTL-POS 0
Neu Service-Bestellungen / Dienstleistungen mit WMS abbilden Arbeitsabläufe in JTL-WMS / JTL-Packtisch+ 0
Neu Nach Umstellung auf WMS Probleme mit der JTL Ameise Installation von JTL-WMS / JTL-Packtisch+ 0
Neu Auftrag mit Freiposition Menge 0 läßt sich nicht ausliefern + wird nicht auf Lieferschein angezeigt User helfen Usern - Fragen zu JTL-Wawi 1
In Bearbeitung POS verbindet nicht mit SumUp Air Allgemeine Fragen zu JTL-POS 2
Neu Probleme mit Artikelzustand bei Ebay Laufene Artikel ändern Einrichtung und Installation von JTL-eazyAuction 3
Auktionen mit Anpassungsfunktion Amazon-Anbindung - Ideen, Lob und Kritik 0
Neu Videoeinbindung mit OnePage Composer Technische Fragen zu Plugins und Templates 1
Neu Zahlungsziel mit Skonto im Auftrag ausweisen Gelöste Themen in diesem Bereich 4
Neu Probleme mit dem Divi Theme WooCommerce-Connector 5
Neu Hilfe - Performanceproblem mit Shop durch Worker JTL-Shop - Fehler und Bugs 27
Neu JTL Wawi Bild-Upload unvollständig oder nur als mit meinem PC hochgeladen zu sehen User helfen Usern - Fragen zu JTL-Wawi 2
Neu Shop Suchfunktion Probleme mit (HTML-)Sonderzeichen JTL-Shop - Fehler und Bugs 0
Neu Anleitung: Artikeletiketten für Auftrag, Rechnung, Lieferschein etc. drucken mit Etikettenanzahl = Artikelanzahl User helfen Usern - Fragen zu JTL-Wawi 0
Neu Amazon + Multishop mit evtl 2 Mandanten Starten mit JTL: Projektabwicklung & Migration 3
Neu Kuriosum - Shop 5.1.5 mit Datenbank 5.2.4 Mischbetrieb nach fehlgeschlagenem Update Installation / Updates von JTL-Shop 8
Neu Lieferantenbestellung als CSV mit selbst festgelegten Spalten per Mail senden Arbeitsabläufe in JTL-Wawi 1
Ameise - Auftragsimport mit mehreren Artikelpositionen JTL-Wawi 1.8 1
Neu Eigener (Home-) Server mit Windows UND Linux Starten mit JTL: Projektabwicklung & Migration 23
In Bearbeitung Bon mit Artikeln: Keine Auslieferung? Auftrags-Übernahme: Keine Anpassungen möglich? Allgemeine Fragen zu JTL-POS 2
Neu Automatisierter Import Händler-CSV, Problem mit unterschiedlichen Artikeln bei gleicher EAN Schnittstellen Import / Export 7
Neu Probleme mit Swatches Allgemeine Fragen zu JTL-Shop 7
Gelöst Hardware für häufige Konstellationen mit USB und Swissbit TSE-Problem ab Android 11 JTL-POS - Fragen zu Hardware 5
Neu DPD-Versand in Nicht-EU-Länder mit JTL-Shipping JTL-ShippingLabels - Ideen, Lob und Kritik 1
Neu Aufträge zusammen fasse, mit getrennter Rechnung wegen JTL2DATEV Export ? User helfen Usern - Fragen zu JTL-Wawi 0
Neu PayPal Checkout mit Apple Pay und Google Pay Plugins für JTL-Shop 1
Neu Erstellen eines Sets, als Variation in Zusammenhang mit einer Stückliste Arbeitsabläufe in JTL-Wawi 2
Neu Workflow-Auswahl ... mit ins Kontext-Menü aufnehmen (rechten Maustaste) JTL-Wawi - Ideen, Lob und Kritik 2
Pluginmanager startet nicht mit aktivem IonCube Loader Einrichtung JTL-Shop5 2

Ähnliche Themen