Neu Google Exportformat für Shopping hängt sich auf - Weder Cronjob noch manueller Anstoß führen zur Erstellung einer erfolgreiche .zip Datei

[Senner99]

Hi zusammen,

nach insgesamt 15 Stunden Kopfzerbrechen auf einen Sonntag, weiß ich mir nun wirklich nicht mehr anders zu helfen…ich weiß, ähnliche Themen und Problemschilderung gab es hier schon, aber keines passt so richtig exakt auf meins bzw. helfen mir die dort genannten Lösungen nicht weiter.

Problem:
Beim Versuch, eine Exportdatei für Google Shopping zu erstellen, kommt der manuelle asynchrone Export immer bis ziemlich genau 580 Artikel, bei Durchführung über den Aufgabenplaner und serverseitigen Cronjob wird die temporäre .xml Datei immer mit 2600-2700 KB Inhalt gespeichert was bei Vergleich der beiden temporären Dateien im FTP auch etwa dieser Artikelanzahl entsprechen dürfte. Danach ist Schluss. Der Inhalt in den temporären Daten sieht bis dahin gut aus, es sind Artikeldaten hinterlegt, nur halt eben nur ein Bruchteil…es wird keine .zip gewandelt, was ja auch keinen Sinn machen würde, da die temporären Dateien ja nur zu 2% gefüllt werden.

Auffällig ist, dass, sobald der Export stehen bleibt bzw. einfriert, im Backend des Shops unter System > Cron bei der entsprechenden Zeile vom Shopping Export immer der grüne Haken für „Läuft Aktuell“ erscheint. Normalerweise würde dieser ja immer wieder kurz zu einem roten Kreuz werden, wenn der eine Cronjob Durchlauf (250 Artikel) beendet ist und erst dann wieder zum grünen Haken werden, wenn der nächste Cronjob durchläuft.

Warum es wahrscheinlich nicht der große BUG aus dem Jahr 2024 ist:
- Der BUG wurde mit der Version 5.3.2 behoben (zumindest sollte das so sein, bei uns ist 5.3.3 installiert
- Der Export hat bis Samstag (04.01.2025) jeden Tag ohne Beanstandung reibungslos nachts über den Cronjob funktioniert.

Hier die einzige wirklich große Änderung, die am Samstag gemacht wurde:
Wir verkaufen Dichtstoffe in Sonderfarben v.a. nach Farbfächern wie RAL, NCS, etc. Wir haben drei Produkte, wie wir einfärben und je ca. 9000 Farben. Wir haben also ca. 27000 Farben, welche bis Samstag als Einzelartikel angelegt waren. Am Samstag haben wir diese dann zwecks SEO Optimierung (Duplicate Content) in VarKombis umgewandelt. Pro Artikel 200-2000 Farben ( Kindartikel).

Das ist tatsächlich das Einzige, was wirklich massiv geändert wurde, wo ich mir vorstellen kann, dass hier irgendwo das Problem liegt… Obwohl ich auch noch nicht die geringste Idee habe, wo genau das Problem liegen könnte.

Ich schließe jeden in mein Abendgebet ein, der mir auch nur in irgend einer Form helfen kann. Wir sind auf unsere Shopping Kampagne angewiesen und diese ist wiederum auf konstante und sauber Daten aus dem Shop angewiesen…dass der Schuh hier drückt ist also offensichtlich.🥴

Danke! ✌️

 

[NoOne]

Am besten einmal display_errors anschalten (https://guide.jtl-software.com/jtl-...-jtl-shop-abgleich-angezeigt-was-soll-ich-tun), den Pseudo-Cron in den Einstellungen ausschalten, den Cronjob zurücksetzen (falls der Haken für "Läuft Aktuell" vorhanden ist) und dann /includes/cron_inc.php im Browser aufrufen. Im Prinzip kann das entweder nur irgendein 500er (oder ggf. ein Out-Of-Memory, also zu wenig Arbeitsspeicher) oder ein Timeout sein. Den 500er könnte man vermutlich beheben. Wenns ein Timeout/Out-Of-Memory ist, müsste man respektive entweder die max_execution_time für PHP erhöhen oder den Speicher der für PHP reserviert ist.

Wobei es bei Timeout und Out-Of-Memory auch eine Endlosschleife sein könnte, was ich bei VarKombis aber noch nicht hatte.

 

[Senner99]

Am besten einmal display_errors anschalten (https://guide.jtl-software.com/jtl-...-jtl-shop-abgleich-angezeigt-was-soll-ich-tun), den Pseudo-Cron in den Einstellungen ausschalten, den Cronjob zurücksetzen (falls der Haken für "Läuft Aktuell" vorhanden ist) und dann /includes/cron_inc.php im Browser aufrufen. Im Prinzip kann das entweder nur irgendein 500er (oder ggf. ein Out-Of-Memory, also zu wenig Arbeitsspeicher) oder ein Timeout sein. Den 500er könnte man vermutlich beheben. Wenns ein Timeout/Out-Of-Memory ist, müsste man respektive entweder die max_execution_time für PHP erhöhen oder den Speicher der für PHP reserviert ist.

Wobei es bei Timeout und Out-Of-Memory auch eine Endlosschleife sein könnte, was ich bei VarKombis aber noch nicht hatte.

Danke für die schnelle Rückmeldung.

Ich bekomme nach einiger Zeit folgende Rückmeldung. Leider steht da nicht mehr zum Fehler (oder muss ich das woanders suchen?). Die Code Zeilen aus dem Link habe ich in die /includes/config.JTL-Shop.ini.php geschrieben.


Wenn ich diese Seite danach allerdings nochmal lade kommt nichts mehr bzw. nach ganz kurzer Ladezeit wieder nur die geladene weiße Seite, was ja einen Erfolg für den Cronjob indiziert bzw. dass keine aktuell abzuarbeitenden Jobs offen sind, richtig?

Was mir nach der Aktivierung der display_errors aufgefallen ist: Wenn ich auf einen der genannten, neu erzeugten Varkombi Väter gehe, wird diese Seite noch ganz normal angezeigt. Wenn ich einen Variation auswähle, erhalte ich folgende Fehlermeldung:

Warning: Undefined property: stdClass::$kEigenschaft in /home/www/public_html/shop/includes/src/Cart/Cart.php on line 449

Weiß jetzt nicht, ob das was damit zu tun hat, aber ich habe es sicherheitshalber mal mit eingetragen.

Danke schonmal für eine weitere Antwort.

 

[NoOne]

Der Fehler ist tatsächlich nichtssagend. Eigentlich sollte da ein aussagekräftigerer Fehler stehen. Das Warning ist erstmal egal. Wichtig wären nur Fatal Errors. Aber ich schätze, dass sollte sich ein SP oder der JTL-Support dann einmal anschauen. Da müssten dann ggf. auch die Server-Logs ausgewertet werden.

 

[Senner99]

Der Fehler ist tatsächlich nichtssagend. Eigentlich sollte da ein aussagekräftigerer Fehler stehen. Das Warning ist erstmal egal. Wichtig wären nur Fatal Errors. Aber ich schätze, dass sollte sich ein SP oder der JTL-Support dann einmal anschauen. Da müssten dann ggf. auch die Server-Logs ausgewertet werden.

Okay, trotzdem erstmal danke für deine Mühen! JTL-Support ist eingeschaltet, mal schauen was da rauskommt.

Ich kann ja mal berichten, wenn wir das Problem gelöst haben.

 

[Senner99]

Also, kleines Status-Update, ich dokumentiere das hier einfach mal, falls jemand zukpnftig auf ein ähnliches Problem stößt:

Der Support hat sich unser Problem angeschaut und hat vor allem unsere träge und schlechte Serverleistung erwähnt. Das war uns auch an sich schon ein bisschen bewusst, da die Performance im Frontend auch zu wünschen übrig ließ (selbgehostet bei der Telekom). Auch unsere Caching Methode hat nicht wirklich was gebracht und Redis war nicht möglich.

Kurzum: Wir sind auf ein JTL- Hosting umgezogen diese Woche. Hatten wir ohnehin vor, da automatische Backups, Update-Service, etc.

Aber… an unserem eigentlichen Problem hat sich leider nichts geändert.

Exportformat über Aufgabenplaner alle 24 Stunden angelegt und dann über den URL Aufruf und cron-job.org alle 2 Minuten aufgerufen.

Der Export startet planmäßig, bleibt allerdings bei 500 Artikeln (von 27305) stehen. So steht es zumindest im Aufgabenplaner. Nach diesen 500 wird der Export dann auch bei den erfolgreich Abgeschlossenen mit „500/27305“ angezeigt.

Über die Zeit wird die Export-Datei allerdings sukzessive weiter exportiert und vergrößert, also irgendwas muss wohl passieren. Das sehe ich in den Server Dateien unter Export. Die Dateigröße wird immer etwas mehr über die Zeit.

Allerdings sehe ich keinen Fortschritt bei der Anzeige im Aufgabenplaner - Der bleibt immer bei 500 Artikeln stehen. Und der Export dauert dennoch sehr sehr lange. Seit heute Nacht um 02:00 ist die Datei ca. 20MB groß, was in etwa 5000 Artikeln in 15 Stunden entsprechen würde. Das kann ja irgendwie nicht sein. Vor unserer Umstellung auf die Varkombis bzw. bevor das Problem aufgetreten ist (gleiche Artikelanzahl) war die Exportdatei innerhalb einer Stunde geschrieben.

Auffällig ist auch, dass der Cronjob bei cron-job.org alle paar Durchläufe in einen Timeout rutscht. Ich nehme an, dass hier immer der nächste Durchlauf für den Cron Aufruf gestartet wird. Cron-job.org hat ein maximale Timeout Zeit von 30 Sek. Könnte das auch was damit zu tun haben und ich sollte evtl. mal einen anderen Anbieter versuchen?

Werde wohl auch parallel wieder eine Support Ticket öffnen, da das Problem ja trotz JTL Hosting nicht behoben ist, aber evtl. helfen meine unternommenen Schritte ja auch, dass jemandem von Euch noch ein potenzieller Lösungsansatz kommt.

Danke schonmal und schönen Restsonntag! 😊✌️