Gelöst Fehlermeldung modified 2.0 - JTL-Connector V1.6

[grubauer]

Hallo zusammen,

ich wollte heute einen modified 2.0 mit dem JTL-Connector V1.6 verbinden. Es kommt zwar Verbindung zum Webshop ok, aber wenn ich auf Connector konfigurieren gehe, kommt die Fehlermeldung im Anhang. Ich hoffe es kann mir hier jemand helfen?

LG Marcell

 

[daniel.jtl]

Deine Shop-Datenbank ist defekt bzw. inkonsistent und verweist auf nicht mehr existente Sprach-IDs.
Das ganze ist ein bekanntes modified und Gambio Problem.
Bitte hier im Forum mal suchen, das Thema kam schon oft vor...

 

[grubauer]

Hallo Daniel,

etwas präziser wäre nicht schlecht. Leider kann ich mit Deiner Antwort nichts anfangen, bzw. finde dazu keine Lösung des Problems. Welche Tabellen in der Shopdatenbank sind inkonsistent? Dann kann ich mal genauer nachsehen?

 

[daniel.jtl]

In deiner Shop Datenbank gibt es Übersetzungen von Kategorien und/oder Produkten, die auf nicht mehr existente oder fehlerhafte Sprachen verweisen (die Tabellen die mit _descriptions enden).
Dadurch ist es für den Connector nicht möglich zu diesen Einträgen gültige ISO-Codes zu ermitteln bzw. die Sprache auch korrekt zu erkennen.

 

[grubauer]

Hallo Daniel,

jetzt habe ich zwar die Verbindung hab den Fehler gefunden bei den Contents. Danke.
Artikel kann ich einlesen, aber bei Kunden/Bestellungen kommt folgender Fehler.

Fehler:
Exception: DeserializeObject-Error: Newtonsoft.Json.JsonReaderException: Unexpected character encountered while parsing value: <. Path '', line 0, position 0.
bei Newtonsoft.Json.JsonTextReader.ParseValue()
bei Newtonsoft.Json.JsonTextReader.ReadInternal()
bei Newtonsoft.Json.JsonTextReader.Read()
bei Newtonsoft.Json.Serialization.JsonSerializerInternalReader.ReadForType(JsonReader reader, JsonContract contract, Boolean hasConverter)
bei Newtonsoft.Json.Serialization.JsonSerializerInternalReader.Deserialize(JsonReader reader, Type objectType, Boolean checkAdditionalContent)
bei Newtonsoft.Json.JsonSerializer.DeserializeInternal(JsonReader reader, Type objectType)
bei Newtonsoft.Json.JsonConvert.DeserializeObject(String value, Type type, JsonSerializerSettings settings)
bei Newtonsoft.Json.JsonConvert.DeserializeObject[T](String value, JsonSerializerSettings settings)
bei jtlCore.ControllerClasses. Connector.Core.Json.DeserializeObject[T](String json)

Json:<br />
<b>Fatal error</b>: Allowed memory size of 268435456 bytes exhausted (tried to allocate 8 bytes) in <b>phar:///www/htdocs/w006bbb4/work/grubauer/jtlconnector/index.php/vendor/jtl/connector/src/jtl/Connector/Core/Database/Mysql.php</b> on line <b>303</b><br />
Exception bei Customer.statistic:

DeserializeObject-Error: Newtonsoft.Json.JsonReaderException: Unexpected character encountered while parsing value: <. Path '', line 0, position 0.
bei Newtonsoft.Json.JsonTextReader.ParseValue()
bei Newtonsoft.Json.JsonTextReader.ReadInternal()
bei Newtonsoft.Json.JsonTextReader.Read()
bei Newtonsoft.Json.Serialization.JsonSerializerInternalReader.ReadForType(JsonReader reader, JsonContract contract, Boolean hasConverter)
bei Newtonsoft.Json.Serialization.JsonSerializerInternalReader.Deserialize(JsonReader reader, Type objectType, Boolean checkAdditionalContent)
bei Newtonsoft.Json.JsonSerializer.DeserializeInternal(JsonReader reader, Type objectType)
bei Newtonsoft.Json.JsonConvert.DeserializeObject(String value, Type type, JsonSerializerSettings settings)
bei Newtonsoft.Json.JsonConvert.DeserializeObject[T](String value, JsonSerializerSettings settings)
bei jtlCore.ControllerClasses.Connector.Core.Json.DeserializeObject[T](String json)

Json:<br />
<b>Fatal error</b>: Allowed memory size of 268435456 bytes exhausted (tried to allocate 8 bytes) in <b>phar:///www/htdocs/w006bbb4/work/grubauer/jtlconnector/index.php/vendor/jtl/connector/src/jtl/Connector/Core/Database/Mysql.php</b> on line <b>303</b><br />

Response: <br />
<b>Fatal error</b>: Allowed memory size of 268435456 bytes exhausted (tried to allocate 8 bytes) in <b>phar:///www/htdocs/w006bbb4/work/grubauer/jtlconnector/index.php/vendor/jtl/connector/src/jtl/Connector/Core/Database/Mysql.php</b> on line <b>303</b><br />

Kann ich irgendwo einstellen, dass nur die aktuellen Kunden/Bestellungen übernommen werden. Wie früher beim alten Connector?

Im voraus schon mal Danke für die Unterstützung.

 

[Stressless]

Habe die gleiche Fehlermeldung.
Kann jemand weiterhelfen?

 

[daniel.jtl]

Allowed memory size of 268435456 bytes exhausted

Wie im Fehler zu lesen, ist hier zu wenig Speichern verfügbar bzw. der Server überlastet.
Das lässt sich ggf. durch ein ändern der Connector-Paketgrößen in der Wawi beheben.

 

[Stressless]

Erst einmal vielen Dank für die Antwort.

...
Das lässt sich ggf. durch ein ändern der Connector-Paketgrößen in der Wawi beheben.

Ja, soweit habe ich es verstanden. Aber selbst wenn ich die Paketgrößen auf jeweils 1 setzte kommt dieser Fehler was mich doch sehr irritiert.
Zur weiteren Info. Die Shop-DB und die JTL-Wawi sind schon etwas länger im Einsatz. Es wurde auf modified 2.0 upgedatet und da der alte Connector nicht mehr funktionierte (wegen einer neuen PHP-Version) sind wir auf diesen Connector umgestiegen.
Jemand eine Idee wie ich das Speicherproblem in den Griff bekommen kann, bzw. ob es wirklich daran liegt, da ich wie oben beschrieben die Paketgrößen ja jeweils auf ein Minimalwert gesetzt habe und es trotzdem nicht funktionert hat.

Danke im Voraus.

 

[daniel.jtl]

Aber selbst wenn ich die Paketgrößen auf jeweils 1 setzte kommt dieser Fehler was mich doch sehr irritiert.

Ja Moment... also eine 1 hier einzutragen ist auch absolut nicht sinnig. Die Paketgröße steuert wie viele Datensätze pro Übertragung übermittelt werden.
Also im Prinzip das Verhältnis von Traffic bzw. Anzahl der Server-Anfragen zur Anzahl der Datenmenge die parallel verarbeitet wird.

Mal angenommen du hast 1000 Artikel. Bei einer Paketgröße von 50, würden also 20 Anfragen an den Server gesendet die jeweils 50 Datensätze enthalten.
Wenn du jetzt die Größe aber auf 1 setzt, dann würde dein Server mit 1000 einzelnen Anfragen gespammt. Das ist also genau so wenig effizient wie 1000 Datensätze gleichzeitig zu übertragen.
Es muss also ein gutes Verhältnis gefunden werden.

Der Fehler tritt aber ja offenbar bei dir beim zählen der Kunden auf. Die Paketgröße ist an dieser Stelle also eigentlich sogar noch egal, weil Daten abgefragt und nicht gesendet werden.
Wenn dein Server aber hier schon einen memory limit Fehler hat, sollte die Konfiguration der Datenbank mal geprüft werden.
Eine schnelle Abhilfe wäre ansonsten noch alte Kunden aus dem Shop zu löschen (sofern denn möglich), da dadurch die Abfragen des Connectors in dem Fall deutlich schneller laufen würden.

 

[grubauer]

Gibt es denn keine Möglichkeit hier nur die aktuellen Kunden und Bestellungen einzulesen? Die meisten Kunden sind zumindest bei uns ja bereits im System, da wir ja in diesem Sinne keine Neuinstallation des Systems machen.

 

[Stressless]

Wenn dein Server aber hier schon einen memory limit Fehler hat, sollte die Konfiguration der Datenbank mal geprüft werden.
Eine schnelle Abhilfe wäre ansonsten noch alte Kunden aus dem Shop zu löschen (sofern denn möglich), da dadurch die Abfragen des Connectors in dem Fall deutlich schneller laufen würden.

Die Konfiguration in welchem Hinblick. Stehe gerade etwas auf dem Schlauch.
Wie "grubauer" schon fragte wäre es hier vielleicht hilfreich alle bereits in der WAWI vorhandene Kundendaten als schon gesendet zu markieren?
Wenn ja, wo genau kann ich das machen?

Gruß und Danke im Voraus.

 

[daniel.jtl]

wäre es hier vielleicht hilfreich alle bereits in der WAWI vorhandene Kundendaten als schon gesendet zu markieren?

Genau das macht der Connector ja. Für jeden erfolgreich gezogenen Datensatz der in die Wawi übertragen wurde, liefert die Wawi eine ID zurück an den Connector. Der Connector trägt dann diese Relation zwischen Wawi und Shop in die Link-Tabellen. Und sobald in diesen ein Eintrag steht, wird der entsprechende Datensatz auch nicht nochmal gezogen.

Ich tippe hier mal eher darauf dass die Datenmenge derart groß ist, dass allein der initiale Vergleich in dieser Link-Tabelle schon zu viel Speicher beansprucht.
Wie bereits beschrieben gibt es da aber derzeit nur zwei Lösungen: Ressourcen des Servers erhöhen, oder aber alte Daten im Shop mal bereinigen.

 

[Stressless]

Erst mal danke für die schnelle Antwort.

Müsste ich den Fehler denn dann nicht in MySQL reproduzieren können in dem ich die Abfrage per hand Ausführe?
Irgendwie finde ich es seltsam das im alten Shop mit dem es solche Probleme nicht gab und auch aktuell nicht gibt.
In welche Tabellen werden diese Relationen denn gespeichert, damit ich da mal reinschauen kann, ob diese auch korrekt drinstehen?

Gruß und Danke im Voraus.

 

[daniel.jtl]

jtl_connector_link ist die Tabelle.
Und die Abfrage die offenbar bei dir zum Problem führt sollte die hier sein:
SELECT * FROM customers c
LEFT JOIN address_book a ON c.customers_default_address_id = a.address_book_id
LEFT JOIN countries co ON co.countries_id = a.entry_country_id
LEFT JOIN jtl_connector_link l ON c.customers_id = l.endpointId AND l.type = 2
WHERE l.hostId IS NULL && c.customers_status != 0
ORDER BY c.customers_date_added

Die kannst du gerne mal so in der Datenbank ausprobieren.
Das erzeugt eben alle für den Connector notwendigen Kunden-Daten, unter der Berücksichtigung dass bereits gezogene Daten mit existierender Relation ignoriert werden.
Diese Abfrage ist natürlich je nach Datenbestand sehr aufwändig und braucht daher einiges an Ressourcen.

 

[Stressless]

Vielen Dank,
werde nachher mal testen und dann berichten.

 

[Stressless]

Muss mich leider nochmals melden.

Habe die Abfrage ausführen können. Hat zwar etwas länger gedauerte (0,4 sek) aber noch im vertretbaren und problemlosen bereich.
Dann habe ich mir die Tabellen im einzelnen mal angeschaut und festgestellt das die Tabellen komplett leer sind.
Kann ich die manuell füllen? Gibt es eine andere Möglichkeit?

Gruß und Danke im voraus.

 

[Stressless]

Hat nun geklappt.
Lag tatsächlich nur am memory limit. Nach Rücksprache mit dem Hoster wurde dieser kurzfristg hochgesetzt, und dann lief der Abgleich sauber durch.

Danke nochmals für die Hilfe.
Von meiner Seite aus kann der Thread als gelöst markiert werden.