Probleme beim Abgleich mit neuem Connector

[daniel.jtl]

AW: Probleme beim Abgleich mit neuem Connector

Also wenn ich direkt bei dir auf dem Connector von hier aus testweise Daten ziehe, dann brauche ich bei einer Paketgröße von 50 Artikeln im Schnitt 300-500 ms.
Hochgerechnet auf deinen Artikel-Bestand müsste das ziehen aller Daten also maximal 15 Minuten dauern. Selbst unter Berücksichtigung komplexerer Daten dürfte es nicht länger als eine Stunde dauern.
Allerdings stelle ich auch fest dass dein Server stellenweise dann für eine Anfrage schon mal 20 Sekunden und länger braucht und es erst dann weitergeht.
Ich kann dir hier leider nicht erklären woran es liegt, da es sich dabei (genau wie zuvor der Speicherüberlauf mit Phar) mit ziemlicher Sicherheit um ein Server- bzw. Konfigurations-Problem handelt.
Ich würde dir empfehlen in den Connector-Einstellungen mal unterschiedliche Paketgrößen auszuprobieren.
Wenn hier z.B. die Paketgröße auf 1 steht, erfolgen 100000 einzelne Requests, was natürlich ewig dauert.

 

[metatron86]

AW: Probleme beim Abgleich mit neuem Connector

Weiß du welche Werte/Tabellen beim Ableich abgefragt werden?

 

[daniel.jtl]

AW: Probleme beim Abgleich mit neuem Connector

Ja, alle möglichen.
Das hängt ja davon ab welcher Datentyp gerade gezogen wird und dann auch über wieviele Relationen das läuft.
Bei Produkten mit Variationen sind zum Beispiel für jedes Produkt bis zu 15 Tabellen betroffen die mittels diverser Querverweise abgefragt werden müssen.

 

[metatron86]

AW: Probleme beim Abgleich mit neuem Connector

Wir haben die Shop Datenbank bereinigt. Da gab es einige Artikelleichen. Die Einstellungen wurden auch geprüft. Soweit alles ok. Ich habe daraufhin einen neuen Mandanten angelegt und einen Abgleich gestartet. Sowohl die Wawi als auch der Shop waren down. Ich habe auch die gleichen Minimaleinstellungen genutzt, das hat leider nicht geholfen. Also bin ich zurück auf den anderen Mandanten. Dort geht es. Aber trotz aufgeräumter Datenbank ist quälend langsam. Wir sind auch mit unserem Latein am Ende. Der Connector und die Wawi sind für uns seit zwei Wochen nicht nutzbar. Die Tendenz ist wohl eher so, dass wir wohl nicht mehr mit der Wawi arbeiten werden können.

Noch irgendwelche Ideen?

 

[daniel.jtl]

AW: Probleme beim Abgleich mit neuem Connector

Ich habe auch die gleichen Minimaleinstellungen genutzt, das hat leider nicht geholfen.

Also bitte hier wie ich oben auch sagte einen Mittelweg finden.

Vereinfacht gesagt kann man hier ja sagen:
- Kleine Paketgrößen = Mehr Requests dafür weniger Server-Last was die parallel Verarbeitung von Datenmengen betrifft
- Große Paketgrößen = Weniger Requests dafür jedoch im Gegenzug mehr Server-Last

Eine Einstellung von 1 daher hier mindestens genau so schlimm wie 1000.

Davon abgesehen hängt die Performance von sehr vielen weitere Faktoren ab: Netzwerk-Geschwindigkeit, Server-Hardware, Server-Konfiguration, Shop-System, Anzahl und Komplexität der angelegten Daten, usw.

Wenn ein Wechsel des Mandanten jedoch derart Einfluss und Unterschied macht, muss ich das Ganze mal an einen Wawi-Kollegen weitergeben.
In dem Fall deutet ja dann alles auf ein Wawi-seitiges Problem hin.

 

[metatron86]

AW: Probleme beim Abgleich mit neuem Connector

OK bezüglich der Geschwindigkeit: Seien wir ehrlich, wenn die Wawi 12-14 Tage braucht für einen Komplettabgleich, dann kann man damit nicht sinnvoll arbeiten. Die Wawi unter der 0.9xxx Version brauchte 24h bei gleicher Artikelmenge. Die Daten haben wir auch schon deutlich reduziert indem wir die Performance fressenden Attribute entfernt haben.

Bitte sag uns bescheid, sofern du ein Feedback von dem Kollegen bekommst.

 

[ichwillverkaufen]

AW: Probleme beim Abgleich mit neuem Connector

Wir haben das selbe (oder zumindest ein sehr ähnliches) Problem hier.Ausgangslage ist ein bereits gefüllter Modified- Shop mit weniger als 1000 Produkten OHNE Variationen. Dieser soll nun an die JTL-WAWI angeschlossen werden. Es handelt sich somit um die allererste Synchronisation bzw. den allerersten Webshop-Abgleich. Die WAWI ist also komplett leer. Nach bereits 2 Sekunden wirft die Wawi dann folgende Fehlermeldung:

Abgleich-Protokoll:Webshopabgleich beendet für 'Backup Modified'.Fehler:Exception: DeserializeObject-Error: Newtonsoft.Json.JsonReaderException: Unexpected character encountered while parsing value:

 

[daniel.jtl]

AW: Probleme beim Abgleich mit neuem Connector

DeserializeObject-Error: Newtonsoft.Json.JsonReaderException: Unexpected character encountered while parsing value:

Das hat mit dem ursprünglichen Thema hier nichts zu tun.
Hier liegt eher die Vermutung nahe dass es ein Encoding Problem gibt.
Ist der Shop im serienmäßigen Zustand oder wurden hier irgendwelche UTF8 Themes oder Hacks angewendet?

 

[ichwillverkaufen]

AW: Probleme beim Abgleich mit neuem Connector

Das hat mit dem ursprünglichen Thema hier nichts zu tun.Hier liegt eher die Vermutung nahe dass es ein Encoding Problem gibt.Ist der Shop im serienmäßigen Zustand oder wurden hier irgendwelche UTF8 Themes oder Hacks angewendet?

Die selbe Fehlermeldung steht auf Seite 1 zu beginn des Threads.

 

[daniel.jtl]

AW: Probleme beim Abgleich mit neuem Connector

Die selbe Fehlermeldung steht auf Seite 1 zu beginn des Threads.

Also nur weil die ersten paar Worte identisch sind handelt es sich nicht automatisch gleich um das selbe Problem.
Dafür müsste man die volle Meldung sehen, so kann man dazu nichts sagen...

 

[ichwillverkaufen]

AW: Probleme beim Abgleich mit neuem Connector

Es ist wesentlich mehr identisch. Ich versuche hier gerade verzweifelt die BB-Codes zum Laufen zu bringen. Mir schneidet das Board hier immer 90% meines Beitrages ab wegen den Sonderzeichen in der Fehlermeldung.Die vBulletin-Codes funktionieren leider nicht. Und eure eigene BB-Code-Seite ist leider down.Deswegen muss ich meinen ganzen Post jetzt leider etwas unkonventionell posten: https://shrib.com/g8GxRgcYzMfu1Di

 

[ichwillverkaufen]

AW: Probleme beim Abgleich mit neuem Connector

Also nur weil die ersten paar Worte identisch sind handelt es sich nicht automatisch gleich um das selbe Problem.Dafür müsste man die volle Meldung sehen, so kann man dazu nichts sagen...

Hier kann man ganz gut erkennen, dass die gesamte Fehlermeldung exakt identisch ist:Imgur: The most awesome images on the Internet Soll ich mich besser an den Support wenden?

 

[daniel.jtl]

AW: Probleme beim Abgleich mit neuem Connector

Wenn die Meldung die selbe ist, besteht ja hier auch das Problem dass die Datenbank überfordert ist bzw. der Speicher nicht für die Datenmengen ausreichend ist.
Da lässt sich von unserer Seite dann leider auch nichts machen.
Hier gilt es die Konsistenz der Datenbank zu prüfen, gegebenfalls Datenleichen zu entfernen, prüfen ob alle Indizes korrekt gesetzt sind, System soweit auf den neuesten Stand zu bringen und zu bereinigen wie möglich.

 

[ichwillverkaufen]

AW: Probleme beim Abgleich mit neuem Connector

Auf dem neusten Stand war der Shop bereits.Jetzt habe ich alle Tabellen auf Konsistenz überprüft und die Tabellen anschließend optimieren lassen.Leider tritt der Fehler immer noch auf.

 

[rockon]

AW: Probleme beim Abgleich mit neuem Connector

Hallo zusammen, seit gestern funktioniert auch bei uns der Ableich des Connectors nicht mehr. Im Log des Connenctors steht : [2016-04-07 09:05:14] global.ERROR: Shutdown! File: phar:///WWWROOT/233188/htdocs/jtlconnector/index.php/vendor/doctrine/annotations/lib/Doctrine/Common/Annotations/DocLexer.php - Line: 34 - Type: 64 - Message: Cannot redeclare class Doctrine\Common\Annotations\DocLexer [] [] dieser Fehler ziehr sich durch das gesamte Log. Jemand einen tip für uns ? Gruß

 

[testjo]

AW: Probleme beim Abgleich mit neuem Connector

php version?
Oder etwas auf Host updated oder einstellungen anders?
Weis so nicht was und welche doctrine teilen benutzt werden aber es gibt die brauchen glaube ich ab >= php 5.5. ( in jedenfalls den support gibt es da nicht mehr wen php kleiner dan 5.5 ) aber ok ich weis nicht welche teilen/versionen jtl hier allen benutzt oder nicht benutzt.

Cachings

 

[rockon]

AW: Probleme beim Abgleich mit neuem Connector

Vielen Dank für die Tips, werd dem mal nachgehen.

 

[rockon]

AW: Probleme beim Abgleich mit neuem Connector

Hallo,

ich hab jetzt mal eineige Sachen ausprobiert werde aber nicht schlauer. Die PHP Version ist 5.4 . Wawi ist die neuster 1.0.10.1 .

Hier die auszüge aus den Errorlogs im Connenctor :

[2016-04-07 21:38:48] global.ERROR: Shutdown! File: phar:///WWWROOT/233188/htdocs/jtlconnector/index.php/vendor/doctrine/annotations/lib/Doctrine/Common/Annotations/DocLexer.php - Line: 34 - Type: 64 - Message: Cannot redeclare class Doctrine\Common\Annotations\DocLexer [] []


Und hier der Log aus der WAwi :

Unbehandelte Ausnahme #197B08BA8A1010A2 vom Typ System.Exception in jtlCore.ControllerClasses. Connector.Core.Rpc.RpcResponse Cffcsxc8AN(System.String, System.Object, Boolean, System.Net.NetworkCredential)
System.Exception: Exception: DeserializeObject-Error: Newtonsoft.Json.JsonReaderException: Unexpected character encountered while parsing value: . Path '', line 0, position 0.
bei Newtonsoft.Json.JsonTextReader.ParseValue()
bei Newtonsoft.Json.JsonTextReader.ReadInternal()
bei Newtonsoft.Json.JsonTextReader.Read()
bei Newtonsoft.Json.Serialization.JsonSerializerInternalReader.ReadForType(JsonReader reader, JsonContract contract, Boolean hasConverter)
bei Newtonsoft.Json.Serialization.JsonSerializerInternalReader.Deserialize(JsonReader reader, Type objectType, Boolean checkAdditionalContent)
bei Newtonsoft.Json.JsonSerializer.DeserializeInternal(JsonReader reader, Type objectType)
bei Newtonsoft.Json.JsonConvert.DeserializeObject(String value, Type type, JsonSerializerSettings settings)
bei Newtonsoft.Json.JsonConvert.DeserializeObject[T](String value, JsonSerializerSettings settings)
bei jtlCore.ControllerClasses.Connector.Core.Json.DeserializeObject[T](String json)

Json:‹ MMKA†ÿʘóÚh·HÙ›T<
*ì%—q&¸£³™efV¥ÿÝ,X)—7ON¹Ì±B'sŒ
pÎ)Cw—<C÷°i`äRì‡6°³"©šÌž]´™æRÌSr5a¢]Ç$D‹ÎÖ¤ézÏGÎЀ·ÕªÏë0WŸ~äÆ<‡È™›;Â%ú¾9Þ×m{¿Ýªt…ð³F—DØÕ” ƒx>®¦a"üfñËÈ_(Ð^]ÇÞ ÿ ñ¯ ñB¸š[³WegÚ
œгyrʼ^ÝéÁk9Ë—(=œ
9ëÃ=


Response: ‹ MMKA†ÿʘóÚh·HÙ›T<
*ì%—q&¸£³™efV¥ÿÝ,X)—7ON¹Ì±B'sŒ
pÎ)Cw—<C÷°i`äRì‡6°³"©šÌž]´™æRÌSr5a¢]Ç$D‹ÎÖ¤ézÏGÎЀ·ÕªÏë0WŸ~äÆ<‡È™›;Â%ú¾9Þ×m{¿Ýªt…ð³F—DØÕ” ƒx>®¦a"üfñËÈ_(Ð^]ÇÞ ÿ ñ¯ ñB¸š[³WegÚ
œгyrʼ^ÝéÁk9Ë—(=œ
9ëÃ=
---> System.Exception: DeserializeObject-Error: Newtonsoft.Json.JsonReaderException: Unexpected character encountered while parsing value: . Path '', line 0, position 0.
bei Newtonsoft.Json.JsonTextReader.ParseValue()
bei Newtonsoft.Json.JsonTextReader.ReadInternal()
bei Newtonsoft.Json.JsonTextReader.Read()
bei Newtonsoft.Json.Serialization.JsonSerializerInternalReader.ReadForType(JsonReader reader, JsonContract contract, Boolean hasConverter)
bei Newtonsoft.Json.Serialization.JsonSerializerInternalReader.Deserialize(JsonReader reader, Type objectType, Boolean checkAdditionalContent)
bei Newtonsoft.Json.JsonSerializer.DeserializeInternal(JsonReader reader, Type objectType)
bei Newtonsoft.Json.JsonConvert.DeserializeObject(String value, Type type, JsonSerializerSettings settings)
bei Newtonsoft.Json.JsonConvert.DeserializeObject[T](String value, JsonSerializerSettings settings)
bei jtlCore.ControllerClasses.Connector.Core.Json.DeserializeObject[T](String json)

Json:‹ MMKA†ÿʘóÚh·HÙ›T<
*ì%—q&¸£³™efV¥ÿÝ,X)—7ON¹Ì±B'sŒ
pÎ)Cw—<C÷°i`äRì‡6°³"©šÌž]´™æRÌSr5a¢]Ç$D‹ÎÖ¤ézÏGÎЀ·ÕªÏë0WŸ~äÆ<‡È™›;Â%ú¾9Þ×m{¿Ýªt…ð³F—DØÕ” ƒx>®¦a"üfñËÈ_(Ð^]ÇÞ ÿ ñ¯ ñB¸š[³WegÚ
œгyrʼ^ÝéÁk9Ë—(=œ
9ëÃ=

bei jtlCore.ControllerClasses.Connector.Core.Json.DeserializeObject[T](String json)
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.Cffcsxc8AN(String , Object , Boolean , NetworkCredential )
--- Ende der internen Ausnahmestapelüberwachung ---
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.Cffcsxc8AN(String , Object , Boolean , NetworkCredential )
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.ConfigCall(QueryFilter filter)
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.ConfigCall()
bei jtlCore.ControllerClasses.Connector.Shopkonfiguration.ShopKonfigurationController.HUJlb2ig7F()
bei jtlCore.ControllerClasses.Connector.Shopkonfiguration.ShopKonfigurationController..ctor(Connector connector, IWin32Window MainWindow)
bei jtlCore.Classes.CppConnector.CppConnector.ConnectorKonfiguration(Int32 kShop, Int32 nFormHandle)
bei JTLwawi.CJTLwawi.JTL_ConnectorKonfiguration(String SRV, String DBN, String DBU, String DBP, Int32 kBenutzer, Int32 kShop, Int32& result, Int32 nFormHandle)

Unbehandelte Ausnahme #5655E3A227AD125A vom Typ System.Exception in T DeserializeObject[T](System.String): DeserializeObject-Error: Newtonsoft.Json.JsonReaderException: Unexpected character encountered while parsing value: . Path '', line 0, position 0.
bei Newtonsoft.Json.JsonTextReader.ParseValue()
bei Newtonsoft.Json.JsonTextReader.ReadInternal()
bei Newtonsoft.Json.JsonTextReader.Read()
bei Newtonsoft.Json.Serialization.JsonSerializerInternalReader.ReadForType(JsonReader reader, JsonContract contract, Boolean hasConverter)
bei Newtonsoft.Json.Serialization.JsonSerializerInternalReader.Deserialize(JsonReader reader, Type objectType, Boolean checkAdditionalContent)
bei Newtonsoft.Json.JsonSerializer.DeserializeInternal(JsonReader reader, Type objectType)
bei Newtonsoft.Json.JsonConvert.DeserializeObject(String value, Type type, JsonSerializerSettings settings)
bei Newtonsoft.Json.JsonConvert.DeserializeObject[T](String value, JsonSerializerSettings settings)
bei jtlCore.ControllerClasses.Connector.Core.Json.DeserializeObject[T](String json)

Json:‹ MMKA†ÿʘóÚh·HÙ›T<
*ì%—q&¸£³™efV¥ÿÝ,X)—7ON¹Ì±B'sŒ
pÎ)Cw—<C÷°i`äRì‡6°³"©šÌž]´™æRÌSr5a¢]Ç$D‹ÎÖ¤ézÏGÎЀ·ÕªÏë0WŸ~äÆ<‡È™›;Â%ú¾9Þ×m{¿Ýªt…ð³F—DØÕ” ƒx>®¦a"üfñËÈ_(Ð^]ÇÞ ÿ ñ¯ ñB¸š[³WegÚ
œгyrʼ^ÝéÁk9Ë—(=œ
9ëÃ=


2016-04-07T20:26:39 DEBUG - [SQL] Dauer: 3ms
2016-04-07T20:26:39 DEBUG - [SQL] INSERT INTO [tLizenz] (cAuthId, cAuthToken, bLizenzen, bSignatur, dDatum) VALUES (@cAuthId, @cAuthToken, @bLizenzen, @bSignatur, @dDatum);
@cAuthId = '56d56e4989f2756d56e4989f33',
@cAuthToken = '5706a630e61685706a630e619f',
@bLizenzen = System.Byte[],
@bSignatur = System.Byte[],
@dDatum = '2016-07-04 08:26:39' -- 07.04.2016 20:26:39
2016-04-07T20:26:39 DEBUG - [SQL] Dauer: 4ms
2016-04-07T20:26:39 DEBUG - [TableTable] Invalidate: [tLizenz]
2016-04-07T20:26:39 DEBUG - [SQL] select top 1 * from tLizenz
2016-04-07T20:26:39 DEBUG - [SQL] Dauer: 2ms
2016-04-07T20:26:39 DEBUG - [SQL] INSERT INTO [tLizenzlog] (nTyp, cAufruf, cLog, dDatum) VALUES (@nTyp, @cAufruf, @cLog, @dDatum);; SELECT scope_identity() AS id;
@nTyp = 1,
@cAufruf = 'License.Handler.MmE6ZIymx6C()',
@cLog = 'Missing License-Requirement: Shop-URL',
@dDatum = '2016-07-04 08:26:39' -- 07.04.2016 20:26:39
2016-04-07T20:26:39 DEBUG - [SQL] Dauer: 3ms
2016-04-07T20:26:39 DEBUG - [TableTable] Invalidate: [tLizenzlog]
2016-04-07T20:26:42 DEBUG - [SQL] SELECT * FROM [tInetKundeShop]
2016-04-07T20:26:42 DEBUG - [SQL] Dauer: 17ms
2016-04-07T20:26:42 DEBUG - [SQL] SELECT * FROM [tShopMappingKundengruppe]
2016-04-07T20:26:42 DEBUG - [SQL] Dauer: 1ms
2016-04-07T20:26:42 DEBUG - [SQL] SELECT * FROM [tSpracheUsed] ORDER BY tSpracheUsed.nStandard DESC
2016-04-07T20:26:42 DEBUG - [SQL] Dauer: 1ms
2016-04-07T20:26:42 DEBUG - [SQL] SELECT * FROM [tWaehrung]
2016-04-07T20:26:42 DEBUG - [SQL] Dauer: 2ms
2016-04-07T20:26:46 DEBUG - [SQL] SELECT * FROM [tInetKundeShop]
2016-04-07T20:26:46 DEBUG - [SQL] Dauer: 9ms
2016-04-07T20:26:47 DEBUG - [SQL] SELECT * FROM [tShopMappingKundengruppe]
2016-04-07T20:26:47 DEBUG - [SQL] Dauer: 0ms
2016-04-07T20:26:47 DEBUG - [SQL] SELECT * FROM [tSpracheUsed] ORDER BY tSpracheUsed.nStandard DESC
2016-04-07T20:26:47 DEBUG - [SQL] Dauer: 0ms
2016-04-07T20:26:47 DEBUG - [SQL] SELECT * FROM [tWaehrung]
2016-04-07T20:26:47 DEBUG - [SQL] Dauer: 0ms
Zeitstempel: 2016-04-07T20:27:08
Locale: German (Germany)
Locale: German (Germany)
Version: 1.0.9.1
Plattform: Wawi
Versionshash: 6BF48CF4
Prozessname: System.Diagnostics.Process (JTL-wawi)
Physikalischer Speicher: 210063360 / Peak: 358215680
Basispriorität: 8
Prioritätsklasse: Normal
CPU-Zeit (User): 0:00:19,71875
CPU-Zeit (System): 0:00:05,140625
Page-Size (Sytem): 1187088 / Peak: 315224064
Page-Size: 159031296 / Peak: 315224064
Offene Handles: 1263

Bin für jede Hilfe dankbar

 

[gre000]

AW: Probleme beim Abgleich mit neuem Connector

Hallo,

Leute warum glaubt Ihr das Ihr in einem Thema das unter "Gelöste Themen Modfied- Connector" steht Hilfe bekommt?
Zumal Rockon Fehler überhaupt nichts mit dem ursprünglichen zu tun hat....

 

[rockon]

AW: Probleme beim Abgleich mit neuem Connector

Hallo gre000,

ich muß zu meiner Schande dir vollkommen rechtgeben! Fehler in einem Thread zu posten der unter "Gelöste Themen Modfied- Connector" steht ist völlig schwachsinnig.
Habs zu spät gesehen und werde ein neuen Thread für diese Problem aufmachen. Hab bis heute keine Lösung hierfür gefunden....