Gelöst Der erste Shopabgleich bleibt bei den Artikeln hängen

  • Wichtiger Hinweis Liebe Kunden, solltet Ihr den DATEV Rechnungsdatenservice 2.0 nutzen, dann müsst Ihr bis zum 30.06.2024 JTL-Wawi 1.9 installieren. Danach wird die Schnittstelle für ältere Versionen nicht mehr unterstützt.
  • JTL-Connect 2024: Ihr habt noch kein Ticket? Jetzt Early Bird Ticket zum Vorzugspreis sichern! HIER geht es zum Ticketverkauf

Sven555

Aktives Mitglied
12. August 2015
55
0
Hallo sehr geehrtes Support-Team,

wir haben aktuell das Problem, dass mit dem Shopware Connector 1.0.7 sich unser MySQL Server komplett aufhängt und in JTL Fehler verursacht. Die Artikelabfragen scheinen für die Übertragung zu groß zu sein (evtl. zu viele JOINS), obwohl die Datensätze in 50er Schritten eingelesen werden. Wir haben versucht die Query testweise mit LIMIT 1 auszuführen, auch diese Query killt den MySQL Server. Anbei die Query (siehe Anhang). Besteht dort die Möglichkeit die Artikeldaten evtl. in mehreren Schritten einlesen zu lassen?

Das ist eine komplett frische JTL-Wawi Installation (eigener DEMO Mandant), die Kategorien sind durch den Connector drin und wir versuchen ca. 50.000 Artikel zu importieren (Initialimport)


Vielen Dank Voraus.

Gruß Sven
 

Anhänge

  • The operation has timed out.txt
    9,8 KB · Aufrufe: 11

Daniel B.

Moderator
17. Juni 2009
1.430
40
AW: Der erste Shopabgleich bleibt bei den Artikeln hängen

Hey,

ich glaube das liegt an

Code:
LEFT JOIN s_articles_attributes s9_ ON s1_.id = s9_.articleID
        AND (s9_.articledetailsID = s0_.id)

Im Product Mapper sollte der leftJoin im QueryBuilder mit

Code:
->leftJoin('article.attribute', 'attribute', \Doctrine\ORM\Query\Expr\Join::WITH, 'attribute.articleDetailId = detail.id')

drin sein. Denn dann wird es im SQL so aussehen:

Code:
LEFT JOIN s_articles_attributes s9_ ON s1_.id = s9_.articleID AND (s9_.articledetailsID = s0_.id)

Dadurch wird der Index richtig benutzt und das komplette SQL um einen großen Faktor beschleunigt.
Normalerweise sollte der Fix allerdings schon in der Version 1.0.7 enthalten sein.
 

Sven555

Aktives Mitglied
12. August 2015
55
0
AW: Der erste Shopabgleich bleibt bei den Artikeln hängen

Hallo Daniel,

ich habe das mal überprüft, das ist da aktuell schon so drin bzw. ist jetzt aktuell kein Unterscheid zu sehen. Besteht die Möglichkeit irgendwie an die Queries ranzukommen um diese zu editieren?

Gruß
Sven.
 

Daniel B.

Moderator
17. Juni 2009
1.430
40
AW: Der erste Shopabgleich bleibt bei den Artikeln hängen

Hey,

normal sollte dann aber dein SQL anders aussehen. Vielleicht liegt es am Shopware Doctrine Cache, dass noch das alte SQL aufgelöst wird.
Bitte einmal den Shopware Cache leeren.

Könntest du mal mein SQL ausführen um zu sehen, ob dies schneller läuft? (via phpMyadmin oder MySql Client).

Code:
SELECT s0_.id AS id0,
    s0_.articleID AS articleID1,
    s0_.unitID AS unitID2,
    s0_.ordernumber AS ordernumber3,
    s0_.suppliernumber AS suppliernumber4,
    s0_.kind AS kind5,
    s0_.additionaltext AS additionaltext6,
    s0_.active AS active7,
    s0_.instock AS instock8,
    s0_.stockmin AS stockmin9,
    s0_.weight AS weight10,
    s0_.width AS width11,
    s0_.length AS length12,
    s0_.height AS height13,
    s0_.ean AS ean14,
    s0_.position AS position15,
    s0_.minpurchase AS minpurchase16,
    s0_.purchasesteps AS purchasesteps17,
    s0_.maxpurchase AS maxpurchase18,
    s0_.purchaseunit AS purchaseunit19,
    s0_.referenceunit AS referenceunit20,
    s0_.packunit AS packunit21,
    s0_.shippingfree AS shippingfree22,
    s0_.releasedate AS releasedate23,
    s0_.shippingtime AS shippingtime24,
    s1_.id AS id25,
    s1_.main_detail_id AS main_detail_id26,
    s1_.supplierID AS supplierID27,
    s1_.taxID AS taxID28,
    s1_.pricegroupID AS pricegroupID29,
    s1_.filtergroupID AS filtergroupID30,
    s1_.configurator_set_id AS configurator_set_id31,
    s1_.name AS name32,
    s1_.description AS description33,
    s1_.description_long AS description_long34,
    s1_.datum AS datum35,
    s1_.active AS active36,
    s1_.pseudosales AS pseudosales37,
    s1_.topseller AS topseller38,
    s1_.keywords AS keywords39,
    s1_.metaTitle AS metaTitle40,
    s1_.changetime AS changetime41,
    s1_.pricegroupActive AS pricegroupActive42,
    s1_.laststock AS laststock43,
    s1_.crossbundlelook AS crossbundlelook44,
    s1_.notification AS notification45,
    s1_.template AS template46,
    s1_.mode AS mode47,
    s1_.available_from AS available_from48,
    s1_.available_to AS available_to49,
    s2_.id AS id50,
    s2_.articleID AS articleID51,
    s2_.articledetailsID AS articledetailsID52,
    s2_.pricegroup AS pricegroup53,
    s2_.`from` AS from54,
    s2_.`to` AS to55,
    s2_.price AS price56,
    s2_.pseudoprice AS pseudoprice57,
    s2_.baseprice AS baseprice58,
    s2_.percent AS percent59,
    s3_.id AS id60,
    s3_.unit AS unit61,
    s3_.description AS description62,
    s4_.id AS id63,
    s4_.tax AS tax64,
    s4_.description AS description65,
    s5_.id AS id66,
    s5_.parent AS parent67,
    s5_.description AS description68,
    s5_.position AS position69,
    s5_.metakeywords AS metakeywords70,
    s5_.metadescription AS metadescription71,
    s5_.cmsheadline AS cmsheadline72,
    s5_.cmstext AS cmstext73,
    s5_.active AS active74,
    s5_.template AS template75,
    s5_.blog AS blog76,
    s5_.path AS path77,
    s5_.showfiltergroups AS showfiltergroups78,
    s5_.external AS external79,
    s5_.hidefilter AS hidefilter80,
    s5_.hidetop AS hidetop81,
    s5_.noviewselect AS noviewselect82,
    s5_.changed AS changed83,
    s5_.added AS added84,
    s6_.id AS id85,
    s6_.articleID AS articleID86,
    s6_.unitID AS unitID87,
    s6_.ordernumber AS ordernumber88,
    s6_.suppliernumber AS suppliernumber89,
    s6_.kind AS kind90,
    s6_.additionaltext AS additionaltext91,
    s6_.active AS active92,
    s6_.instock AS instock93,
    s6_.stockmin AS stockmin94,
    s6_.weight AS weight95,
    s6_.width AS width96,
    s6_.length AS length97,
    s6_.height AS height98,
    s6_.ean AS ean99,
    s6_.position AS position100,
    s6_.minpurchase AS minpurchase101,
    s6_.purchasesteps AS purchasesteps102,
    s6_.maxpurchase AS maxpurchase103,
    s6_.purchaseunit AS purchaseunit104,
    s6_.referenceunit AS referenceunit105,
    s6_.packunit AS packunit106,
    s6_.shippingfree AS shippingfree107,
    s6_.releasedate AS releasedate108,
    s6_.shippingtime AS shippingtime109,
    s7_.id AS id110,
    s7_.articleID AS articleID111,
    s7_.articledetailsID AS articledetailsID112,
    s7_.pricegroup AS pricegroup113,
    s7_.`from` AS from114,
    s7_.`to` AS to115,
    s7_.price AS price116,
    s7_.pseudoprice AS pseudoprice117,
    s7_.baseprice AS baseprice118,
    s7_.percent AS percent119,
    s8_.id AS id120,
    s8_.articleID AS articleID121,
    s8_.description AS description122,
    s8_.link AS link123,
    s8_.target AS target124,
    s9_.id AS id125,
    s9_.articleID AS articleID126,
    s9_.articledetailsID AS articledetailsID127,
    s9_.attr1 AS attr1128,
    s9_.attr2 AS attr2129,
    s9_.attr3 AS attr3130,
    s9_.attr4 AS attr4131,
    s9_.attr5 AS attr5132,
    s9_.attr6 AS attr6133,
    s9_.attr7 AS attr7134,
    s9_.attr8 AS attr8135,
    s9_.attr9 AS attr9136,
    s9_.attr10 AS attr10137,
    s9_.attr11 AS attr11138,
    s9_.attr12 AS attr12139,
    s9_.attr13 AS attr13140,
    s9_.attr14 AS attr14141,
    s9_.attr15 AS attr15142,
    s9_.attr16 AS attr16143,
    s9_.attr17 AS attr17144,
    s9_.attr18 AS attr18145,
    s9_.attr19 AS attr19146,
    s9_.attr20 AS attr20147,
    s10_.id AS id148,
    s10_.articleID AS articleID149,
    s10_.description AS description150,
    s10_.filename AS filename151,
    s10_.size AS size152,
    s11_.id AS id153,
    s11_.name AS name154,
    s11_.img AS img155,
    s11_.link AS link156,
    s11_.description AS description157,
    s11_.meta_title AS meta_title158,
    s11_.meta_description AS meta_description159,
    s11_.meta_keywords AS meta_keywords160,
    s12_.id AS id161,
    s12_.description AS description162,
    s13_.id AS id163,
    s13_.discount AS discount164,
    s13_.discountstart AS discountstart165,
    s13_.customergroupID AS customergroupID166,
    s13_.groupID AS groupID167,
    s14_.id AS id168,
    s14_.groupkey AS groupkey169,
    s14_.description AS description170,
    s14_.tax AS tax171,
    s14_.taxinput AS taxinput172,
    s14_.mode AS mode173,
    s14_.discount AS discount174,
    s14_.minimumorder AS minimumorder175,
    s14_.minimumordersurcharge AS minimumordersurcharge176,
    s15_.id AS id177,
    s15_.group_id AS group_id178,
    s15_.name AS name179,
    s15_.position AS position180,
    s16_.id AS id181,
    s16_.name AS name182,
    s16_.position AS position183,
    s16_.comparable AS comparable184,
    s16_.sortMode AS sortMode185,
    s17_.id AS id186,
    s17_.name AS name187,
    s17_.filterable AS filterable188,
    s18_.id AS id189,
    s18_.value AS value190,
    s18_.position AS position191,
    s18_.optionID AS optionID192,
    s18_.value_numeric AS value_numeric193,
    s0_.articleID AS articleID194,
    s0_.unitID AS unitID195,
    s1_.taxID AS taxID196,
    s1_.filtergroupID AS filtergroupID197,
    s1_.supplierID AS supplierID198,
    s1_.main_detail_id AS main_detail_id199,
    s1_.pricegroupID AS pricegroupID200,
    s1_.configurator_set_id AS configurator_set_id201,
    s2_.articledetailsID AS articledetailsID202,
    s2_.pricegroup AS pricegroup203,
    s2_.articleID AS articleID204,
    s5_.parent AS parent205,
    s5_.mediaID AS mediaID206,
    s6_.articleID AS articleID207,
    s6_.unitID AS unitID208,
    s7_.articledetailsID AS articledetailsID209,
    s7_.pricegroup AS pricegroup210,
    s7_.articleID AS articleID211,
    s8_.articleID AS articleID212,
    s9_.articleID AS articleID213,
    s9_.articledetailsID AS articledetailsID214,
    s10_.articleID AS articleID215,
    s13_.groupID AS groupID216,
    s13_.customergroupID AS customergroupID217,
    s15_.group_id AS group_id218,
    s18_.optionID AS optionID219 
FROM s_articles_details s0_
LEFT JOIN jtl_connector_link_detail j19_ ON s0_.id = j19_.detail_id
LEFT JOIN s_articles s1_ ON s0_.articleID = s1_.id
LEFT JOIN s_articles_prices s2_ ON s0_.id = s2_.articledetailsID
LEFT JOIN s_core_units s3_ ON s0_.unitID = s3_.id
LEFT JOIN s_core_tax s4_ ON s1_.taxID = s4_.id
LEFT JOIN s_articles_categories s20_ ON s1_.id = s20_.articleID
LEFT JOIN s_categories s5_ ON s5_.id = s20_.categoryID
LEFT JOIN s_articles_details s6_ ON s1_.main_detail_id = s6_.id
LEFT JOIN s_articles_prices s7_ ON s6_.id = s7_.articledetailsID
LEFT JOIN s_articles_information s8_ ON s1_.id = s8_.articleID
LEFT JOIN s_articles_attributes s9_ ON s1_.id = s9_.articleID AND (s9_.articledetailsID = s0_.id)
LEFT JOIN s_articles_downloads s10_ ON s1_.id = s10_.articleID
LEFT JOIN s_articles_supplier s11_ ON s1_.supplierID = s11_.id
LEFT JOIN s_core_pricegroups s12_ ON s1_.pricegroupID = s12_.id
LEFT JOIN s_core_pricegroups_discounts s13_ ON s12_.id = s13_.groupID
LEFT JOIN s_articles_avoid_customergroups s21_ ON s1_.id = s21_.articleID
LEFT JOIN s_core_customergroups s14_ ON s14_.id = s21_.customergroupID
LEFT JOIN s_article_configurator_option_relations s22_ ON s0_.id = s22_.article_id
LEFT JOIN s_article_configurator_options s15_ ON s15_.id = s22_.option_id
LEFT JOIN s_filter s16_ ON s1_.filtergroupID = s16_.id
LEFT JOIN s_filter_relations s23_ ON s16_.id = s23_.groupID
LEFT JOIN s_filter_options s17_ ON s17_.id = s23_.optionID
LEFT JOIN s_filter_values s18_ ON s17_.id = s18_.optionID
WHERE j19_.host_id IS NULL 
ORDER BY s0_.kind ASC 
LIMIT 50 OFFSET 0
 

Sven555

Aktives Mitglied
12. August 2015
55
0
AW: Der erste Shopabgleich bleibt bei den Artikeln hängen

Hi Daniel,

habe ich eben probiert, leider keine Veränderung. Cache habe ich auch schon mehrfach geleert. Ich habe jetzt testweise angefangen mal ein paar LEFT JOINS zu entfernen um zu schauen, wo es denn hängen könnte bzw. bei welcher Tabelle er zu lange braucht.
 

Sven555

Aktives Mitglied
12. August 2015
55
0
AW: Der erste Shopabgleich bleibt bei den Artikeln hängen

Er scheint Probleme bei den Artikelmerkmalen zu haben. Die Tabellen s_filter, s_filter_relations, s_filter_options, s_filter_values
 

Sven555

Aktives Mitglied
12. August 2015
55
0
AW: Der erste Shopabgleich bleibt bei den Artikeln hängen

s_filter: 4 Datensätze
s_filter_relations: 25 Datensätze
s_filter_options: 10 Datensätze
s_filter_values: 128 Datensätze

aaaaber s_filter_articles: 134.394 Datensätze
 

Daniel B.

Moderator
17. Juni 2009
1.430
40
AW: Der erste Shopabgleich bleibt bei den Artikeln hängen

Auf s_filter_articles machen wir aber keinen JOIN. Daran kann es nicht liegen. Schwer zu sagen.
Was für ein MySQL Fehler kommt denn? Timeout? Oder vlt. sogar ein PHP Memory Limit?
 

Sven555

Aktives Mitglied
12. August 2015
55
0
AW: Der erste Shopabgleich bleibt bei den Artikeln hängen

Ein Timeout. Ich hatte das Zeitfenster mal erhöht gehabt, aber dann glüht der MySQL Server und geht vollkommen in die Knie. Ich habe jetzt mal testweise die Merkmaltabelle in bei Shopware geleert und den Abgleich angestartet. Jetzt laufen die Artikel langsam in die WaWi. Lassen sich die Merkmale evtl. in die WaWi per Ameise nach importieren, sodass diese dann an den Shop geschickt werden?
 

Sven555

Aktives Mitglied
12. August 2015
55
0
AW: Der erste Shopabgleich bleibt bei den Artikeln hängen

Hallo Daniel,

vielleicht habt ihr das schon mal getestet: könnte man die Artikel, Bestellungen usw. evtl. mit Hilfe der Shopware REST API einlesen bzw. den Connector per API an Shopware andocken? (höhere Performance)
 

coarsy

Gut bekanntes Mitglied
11. Dezember 2013
511
4
Eschborn
AW: Der erste Shopabgleich bleibt bei den Artikeln hängen

Servus,

ein API Zugriff ist immer unperformanter als ein direkter Datenbankzugriff, wie es der Connector aktuell macht.
 
Ähnliche Themen
Titel Forum Antworten Datum
Amazon FBA Aufträge landen in der Beschaffung JTL-Wawi 1.8 2
Neu Auswahl der Artikel in Box "Kauftipp" auf der Startseite – JTL Shop 5 Allgemeine Fragen zu JTL-Shop 1
Neu Läuft der JTL-Shop 4 mit der PHP Version 8.2.20 ??? Einrichtung von JTL-Shop4 1
1.9.4.5: Listen aktualisieren sich nicht mehr beim Wechsel der Verwaltungen/Reiter JTL-Wawi 1.9 0
Neu Dynamische Berechnung der Versandkosten JTL-Workflows - Ideen, Lob und Kritik 0
Neu Fehler bei der Anlage einer Ebay-Angebotsvorlage - Nicht genug Quoten verfügbar um Befehl zu verarbeiten... JTL-Wawi - Fehler und Bugs 1
Neu Teil der Bestellung stornieren bevor Auslieferung. Wie? User helfen Usern - Fragen zu JTL-Wawi 4
Worker (Ausgabe der geschriebenen Rechnunge per Mail JTL-Wawi 1.9 1
Kein HTML-Editor bei der Artikelbeschreibung JTL-Wawi 1.8 2
Neu Ladezeit der Seite Einrichtung JTL-Shop5 2
Neu Aufträge aus POS kommen nicht in der Wawi an ... Einrichtung / Updates von JTL-POS 2
Neu Welche Consent und Cookie-Plugins nutzt ihr? Erfahrungen mit der Anbindung an GTM und GA4? Plugins für JTL-Shop 1
Neu Wareneingang wird nicht vollständig der Lieferantenbestellung zugeordnet Arbeitsabläufe in JTL-WMS / JTL-Packtisch+ 0
Neu Connectoreinsatz in der lokalen Entwicklungsumgebung Shopware-Connector 1
Neu Produktetiketten zu einer Lieferantenbestellung in der Bestellmenge im Bulk sortiert drucken Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 0
Neu Ist es überhaupt möglich mit mehreren Mandanten ein zentrales Lager anzusteuern und der Logistik gebündelt alle Versandaufträge zuzuspielen? Installation von JTL-WMS / JTL-Packtisch+ 2
In Bearbeitung JTL POS in der Praxis in Österreich + Buchhaltungsexport Allgemeine Fragen zu JTL-POS 2
Neu Warnung in der Entwicklerkonsole - SameSite-Problem bei JTLSHOP und _gcl_au Cookies JTL-Shop - Fehler und Bugs 0
WaWi 1.9.4.5 hängt in der Artikelansicht beim Scrollen JTL-Wawi 1.9 7
Neu DotLiquid: Geschlechtsneutrale Ansprache in Mails aus der Wawi User helfen Usern - Fragen zu JTL-Wawi 2
Neu starker Anstieg der Besucherzahlen ohne Auswirkungen auf Suche oder Umsatz => Botfilter? Betrieb / Pflege von JTL-Shop 1
Fehler bei der verbindung der server anfrage am Arbeitzplatz JTL-Wawi 1.9 2
Neu Was ist der richtige Weg in Plugins Sprachvariablen an Smarty zu übergeben? Plugins für JTL-Shop 1
Fehlermeldung beim Update von der Version 1-6-47-0 auf 1-9-4-5 JTL-Wawi 1.7 6
Neu Wenn bereits eine Retoure zu einem Auftrag existiert, wird der Auftrag in der WMS im Retourenfenster nicht mehr angezeigt. JTL-WMS / JTL-Packtisch+ - Fehler und Bugs 0
Beantwortet Bilder der Variantenprodukte JTL Ameise - Eigene Exporte 1
Neu Probleme mit der mobilen Ansicht des Shops Allgemeine Fragen zu JTL-Shop 3
Ladezeit der Kategorie JTL-Wawi 1.9 4
Neu Export von Kategorien - Sichtbarkeit andere wie in der WAWI JTL-Ameise - Fehler und Bugs 7
Neu Steuerpflichtig in der Schweiz, Versand aus Deutschland Arbeitsabläufe in JTL-Wawi 10
Stücklisten mit Einkaufspreisen der Einzelprodukte sehen JTL-Wawi 1.8 6
Neu 1.9.4.3 Keine Mehrpaketsendungen mit der neuen UPS OAuth-Schnittstelle möglich JTL-ShippingLabels - Fehler und Bugs 14
Neu Druck entspricht nicht der Druckvorschau - Hilfe - was bedeutet IssueIndex() eigentlich? User helfen Usern - Fragen zu JTL-Wawi 0
Neu Hilfe bei Datenbankabfrage - da gab es jemanden, der schnell ( gegen Bazahlung ) helfen konte User helfen Usern - Fragen zu JTL-Wawi 1
Neu Änderung der Registrierungsweise für Smart-Funnktionen? Installation / Updates von JTL-Shop 1
Artikel -> Mindestabnahme/Abnahmeintervall wird bei Auftragsanlage in der App nicht übernommen JTL-Wawi App 2
Nach Start der Wawi Angebotsübersicht beginnt mit den ältesten Angeboten. JTL-Wawi 1.8 1
Neu Artikelstammdaten - Registerkarte "Lieferanten" fehlt beim öffnen der Artikelstammdaten User helfen Usern - Fragen zu JTL-Wawi 2
Neu Warenkorb anzeige mit der Gesammtsumme Templates für JTL-Shop 0
Gelöst Wird die Anzahl der Kassenlade-Öffnungen irgendwo erfasst? Wenn ja, wo finde ich die Angabe? Allgemeine Fragen zu JTL-POS 6
Sortierung von der Stücklisten-Artikel innerhalb einer Variation JTL-Wawi 1.9 1
Neu Übernahme Shop inkl. WAWI - Löschen von Kundendaten in der Datenbank Installation von JTL-Wawi 4
Neu Anordnung des Elementes für Anzahl der Ergebnisse für Kategorieseiten User helfen Usern - Fragen zu JTL-Wawi 1
Neu Name der Zahlungsart in Kleinbuchstaben konvertiert Shopify-Connector 0
Neu Shopware 5: Nach Backup-Einspielung führt der Connector keinen Abgleich mehr durch Shopware-Connector 3
Neu Der JTL-ShippingLabels-Server ist nicht erreichbar. Bitte versuchen Sie es zu einem späteren Zeitpunkt Gelöste Themen in diesem Bereich 10
Bin ich es der wahnsinnig ist oder die neue 1.9.4.1? JTL-Wawi 1.9 15
Neu Im lieferschein wird der Gutscheincode im Arikelnamen mit ausgegeben User helfen Usern - Fragen zu JTL-Wawi 0
Neu Über 10 Jahre alte Kundendaten + Aufträge + Rechnung in der wawi löschen User helfen Usern - Fragen zu JTL-Wawi 0
Fenster beim Druck aus der Wawi JTL-Wawi 1.8 1

Ähnliche Themen