Neu Wie Ebay-Abgleich beschleunigen

  • Temporäre Senkung der Mehrwertsteuer Hier findet ihr gesammelt alle Informationen, Videos und Fragen inkl. Antworten: https://forum.jtl-software.de/threads/mehrwertsteuer-senkung-vom-01-07-31-12-2020-offizieller-diskussionthread-video.129542/

TDS2018

Sehr aktives Mitglied
25. Oktober 2018
204
26
Da wir bislang auf dem Land mit einem 6000er Anschluß Vorlieb nehmen mußten, ging ich davon aus, daß der Flaschenhals bei Datenabgleiche bei der Telekom hängt. Nun haben wir seit einem Monat einen 100 MBit/s-Anschluß, der uns im Upload ca. 40 MBit/s beschert. Da wir so ziemlich die einzigen sind, die hier ein schnelles Internet nutzen, schließe ich einen weiteren Flaschenhals durch Leitungsüberlastung aus.

Ich habe gerade bei 28 Artikeln die Designvorlage abgeändert und danach alle Artikel abgeglichen. Das Ergebnis war niederschmetternd, die Wawi hat dafür 407 Sekunden gebraucht, das sind im Schnitt 14 Sekunden pro Artikel. Ich habe zwei Screenshots angehängt, da ich meinen Augen nicht trauen konnte, daß in einem Moment knapp 5 mB/s hochgeladen werden und zwischen zwei Artikelupdates meist langweilige Stille herrscht. Ich habe hochgerechnet, was es für unser künftiges Projekt mit ca. 30.000 Artikeln bedeutet: 7267 Minuten bzw. 5 Tage (!) Nicht auszudenken, wenn wir was in der Designvorlage ändern, wie in der jetzigen Testphase.

Eigentlich hatte ich sogar überlegt, den Firmensitz zu verlegen, als wir noch das langsame Internet hatten aber jetzt sehe ich, daß es nicht am Upload allein liegt, was wir bisher vermuteten. Ich hoffe, daß jemand eine Idee hat, mir bei der Suche nach dem tatsächlichen Flaschenhals zu helfen. Danke!

***Edit - Momentan läuft noch ein weiterer Abgleich, bei dem ich nach 136 Artikeln und 38 Minuten festhalten kann, daß bei mir dere Abgleich eines Artikels im Schnitt 17 Sekunden dauert, wobei der eigentliche Upload nur 3 Sekunden und in der restlichen Zeit, mit anderen Worten 80% scheinbar nichts passiert.

Mich interessiert, was diesen Timeout verursacht. Es hat für mich den Anschein, also ob sich meine Wawi nach jedem erfolgreichem Abgleich eines Artikels vom JTL-Server verabschiedet, um sich sodann wieder anzumelden. Eine andere Erklärung habe ich nicht, denn es läuft kein anderer Prozess, der den Upload für so lange Zeit unterbrechen würde. Rechne ich die Uploadzeiten auf die beabsichtigten 30.000 Artikel hoch, würde es bedeuten, daß der "eigentliche" Upload von Daten "nur" 1 Tag dauern würde und die Wartezeit dazwischen auf Godot fast 5 Tage dauern würde.

Hoffentlich kann jemand mit diesen Zahlen mehr anfangen als ich...



Screenshot - 09.06.2020 00_52_57.jpgScreenshot - 09.06.2020 01_00_05.jpg
 
Zuletzt bearbeitet:

TDS2018

Sehr aktives Mitglied
25. Oktober 2018
204
26
Ich habe befürchtet, daß mir darauf niemand eine Antwort geben wird. Daher habe ich meinen Jugendfreund, der in Datenbanken promovierte, auf das Problem angesprochen und sein Kommentar war, daß das Problem möglicherweise durch eine Optimierung des Datenabgleichs zwischen Client und Server gelöst werden dürfte. Kann damit jemand was anfangen?
 

gnarx

Sehr aktives Mitglied
18. Januar 2018
2.846
320
Nein so nicht. Wir kennen das Problem beim Einstellen von Artikeln bei ebay. Je nach Merkmalanzahl dauert sowas zwischen 30 und 50 sek. pro Artikel.
Heißt also bei 100 Artikeln (wir müssen aber mehr einstellen ca. 1000) wären das ca. 4000 sek. also über 1 Stunde. In dieser Zeit werden keine Käufe von ebay übermittelt noch ein Bestandsabgleich gemacht.
Der Support ist der festen Meinung das da nichts geändert wurde, aber das stimmt nicht. Es war vorher nicht so. Nun haben sie versucht das schneller zu machen das hochladen bringt ja aber nix.
Ich bin der Meinung das beim Upload zwischenzeitlich eine Pause gemacht werden muss wo Abrufen von Verkäufen und Bestandsabgleich gemacht werden muss.

Es heißt ja das 200 pro Block hoch geladen werden das sind immer noch 2,5 Stunden.
 
Zuletzt bearbeitet:

TDS2018

Sehr aktives Mitglied
25. Oktober 2018
204
26
@gnarx Dann ist das bei Euch noch schlimmer wie bei uns. Wir bekommen immerhin 4 Artikel pro Minute abgeglichen.

Jetzt kommt also die spannende Frage and Großkunden von JTL: wie habt Ihr das hinbekommen, daß Eure 100.000 Artikel abgeglichen werden, ohne daß Ihr dafür Euren Shop jedesmal für 3 Wochen zumachen müßt?
Oder habt ihr einen Premiumservice gebucht (den ich nicht kenne), der den Job in einer Stunde erledigt? Bin gespannt :) & Danke & schönen Fronleichnam.
 

fluxel

Mitglied
17. April 2019
28
6
Hückelhoven
Ich würde, ohne mir das genauer angeschaut zu haben, auf deine Datenbank tippen. Wie sind denn die technischen Vorraussetungen des Computers, auf dem die Datenbank läuft?
Bei größeren Kunden, mit Dediziertem (eigenem) Datenbank-Server läuft das trotz großer Datenbanken (größer als 10, 20 GB) wie geschmiert.

Nachtrag:
Wir können das gerne zusammen auf einem Test-Server bei uns vergleichen. Bei Interesse, gerne eine PM.
 

TDS2018

Sehr aktives Mitglied
25. Oktober 2018
204
26
War natürlich mein erster Verdacht. Es ist ein i7 mit 32 GB RAM. Obwohl ich es nicht glaube, daß es daran liegt, da ich stets während des langen Uploads ohne Probleme an der Maschine arbeiten kann, werde ich heute Abend während des Abgleichs einen Stresstest machen, um zu sehen, ob eine 100%-CPU und Speicherauslastung einen negativen Einfluß auf den Abgleich hat. Wenn ich den Rechner bis auf 100% belaste, müßte es zu sehen sein. Ich melde mich sodann.

*** Edit: hier ist das Testergebnis:

Mit gleichzeitig laufendem prime95-Test Screenshot - 10.06.2020 18_23_23.jpgund damit 100%-iger CPU-Auslastung benötigt der Abgleich eines Artikels zwischen 22 und 25 Sekunden. Ohne den Stresstest verkürzt sich die Zeit auf 17-18 Sekunden. Also wie gestern Nacht. Wenn ich mir die Grafik der Auslastung anschaue (links vom roten Stricht ist der parallel laufende Stresstest, rechts davon nur JTL), Screenshot - 10.06.2020 18_26_21.jpgScreenshot - 10.06.2020 18_27_00.jpgdann schließe ich aus der Tatsache, daß JTL die CPU nur zum geringen Teil (16%) auslastet, mehr Rechenpower keine nennenswerte Verkürzung des Abgleichs bringen wird. Also scheidet das schon mal als Fehlerursache aus.

@fluxel
Steht der Server beim Kunden und ist dieser an einem "normalen" Anschluß z.B. der Telekom angeschlossen oder befindet er sich im Rechenzentrum? Wenn letzteres, gleich eine weitere Frage, ohne mich zuvor damit beschäftigt zu haben, welche technischen Voraussetungen bräuchte für diesen Server im RZ? Ich habe Accounts bei Strato, HostEurope und Netcup. Darf es ein virtueller Server oder muß er dediziert sein (zum Testen)? Dann könnte ich ihn über die Feiertage aufsetzen und testen. Meine Datenbank ist derzeit ca. 9 TB groß.
 
Zuletzt bearbeitet:

gnarx

Sehr aktives Mitglied
18. Januar 2018
2.846
320
@TDS2018 Nutz du das Tool von JTL welches dir die Prozesse des SQL`s anzeigt? Haste mal das Optimierungstool rüber gucken lassen?
 

fluxel

Mitglied
17. April 2019
28
6
Hückelhoven
@fluxel
Steht der Server beim Kunden und ist dieser an einem "normalen" Anschluß z.B. der Telekom angeschlossen oder befindet er sich im Rechenzentrum? Wenn letzteres, gleich eine weitere Frage, ohne mich zuvor damit beschäftigt zu haben, welche technischen Voraussetungen bräuchte für diesen Server im RZ? Ich habe Accounts bei Strato, HostEurope und Netcup. Darf es ein virtueller Server oder muß er dediziert sein (zum Testen)? Dann könnte ich ihn über die Feiertage aufsetzen und testen. Meine Datenbank ist derzeit ca. 9 TB groß.
Der Server hängt bei uns im Rack. Wir haben hier eine klassische DSL- und eine schnelle Glasfaseranbindung, also zum Testen bestens geeignet :)
Ich rate dir von den klassischen V-Server-Anbieter ab. Dort weisst du nie wirklich, was du bekommst. (Siehe Virtueller Server: https://www.fluxel.de/2020/06/07/jtl-wawi-in-der-cloud/ )
Bist du dir sicher, dass es 3 TB sind?
 
Zuletzt bearbeitet:

gnarx

Sehr aktives Mitglied
18. Januar 2018
2.846
320
Joo halt mal testen. Da wir sowieso einige NAS haben kann man ja sich den JTL Server sparen.

Nein nicht einen SQL Server für Linus sondern den MS SQL Server in einer Virtualisierung.
 

fluxel

Mitglied
17. April 2019
28
6
Hückelhoven
Die NAS, die du gerade gesendet hast, hat 8 GB Arbeitsspeicher und 4 Kerne. Ich kann mir nicht vorstellen, dass du damit glücklich wirst.
Außerdem wiederhole ich nochmal: JTL hat den SQL-Server for Linux nicht freigegeben.
Ich empfehle dir lieber wieder einen E5-26XX, aber in neuerer Version, mindestens v3. Hier kannst du DDR4 Speicher verbauen. Dazu verbaust du M.2-Platten mit einer NVMe-Schnittstelle (KEINE SATA!). Die erreichen bessere Raten, als die NAS.

PS: Einen ähnlichen Server setzen wir bei unseren Kunden als Dedicated-Manages Wawi-Hosts ein ;)
 

gnarx

Sehr aktives Mitglied
18. Januar 2018
2.846
320
In das NAS kommen 32 oder 64 GB (Speicher hat der Kunde genug) rein. Es soll auch kein Linux SQL sein sondern die MS SQL in einer Virtualisierung.

Dieses Xeon Zeugs haben die jetzt 2 Stück im Server.
 

gnarx

Sehr aktives Mitglied
18. Januar 2018
2.846
320
Wunderbar an dem Teil ist das der SSD Steckplätze hat, zusätzlich zu den 4 FP-Steckplätzen) wo erstmal gecached wird und man kann eine 10GBe Netzwerkkarte reinschieben und er hat 4 Netzwerkanschlüße so das wir Dienste über die Netzwerkkarten aufteilen können.
Ausserdem werden wir dann die Snapshotfunktion einsetzen
 

fluxel

Mitglied
17. April 2019
28
6
Hückelhoven
Das Grundsystem der NAS ist Linux. Ein Docker-Container auf dem System führt ebenfalls Linux aus. Also führst du einen Microsoft SQL-Server for Linux aus.
 
Ähnliche Themen Forum Antworten Erstelldatum des Themas
Neu Wie Ebay Abgleich stoppen? User helfen Usern - Fragen zu JTL-Wawi 1
Gelöst Aktuellen Ebay Preis auslesen - wie? User helfen Usern - Fragen zu JTL-Wawi 1
Neu Frage Shop5 wird es da auch eine Lite Version geben wie beim Shop4 Allgemeine Fragen zu JTL-Shop 8
Neu Schnellfunktionen wie Quickview, direkt in den Warenkorb, Kinderauswahl in Liste JTL-Shop - BETA - Feedback und Bugmeldungen 7
Neu Wie Buche ich Bar gekaufte Ware in die Wawi User helfen Usern - Fragen zu JTL-Wawi 0
Neu Retoure / Umtausch falsch gelieferte Ware, wie vornehmen ? Arbeitsabläufe in JTL-Wawi 6
Neu Wie Variationskombinationen importieren, wenn es keine Väter gibt? JTL-Ameise - Ideen, Lob und Kritik 11
Neu Wie Artikel in Vorlage gruppieren? Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 2
Neu Wie kann ich folgende CSV ambesten importieren mit Kind- und Vaterartikel? User helfen Usern - Fragen zu JTL-Wawi 8
Neu Wie kann das sein? Ameise sagt 414 Artikel importiert, WAWI sagt 404 Artikel vorhanden User helfen Usern - Fragen zu JTL-Wawi 4
Neu Anhänge (PDF) speichern wie Textbausteine Servicedesk (Beta) 3
Neu Umzug von Shopware zu JTL.Shop - Artikel, Kategorien, Kunden, alles ohne die Umsätze mit zu nehmen, wie? User helfen Usern - Fragen zu JTL-Wawi 3
Neu Wie Freiposition aus Auftrag in dem Email-Text ausgeben? User helfen Usern - Fragen zu JTL-Wawi 0
Neu Artikel vom Lieferanten zur Auswahl anlegen, wie?? User helfen Usern - Fragen zu JTL-Wawi 0
Neu EVO Theme Slate - Was ist das für ein Balken und wie bekomme ich den weg? User helfen Usern - Fragen zu JTL-Wawi 0
Neu Ware verschickt mit Kauf auf Rechnung, dann Retoure / wie vorgehen User helfen Usern - Fragen zu JTL-Wawi 7
Neu Bilder von Variationen / Var. Kombis in Shop und Amazon. Wie richtig einstellen? User helfen Usern - Fragen zu JTL-Wawi 16
In Bearbeitung Neuer PC - wie kann ich WaWi ohne Probleme transferieren? Anleitung? Installation von JTL-Wawi 2
Neu Bestehendes Template kopieren und als Child verwenden!? Wie geht das? Templates für JTL-Shop 2
Offen Workflow um Variationswerte (wie z.B. Größe und/oder Farbe) in Attribute (oder Merkmale) zu kopieren JTL-Workflows - Ideen, Lob und Kritik 1
Gelöst Lageranzahl - wie viele sind sinnvoll ? Arbeitsabläufe in JTL-WMS / JTL-Packtisch+ 9
Neu Wie können URLs gezielt von der Sitemap ausgeschlossen werden? Per Plugin? Betrieb / Pflege von JTL-Shop 0
Neu Extra knifflig: Wie Farbwechsel bei bestimmten Textstellen in einer Variable machen? Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 1
Gelöst Wie kann ich den MwSt-Betrag in das Rechnungsformular einfügen? Gelöste Themen in diesem Bereich 3
Verwiesen an Support Auftrag soll gesplittet werden, aber wie??? // Fehlermeldung Arbeitsabläufe in JTL-WMS / JTL-Packtisch+ 3
Neu Wie kann man die News-Monatsübersichten auf "noindex" setzen? Betrieb / Pflege von JTL-Shop 2
Neu Druckvorlagen - Wie den MWSt-Satz löschen (bei der Rechnungssummierung) Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 0
Neu Retoure - Artikelzustände wie neu, aufbereitet, desinfiziert, ... unter dem original Bestand laufen lassen? Arbeitsabläufe in JTL-Wawi 2
Neu PayPal Zahlung nicht geklappt. Wie geht es dann weiter? Allgemeine Fragen zu JTL-Shop 8
In Bearbeitung Auswertung, wer wie viel in welcher Zeit gepickt hat [WAWI-15319] Arbeitsabläufe in JTL-WMS / JTL-Packtisch+ 3
Neu Wie geht ihr mit den URL´s von alten Produkten um? User helfen Usern - Fragen zu JTL-Wawi 4
Neu Anzahl verwaister Dateien: 2868 WIE LÖSCHEN? Button: ALLE LÖSCHEN? JTL-Shop - BETA - Feedback und Bugmeldungen 7
Neu Wie installiert man SQLITE3 PHP in Woocomere? WooCommerce-Connector 1
Gelöst Rechnungs-Formate wie ZUGFeRD, XRechnungund PEPPOL Gelöste Themen in diesem Bereich 1
Neu Wie ändert man die Schriftart im JTL Shop 5 RC3? Templates für JTL-Shop 0
Neu Shop 5, eigene Smarty-Funktion registrieren, wie? Technische Fragen zu Plugins und Templates 2
Neu Wie kann man die Seite "Mein Konto" auf "noindex" setzen? Betrieb / Pflege von JTL-Shop 7
Gelöst Produkt in mehreren Kategorien, wie werden die Daten exportiert? Arbeitsabläufe in JTL-Wawi 5
Gelöst Startseite füllen -Wie ? Gelöste Themen in diesem Bereich 12
Neu Wie kann ich hier dem 2. Begriff eine Farbe zuteilen? Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 8
Neu SEO URL wurden aufeinmal alle verändert wie bekomme ich es wieder hin Shopware-Connector 0
Abgelehnt Defekter Artikel während WMS-Versand, wie damit umgehen? Arbeitsabläufe in JTL-WMS / JTL-Packtisch+ 4
Neu Email für Rechnung, wie umstetzen ? Arbeitsabläufe in JTL-Wawi 7
Neu Wie kann man eine Kundenregistrierung feststellen Arbeitsabläufe in JTL-Wawi 1
Neu Wie Ausliefern bei Download-Artikel? Arbeitsabläufe in JTL-Wawi 5
Neu Doppelter Auftrag - Wie gehe ich sinnvoll vor? Arbeitsabläufe in JTL-Wawi 2
Neu Gutscheine – wie? Shopify-Connector 1
Neu Wie eine TSE von einer JTL-POS zu anderer umziehen? Allgemeine Fragen zu JTL-POS 2
Neu Falscher FBA Lagerbestand, wie funktioniert die Korrektur? Amazon-Anbindung - Fehler und Bugs 1
Neu Wie erkennt der Shop Händler Allgemeine Fragen zu JTL-Shop 8
Ähnliche Themen