Neu Wie Ebay-Abgleich beschleunigen

TDS2018

Sehr aktives Mitglied
25. Oktober 2018
636
103
Da wir bislang auf dem Land mit einem 6000er Anschluß Vorlieb nehmen mußten, ging ich davon aus, daß der Flaschenhals bei Datenabgleiche bei der Telekom hängt. Nun haben wir seit einem Monat einen 100 MBit/s-Anschluß, der uns im Upload ca. 40 MBit/s beschert. Da wir so ziemlich die einzigen sind, die hier ein schnelles Internet nutzen, schließe ich einen weiteren Flaschenhals durch Leitungsüberlastung aus.

Ich habe gerade bei 28 Artikeln die Designvorlage abgeändert und danach alle Artikel abgeglichen. Das Ergebnis war niederschmetternd, die Wawi hat dafür 407 Sekunden gebraucht, das sind im Schnitt 14 Sekunden pro Artikel. Ich habe zwei Screenshots angehängt, da ich meinen Augen nicht trauen konnte, daß in einem Moment knapp 5 mB/s hochgeladen werden und zwischen zwei Artikelupdates meist langweilige Stille herrscht. Ich habe hochgerechnet, was es für unser künftiges Projekt mit ca. 30.000 Artikeln bedeutet: 7267 Minuten bzw. 5 Tage (!) Nicht auszudenken, wenn wir was in der Designvorlage ändern, wie in der jetzigen Testphase.

Eigentlich hatte ich sogar überlegt, den Firmensitz zu verlegen, als wir noch das langsame Internet hatten aber jetzt sehe ich, daß es nicht am Upload allein liegt, was wir bisher vermuteten. Ich hoffe, daß jemand eine Idee hat, mir bei der Suche nach dem tatsächlichen Flaschenhals zu helfen. Danke!

***Edit - Momentan läuft noch ein weiterer Abgleich, bei dem ich nach 136 Artikeln und 38 Minuten festhalten kann, daß bei mir dere Abgleich eines Artikels im Schnitt 17 Sekunden dauert, wobei der eigentliche Upload nur 3 Sekunden und in der restlichen Zeit, mit anderen Worten 80% scheinbar nichts passiert.

Mich interessiert, was diesen Timeout verursacht. Es hat für mich den Anschein, also ob sich meine Wawi nach jedem erfolgreichem Abgleich eines Artikels vom JTL-Server verabschiedet, um sich sodann wieder anzumelden. Eine andere Erklärung habe ich nicht, denn es läuft kein anderer Prozess, der den Upload für so lange Zeit unterbrechen würde. Rechne ich die Uploadzeiten auf die beabsichtigten 30.000 Artikel hoch, würde es bedeuten, daß der "eigentliche" Upload von Daten "nur" 1 Tag dauern würde und die Wartezeit dazwischen auf Godot fast 5 Tage dauern würde.

Hoffentlich kann jemand mit diesen Zahlen mehr anfangen als ich...



Screenshot - 09.06.2020 00_52_57.jpgScreenshot - 09.06.2020 01_00_05.jpg
 
Zuletzt bearbeitet:

TDS2018

Sehr aktives Mitglied
25. Oktober 2018
636
103
Ich habe befürchtet, daß mir darauf niemand eine Antwort geben wird. Daher habe ich meinen Jugendfreund, der in Datenbanken promovierte, auf das Problem angesprochen und sein Kommentar war, daß das Problem möglicherweise durch eine Optimierung des Datenabgleichs zwischen Client und Server gelöst werden dürfte. Kann damit jemand was anfangen?
 

gnarx

Sehr aktives Mitglied
18. Januar 2018
3.889
545
Nein so nicht. Wir kennen das Problem beim Einstellen von Artikeln bei ebay. Je nach Merkmalanzahl dauert sowas zwischen 30 und 50 sek. pro Artikel.
Heißt also bei 100 Artikeln (wir müssen aber mehr einstellen ca. 1000) wären das ca. 4000 sek. also über 1 Stunde. In dieser Zeit werden keine Käufe von ebay übermittelt noch ein Bestandsabgleich gemacht.
Der Support ist der festen Meinung das da nichts geändert wurde, aber das stimmt nicht. Es war vorher nicht so. Nun haben sie versucht das schneller zu machen das hochladen bringt ja aber nix.
Ich bin der Meinung das beim Upload zwischenzeitlich eine Pause gemacht werden muss wo Abrufen von Verkäufen und Bestandsabgleich gemacht werden muss.

Es heißt ja das 200 pro Block hoch geladen werden das sind immer noch 2,5 Stunden.
 
Zuletzt bearbeitet:

TDS2018

Sehr aktives Mitglied
25. Oktober 2018
636
103
@gnarx Dann ist das bei Euch noch schlimmer wie bei uns. Wir bekommen immerhin 4 Artikel pro Minute abgeglichen.

Jetzt kommt also die spannende Frage and Großkunden von JTL: wie habt Ihr das hinbekommen, daß Eure 100.000 Artikel abgeglichen werden, ohne daß Ihr dafür Euren Shop jedesmal für 3 Wochen zumachen müßt?
Oder habt ihr einen Premiumservice gebucht (den ich nicht kenne), der den Job in einer Stunde erledigt? Bin gespannt :) & Danke & schönen Fronleichnam.
 

fluxel

Aktives Mitglied
17. April 2019
31
10
Hückelhoven
Ich würde, ohne mir das genauer angeschaut zu haben, auf deine Datenbank tippen. Wie sind denn die technischen Vorraussetungen des Computers, auf dem die Datenbank läuft?
Bei größeren Kunden, mit Dediziertem (eigenem) Datenbank-Server läuft das trotz großer Datenbanken (größer als 10, 20 GB) wie geschmiert.

Nachtrag:
Wir können das gerne zusammen auf einem Test-Server bei uns vergleichen. Bei Interesse, gerne eine PM.
 

TDS2018

Sehr aktives Mitglied
25. Oktober 2018
636
103
War natürlich mein erster Verdacht. Es ist ein i7 mit 32 GB RAM. Obwohl ich es nicht glaube, daß es daran liegt, da ich stets während des langen Uploads ohne Probleme an der Maschine arbeiten kann, werde ich heute Abend während des Abgleichs einen Stresstest machen, um zu sehen, ob eine 100%-CPU und Speicherauslastung einen negativen Einfluß auf den Abgleich hat. Wenn ich den Rechner bis auf 100% belaste, müßte es zu sehen sein. Ich melde mich sodann.

*** Edit: hier ist das Testergebnis:

Mit gleichzeitig laufendem prime95-Test Screenshot - 10.06.2020 18_23_23.jpgund damit 100%-iger CPU-Auslastung benötigt der Abgleich eines Artikels zwischen 22 und 25 Sekunden. Ohne den Stresstest verkürzt sich die Zeit auf 17-18 Sekunden. Also wie gestern Nacht. Wenn ich mir die Grafik der Auslastung anschaue (links vom roten Stricht ist der parallel laufende Stresstest, rechts davon nur JTL), Screenshot - 10.06.2020 18_26_21.jpgScreenshot - 10.06.2020 18_27_00.jpgdann schließe ich aus der Tatsache, daß JTL die CPU nur zum geringen Teil (16%) auslastet, mehr Rechenpower keine nennenswerte Verkürzung des Abgleichs bringen wird. Also scheidet das schon mal als Fehlerursache aus.

@fluxel
Steht der Server beim Kunden und ist dieser an einem "normalen" Anschluß z.B. der Telekom angeschlossen oder befindet er sich im Rechenzentrum? Wenn letzteres, gleich eine weitere Frage, ohne mich zuvor damit beschäftigt zu haben, welche technischen Voraussetungen bräuchte für diesen Server im RZ? Ich habe Accounts bei Strato, HostEurope und Netcup. Darf es ein virtueller Server oder muß er dediziert sein (zum Testen)? Dann könnte ich ihn über die Feiertage aufsetzen und testen. Meine Datenbank ist derzeit ca. 9 TB groß.
 
Zuletzt bearbeitet:

gnarx

Sehr aktives Mitglied
18. Januar 2018
3.889
545
@TDS2018 Nutz du das Tool von JTL welches dir die Prozesse des SQL`s anzeigt? Haste mal das Optimierungstool rüber gucken lassen?
 

fluxel

Aktives Mitglied
17. April 2019
31
10
Hückelhoven
@fluxel
Steht der Server beim Kunden und ist dieser an einem "normalen" Anschluß z.B. der Telekom angeschlossen oder befindet er sich im Rechenzentrum? Wenn letzteres, gleich eine weitere Frage, ohne mich zuvor damit beschäftigt zu haben, welche technischen Voraussetungen bräuchte für diesen Server im RZ? Ich habe Accounts bei Strato, HostEurope und Netcup. Darf es ein virtueller Server oder muß er dediziert sein (zum Testen)? Dann könnte ich ihn über die Feiertage aufsetzen und testen. Meine Datenbank ist derzeit ca. 9 TB groß.

Der Server hängt bei uns im Rack. Wir haben hier eine klassische DSL- und eine schnelle Glasfaseranbindung, also zum Testen bestens geeignet :)
Ich rate dir von den klassischen V-Server-Anbieter ab. Dort weisst du nie wirklich, was du bekommst. (Siehe Virtueller Server: https://www.fluxel.de/2020/06/07/jtl-wawi-in-der-cloud/ )
Bist du dir sicher, dass es 3 TB sind?
 
Zuletzt bearbeitet:

gnarx

Sehr aktives Mitglied
18. Januar 2018
3.889
545
Joo halt mal testen. Da wir sowieso einige NAS haben kann man ja sich den JTL Server sparen.

Nein nicht einen SQL Server für Linus sondern den MS SQL Server in einer Virtualisierung.
 

fluxel

Aktives Mitglied
17. April 2019
31
10
Hückelhoven
Die NAS, die du gerade gesendet hast, hat 8 GB Arbeitsspeicher und 4 Kerne. Ich kann mir nicht vorstellen, dass du damit glücklich wirst.
Außerdem wiederhole ich nochmal: JTL hat den SQL-Server for Linux nicht freigegeben.
Ich empfehle dir lieber wieder einen E5-26XX, aber in neuerer Version, mindestens v3. Hier kannst du DDR4 Speicher verbauen. Dazu verbaust du M.2-Platten mit einer NVMe-Schnittstelle (KEINE SATA!). Die erreichen bessere Raten, als die NAS.

PS: Einen ähnlichen Server setzen wir bei unseren Kunden als Dedicated-Manages Wawi-Hosts ein ;)
 

gnarx

Sehr aktives Mitglied
18. Januar 2018
3.889
545
In das NAS kommen 32 oder 64 GB (Speicher hat der Kunde genug) rein. Es soll auch kein Linux SQL sein sondern die MS SQL in einer Virtualisierung.

Dieses Xeon Zeugs haben die jetzt 2 Stück im Server.
 

gnarx

Sehr aktives Mitglied
18. Januar 2018
3.889
545
Wunderbar an dem Teil ist das der SSD Steckplätze hat, zusätzlich zu den 4 FP-Steckplätzen) wo erstmal gecached wird und man kann eine 10GBe Netzwerkkarte reinschieben und er hat 4 Netzwerkanschlüße so das wir Dienste über die Netzwerkkarten aufteilen können.
Ausserdem werden wir dann die Snapshotfunktion einsetzen
 

fluxel

Aktives Mitglied
17. April 2019
31
10
Hückelhoven
Das Grundsystem der NAS ist Linux. Ein Docker-Container auf dem System führt ebenfalls Linux aus. Also führst du einen Microsoft SQL-Server for Linux aus.
 
Ähnliche Themen
Titel Forum Antworten Datum
Neu Webinar „Shipping 2.0“ am Dienstag, 14.07.2026 – über 500 Anmeldungen, was es Neues gibt und wie ihr das Beste daraus macht News, Events und Umfragen 1
Neu Amazon VCS Lite: Wie erstellt ihr unter Wawi 1.11 eine vollständige IGL-/ZM-Liste über alle Verkaufskanäle? User helfen Usern - Fragen zu JTL-Wawi 0
Neu Wie ändere ich das vorausgewählte Lager bei Bestellungen? User helfen Usern - Fragen zu JTL-Wawi 2
Wie übernehme ich Artikelnamen von JTL in den neuen Kaufland Niederlande-Verkaufskanal? JTL-Wawi 1.11 1
Neu Wie stelle ich Retouren in JTL für DPD ein? JTL-ShippingLabels - Ideen, Lob und Kritik 1
Neu Wie übertragt ihr Kurzbeschreibungen nach Shopify? Shopify-Connector 5
Neu Neuer Kundencenter Account. Wie verhält sich POS damit? Allgemeine Fragen zu JTL-POS 1
Wie lange braucht ihr aktuell für die Anlage eines neuen Artikels? JTL-Wawi App 3
Neu PayPal Transaktionsversuche – Wie hoch sind eure Ablehnungsquoten? Allgemeine Fragen zu JTL-Shop 1
Neu Helfen Lösungen wie Unicorn wirklich, um die teuren Preise bei JTL zu vermeiden? Amazon-Anbindung - Ideen, Lob und Kritik 1
APP - Wie Dashboard löschen? JTL-Wawi App 1
Neu Wie soll man Weiterleitungen einrichten Exat oder GET Allgemeine Fragen zu JTL-Shop 0
Für Ihren SQL-Server wurde ein Service Pack zur Verfügung gestellt - nö, gelogen, wie kriege ich die Meldung weg? JTL-Wawi 1.11 15
Mindestabnahme Lieferant - keine Kommazahlen erlaubt - Wie gehts? JTL-Wawi 1.11 0
Wie ist euer aktuelles Fazit zur 2.02? JTL-Wawi 2.0 14
Neu XRechnung, ZUGFeRD, Was hängt wie zusammen? User helfen Usern - Fragen zu JTL-Wawi 4
Neu Aktuellste unproblematische WAWI-Version finden - wie ? JTL-Wawi - Ideen, Lob und Kritik 6
Neu Bestände in-house und beim Lieferanten + Proforma-Rechnungen, wie? Arbeitsabläufe in JTL-Wawi 3
Neu Wie aktiviere ich den richtigen EK bei freiem Wareneingang? Arbeitsabläufe in JTL-WMS / JTL-Packtisch+ 0
Neu Streichpreise oder Rabatte für Staffelpreise von einem Artikel einrichten? Wie am Besten? JTL-Wawi 1.6 0
Neu POS im Kundencenter buchen, aber wie und wo? Allgemeine Fragen zu JTL-POS 2
Neu Kind-Artikel nicht bei Ebay anbieten Allgemeine Fragen zu JTL-Shop 1
Neu Neues Tool - eBay Penner finden, beenden und neu listen Schnittstellen Import / Export 0
Rechnung an geänderte Emailadresse geht immer noch an die Alte (Ebay-Auftrag) JTL-Wawi 1.11 6
Neu eBay-Abgleich Fehlermeldung: Datenverarbeitung fehlgeschlagen: Die Sequenz enthält keine Elemente eBay-Anbindung - Fehler und Bugs 8
Neu eBay Vorlage lässt sich nicht mehr öffnen JTL-Wawi - Fehler und Bugs 0
Neu ebay artikelnamen User helfen Usern - Fragen zu JTL-Wawi 4
Problem beim Import über Ameise/eBay JTL-Wawi 1.11 1
Neu Nach Update auf 1.11.10.0 Abgleich zu Ebay über 3 Stunden bei neuen Angeboten eBay-Anbindung - Fehler und Bugs 2
Neu WAWI 2.0.2 Auftragsuche nach Ebay-Benutzernamen funktioniert nicht JTL-Wawi - Fehler und Bugs 1
Ebay angebote lassen sich nicht mehr bei JTL bearbeiten JTL-Wawi 2.0 0
Neu Probleme beim Erstellen von Artikeln aus Angeboten von eBay User helfen Usern - Fragen zu JTL-Wawi 1
Neu eBay Attribute - Ändern / Überschreiben JTL-Ameise - Fehler und Bugs 9
globale Angebotsvorlage anpassen für eBay Angebote "Artikelspezifisch" JTL-Wawi 1.11 0
Neu Ebay Kategoriemapping Einrichtung und Installation von JTL-eazyAuction 2
Neu DRIGEND HILFE!!! Ebay Abgleich endet mit Arithmetischer Überlauffehler für tinyint-Datentyp, Wert = -1. Die Anweisung wurde beendet. eBay-Anbindung - Fehler und Bugs 4
Neu Ebay Variantenartikel aktuallisieren / Obergrenze 250 Varianten eBay-Anbindung - Fehler und Bugs 0
Plattform Abgleich nicht möglich JTL-Wawi 1.11 2
Neu Amazon.com - kein Abgleich der Bestände Wawi 1.11.9 Amazon-Anbindung - Fehler und Bugs 0
Wroker macht keinen abgleich für Kaufland JTL-Wawi 2.0 8
Beantwortet Shop Abgleich nach Update auf 5.7.2 nicht mehr möglich JTL-Shop - Fehler und Bugs 4
Neu Paypal Abgleich - Schnittstelle geändert- Wawi Update Erforderlich ! JTL-Wawi - Fehler und Bugs 12
Neu Erstellung der Sitemap bei WaWi Abgleich funktioniert nicht Allgemeine Fragen zu JTL-Shop 0
Gelöst: Amazon Abgleich Fehlermeldungen Störungsmeldungen 1
Fehler beim Abgleich mit Amazon JTL-Wawi 2.0 10
Abgleich Amazon mit Fehlern beendet 1.11.08 JTL-Wawi 1.11 14
Probleme beim Shopify-Abgleich: Artikel trotz erfolgreichem Abgleich nicht in Shopify auffindbar JTL-Wawi 1.11 1
Fehler beim Abgleich mit dem JTL-Shop JTL-Wawi 2.0 12
PayPal Abgleich funktioniert nicht (JTL 1.9.8.0) JTL-Wawi 1.9 23
Problem mit Hermes Österreich Sendungsnummern – Fehler beim Amazon-Abgleich in JTL-Wawi JTL-Wawi 1.10 0

Ähnliche Themen