Neu Wie Ebay-Abgleich beschleunigen

TDS2018

Sehr aktives Mitglied
25. Oktober 2018
445
65
Da wir bislang auf dem Land mit einem 6000er Anschluß Vorlieb nehmen mußten, ging ich davon aus, daß der Flaschenhals bei Datenabgleiche bei der Telekom hängt. Nun haben wir seit einem Monat einen 100 MBit/s-Anschluß, der uns im Upload ca. 40 MBit/s beschert. Da wir so ziemlich die einzigen sind, die hier ein schnelles Internet nutzen, schließe ich einen weiteren Flaschenhals durch Leitungsüberlastung aus.

Ich habe gerade bei 28 Artikeln die Designvorlage abgeändert und danach alle Artikel abgeglichen. Das Ergebnis war niederschmetternd, die Wawi hat dafür 407 Sekunden gebraucht, das sind im Schnitt 14 Sekunden pro Artikel. Ich habe zwei Screenshots angehängt, da ich meinen Augen nicht trauen konnte, daß in einem Moment knapp 5 mB/s hochgeladen werden und zwischen zwei Artikelupdates meist langweilige Stille herrscht. Ich habe hochgerechnet, was es für unser künftiges Projekt mit ca. 30.000 Artikeln bedeutet: 7267 Minuten bzw. 5 Tage (!) Nicht auszudenken, wenn wir was in der Designvorlage ändern, wie in der jetzigen Testphase.

Eigentlich hatte ich sogar überlegt, den Firmensitz zu verlegen, als wir noch das langsame Internet hatten aber jetzt sehe ich, daß es nicht am Upload allein liegt, was wir bisher vermuteten. Ich hoffe, daß jemand eine Idee hat, mir bei der Suche nach dem tatsächlichen Flaschenhals zu helfen. Danke!

***Edit - Momentan läuft noch ein weiterer Abgleich, bei dem ich nach 136 Artikeln und 38 Minuten festhalten kann, daß bei mir dere Abgleich eines Artikels im Schnitt 17 Sekunden dauert, wobei der eigentliche Upload nur 3 Sekunden und in der restlichen Zeit, mit anderen Worten 80% scheinbar nichts passiert.

Mich interessiert, was diesen Timeout verursacht. Es hat für mich den Anschein, also ob sich meine Wawi nach jedem erfolgreichem Abgleich eines Artikels vom JTL-Server verabschiedet, um sich sodann wieder anzumelden. Eine andere Erklärung habe ich nicht, denn es läuft kein anderer Prozess, der den Upload für so lange Zeit unterbrechen würde. Rechne ich die Uploadzeiten auf die beabsichtigten 30.000 Artikel hoch, würde es bedeuten, daß der "eigentliche" Upload von Daten "nur" 1 Tag dauern würde und die Wartezeit dazwischen auf Godot fast 5 Tage dauern würde.

Hoffentlich kann jemand mit diesen Zahlen mehr anfangen als ich...



Screenshot - 09.06.2020 00_52_57.jpgScreenshot - 09.06.2020 01_00_05.jpg
 
Zuletzt bearbeitet:

TDS2018

Sehr aktives Mitglied
25. Oktober 2018
445
65
Ich habe befürchtet, daß mir darauf niemand eine Antwort geben wird. Daher habe ich meinen Jugendfreund, der in Datenbanken promovierte, auf das Problem angesprochen und sein Kommentar war, daß das Problem möglicherweise durch eine Optimierung des Datenabgleichs zwischen Client und Server gelöst werden dürfte. Kann damit jemand was anfangen?
 

gnarx

Sehr aktives Mitglied
18. Januar 2018
3.823
525
Nein so nicht. Wir kennen das Problem beim Einstellen von Artikeln bei ebay. Je nach Merkmalanzahl dauert sowas zwischen 30 und 50 sek. pro Artikel.
Heißt also bei 100 Artikeln (wir müssen aber mehr einstellen ca. 1000) wären das ca. 4000 sek. also über 1 Stunde. In dieser Zeit werden keine Käufe von ebay übermittelt noch ein Bestandsabgleich gemacht.
Der Support ist der festen Meinung das da nichts geändert wurde, aber das stimmt nicht. Es war vorher nicht so. Nun haben sie versucht das schneller zu machen das hochladen bringt ja aber nix.
Ich bin der Meinung das beim Upload zwischenzeitlich eine Pause gemacht werden muss wo Abrufen von Verkäufen und Bestandsabgleich gemacht werden muss.

Es heißt ja das 200 pro Block hoch geladen werden das sind immer noch 2,5 Stunden.
 
Zuletzt bearbeitet:

TDS2018

Sehr aktives Mitglied
25. Oktober 2018
445
65
@gnarx Dann ist das bei Euch noch schlimmer wie bei uns. Wir bekommen immerhin 4 Artikel pro Minute abgeglichen.

Jetzt kommt also die spannende Frage and Großkunden von JTL: wie habt Ihr das hinbekommen, daß Eure 100.000 Artikel abgeglichen werden, ohne daß Ihr dafür Euren Shop jedesmal für 3 Wochen zumachen müßt?
Oder habt ihr einen Premiumservice gebucht (den ich nicht kenne), der den Job in einer Stunde erledigt? Bin gespannt :) & Danke & schönen Fronleichnam.
 

fluxel

Aktives Mitglied
17. April 2019
31
10
Hückelhoven
Ich würde, ohne mir das genauer angeschaut zu haben, auf deine Datenbank tippen. Wie sind denn die technischen Vorraussetungen des Computers, auf dem die Datenbank läuft?
Bei größeren Kunden, mit Dediziertem (eigenem) Datenbank-Server läuft das trotz großer Datenbanken (größer als 10, 20 GB) wie geschmiert.

Nachtrag:
Wir können das gerne zusammen auf einem Test-Server bei uns vergleichen. Bei Interesse, gerne eine PM.
 

TDS2018

Sehr aktives Mitglied
25. Oktober 2018
445
65
War natürlich mein erster Verdacht. Es ist ein i7 mit 32 GB RAM. Obwohl ich es nicht glaube, daß es daran liegt, da ich stets während des langen Uploads ohne Probleme an der Maschine arbeiten kann, werde ich heute Abend während des Abgleichs einen Stresstest machen, um zu sehen, ob eine 100%-CPU und Speicherauslastung einen negativen Einfluß auf den Abgleich hat. Wenn ich den Rechner bis auf 100% belaste, müßte es zu sehen sein. Ich melde mich sodann.

*** Edit: hier ist das Testergebnis:

Mit gleichzeitig laufendem prime95-Test Screenshot - 10.06.2020 18_23_23.jpgund damit 100%-iger CPU-Auslastung benötigt der Abgleich eines Artikels zwischen 22 und 25 Sekunden. Ohne den Stresstest verkürzt sich die Zeit auf 17-18 Sekunden. Also wie gestern Nacht. Wenn ich mir die Grafik der Auslastung anschaue (links vom roten Stricht ist der parallel laufende Stresstest, rechts davon nur JTL), Screenshot - 10.06.2020 18_26_21.jpgScreenshot - 10.06.2020 18_27_00.jpgdann schließe ich aus der Tatsache, daß JTL die CPU nur zum geringen Teil (16%) auslastet, mehr Rechenpower keine nennenswerte Verkürzung des Abgleichs bringen wird. Also scheidet das schon mal als Fehlerursache aus.

@fluxel
Steht der Server beim Kunden und ist dieser an einem "normalen" Anschluß z.B. der Telekom angeschlossen oder befindet er sich im Rechenzentrum? Wenn letzteres, gleich eine weitere Frage, ohne mich zuvor damit beschäftigt zu haben, welche technischen Voraussetungen bräuchte für diesen Server im RZ? Ich habe Accounts bei Strato, HostEurope und Netcup. Darf es ein virtueller Server oder muß er dediziert sein (zum Testen)? Dann könnte ich ihn über die Feiertage aufsetzen und testen. Meine Datenbank ist derzeit ca. 9 TB groß.
 
Zuletzt bearbeitet:

gnarx

Sehr aktives Mitglied
18. Januar 2018
3.823
525
@TDS2018 Nutz du das Tool von JTL welches dir die Prozesse des SQL`s anzeigt? Haste mal das Optimierungstool rüber gucken lassen?
 

fluxel

Aktives Mitglied
17. April 2019
31
10
Hückelhoven
@fluxel
Steht der Server beim Kunden und ist dieser an einem "normalen" Anschluß z.B. der Telekom angeschlossen oder befindet er sich im Rechenzentrum? Wenn letzteres, gleich eine weitere Frage, ohne mich zuvor damit beschäftigt zu haben, welche technischen Voraussetungen bräuchte für diesen Server im RZ? Ich habe Accounts bei Strato, HostEurope und Netcup. Darf es ein virtueller Server oder muß er dediziert sein (zum Testen)? Dann könnte ich ihn über die Feiertage aufsetzen und testen. Meine Datenbank ist derzeit ca. 9 TB groß.

Der Server hängt bei uns im Rack. Wir haben hier eine klassische DSL- und eine schnelle Glasfaseranbindung, also zum Testen bestens geeignet :)
Ich rate dir von den klassischen V-Server-Anbieter ab. Dort weisst du nie wirklich, was du bekommst. (Siehe Virtueller Server: https://www.fluxel.de/2020/06/07/jtl-wawi-in-der-cloud/ )
Bist du dir sicher, dass es 3 TB sind?
 
Zuletzt bearbeitet:

gnarx

Sehr aktives Mitglied
18. Januar 2018
3.823
525
Joo halt mal testen. Da wir sowieso einige NAS haben kann man ja sich den JTL Server sparen.

Nein nicht einen SQL Server für Linus sondern den MS SQL Server in einer Virtualisierung.
 

fluxel

Aktives Mitglied
17. April 2019
31
10
Hückelhoven
Die NAS, die du gerade gesendet hast, hat 8 GB Arbeitsspeicher und 4 Kerne. Ich kann mir nicht vorstellen, dass du damit glücklich wirst.
Außerdem wiederhole ich nochmal: JTL hat den SQL-Server for Linux nicht freigegeben.
Ich empfehle dir lieber wieder einen E5-26XX, aber in neuerer Version, mindestens v3. Hier kannst du DDR4 Speicher verbauen. Dazu verbaust du M.2-Platten mit einer NVMe-Schnittstelle (KEINE SATA!). Die erreichen bessere Raten, als die NAS.

PS: Einen ähnlichen Server setzen wir bei unseren Kunden als Dedicated-Manages Wawi-Hosts ein ;)
 

gnarx

Sehr aktives Mitglied
18. Januar 2018
3.823
525
In das NAS kommen 32 oder 64 GB (Speicher hat der Kunde genug) rein. Es soll auch kein Linux SQL sein sondern die MS SQL in einer Virtualisierung.

Dieses Xeon Zeugs haben die jetzt 2 Stück im Server.
 

gnarx

Sehr aktives Mitglied
18. Januar 2018
3.823
525
Wunderbar an dem Teil ist das der SSD Steckplätze hat, zusätzlich zu den 4 FP-Steckplätzen) wo erstmal gecached wird und man kann eine 10GBe Netzwerkkarte reinschieben und er hat 4 Netzwerkanschlüße so das wir Dienste über die Netzwerkkarten aufteilen können.
Ausserdem werden wir dann die Snapshotfunktion einsetzen
 

fluxel

Aktives Mitglied
17. April 2019
31
10
Hückelhoven
Das Grundsystem der NAS ist Linux. Ein Docker-Container auf dem System führt ebenfalls Linux aus. Also führst du einen Microsoft SQL-Server for Linux aus.
 
Ähnliche Themen
Titel Forum Antworten Datum
Neu Wie macht ihr das? Ebay Verkäufe automatisieren. Arbeitsabläufe in JTL-Wawi 3
Workflow Manuell HTML Request wie Server Antwort verarbeiten JTL-Wawi 1.7 0
Trackinglink enthält Hashtag - wie eingeben? JTL-Wawi 1.8 0
Neu Wie setzt Ihr eure Dev/Staging Umgebungen auf? Betrieb / Pflege von JTL-Shop 0
Neu Fehler: Sonderpreis falsch formatiert, wird nicht importiert; obwohl importiert genau wie exportiert User helfen Usern - Fragen zu JTL-Wawi 0
Neu Wie erstelle ich das richtige Layout für handy, Desktop etc Allgemeine Fragen zu JTL-Shop 0
Neu Wie gut ist die Datenbanksynchronisation? JTL-Wawi - Ideen, Lob und Kritik 4
Neu Wie kann ich im JTL-Shop einen Abwesenheitshinweis einstellen? Allgemeine Fragen zu JTL-Shop 1
Neu Artikelpreise Verknüpfen (ähnlich wie Stücklisten) User helfen Usern - Fragen zu JTL-Wawi 0
Neu Wie kann ich eine Inventurliste als Excel- oder csv-Datei erstellen? Gelöste Themen in diesem Bereich 3
Wie kann ich eine Benachrichtigung bei einem Wareneingang auslösen mit einer Mail über die Artikel die eingebucht wurden JTL-Wawi 1.8 2
Neu Conrad anbindung an JTL / eazy auction, aber wie? User helfen Usern - Fragen zu JTL-Wawi 4
[JTL-WAWI API] Wie funktioniert die Item-Image API? JTL-Wawi 1.8 0
Neu Wie kann ich die vergebene Coupons sehen. Welche Kunde welchen Copoun Allgemeine Fragen zu JTL-Shop 0
Neu Wie kann ich Alt-Texte für Bilder an Shopify senden? Shopify-Connector 2
Neu Wawi Artikelattribut = externer Link wie am besten darstellen beim Artikel? Allgemeine Fragen zu JTL-Shop 0
Neu Expressbearbeitung-Gebühr. Wie realisieren? Allgemeine Fragen zu JTL-Shop 1
Zusatzkosten wie Zölle JTL-Wawi 1.7 2
Neu Wie Wawi (Kundendaten) zurücksetzen User helfen Usern - Fragen zu JTL-Wawi 10
Neu [Umfrage] - Was hälst du von Updates - Innovativ oder aufwendig? Wie kann es besser gehen? Installation / Updates von JTL-Shop 0
Neu Wie Lizenz kündigen User helfen Usern - Fragen zu JTL-Wawi 13
Neu Wie funktioniert Individualproduktion / Einzelfertigung JTL-Plan&Produce - Ideen, Lob und Kritik 4
Neu Wie kann ich nicht mehr vorhandene ausländische USt-ID löschen? User helfen Usern - Fragen zu JTL-Wawi 1
Neu Kategoriebilder werden immer mit großem leeren Platz (wie für das 2.Bild) angezeigt Allgemeine Fragen zu JTL-Shop 6
Zusatzkosten wie Zölle JTL-Wawi 1.7 4
Neu 2 Mandanten 2 Datenbanken wie läuft es mim POS User helfen Usern 0
Neu Wie bekomme ich Statistik "Kunde/Artikelnummer/Menge/Netto-VK" auf Basis Rechnungspositionen? Arbeitsabläufe in JTL-Wawi 0
SQL ifGetPrice liefert nur netto Preise, wie komme ich an Brutto ran? JTL-Wawi 1.7 4
Neu Wie importiere ich die Zahlungs-ID für meine eigene benutzerdefinierte Zahlung, wie es andere Anbieter wie Paypal und Molli Payments in Shopware 6? Onlineshop-Anbindung 0
Firmen- und E-Mail Einstellungen: Wie einrichten, wenn Firmenname (Impressum) anders ist als Shopname/Marke? JTL-Wawi 1.8 0
In Bearbeitung JTL POS, Bargeldentnahme zu Datev, wie? Allgemeine Fragen zu JTL-POS 1
Neu überflüssige Gefahrenhinweise in ebay Kategorie Attributen eBay-Anbindung - Fehler und Bugs 1
Wo befindet sich das Feld mit der Information für "Zustandsbeschreibung" auf Ebay? JTL-Wawi 1.8 9
Neu Probleme mit Artikelzustand bei Ebay Laufene Artikel ändern Einrichtung und Installation von JTL-eazyAuction 3
Neu eBay Plus Angebote per Ameise steuerbar ? Eigene Übersichten in der JTL-Wawi 6
Neu ebay Bestellimport läuft nicht eBay-Anbindung - Fehler und Bugs 19
Neu EAN in eBay Angeboten (Varianten) User helfen Usern - Fragen zu JTL-Wawi 0
Versuch Bilder aus Ebay für Kaufland zu übernehmen JTL-Wawi 1.8 0
Eigene Felder für Ebay-Listings verwenden JTL-Wawi 1.8 0
Neu Versandzeit in Ebay-Vorlage geändert - Laufende Auktion automatisch anpassen? eBay-Anbindung - Ideen, Lob und Kritik 0
Neu leidiges Thema OSS + ebay Preise Umsetzung?! User helfen Usern - Fragen zu JTL-Wawi 0
Neu Bestände von der Wawi mit ebay abgleichen User helfen Usern - Fragen zu JTL-Wawi 2
Auftragsimport über eBay - Bezeichnung der Versandart auf der Rechnung leer JTL-Wawi 1.8 1
Neu Ganz neuer Bug? eBay.co.uk Verkauf Lieferung nach Ungarn - falsche Steuer eBay-Anbindung - Fehler und Bugs 2
Neu Ebay Artikel - bei Umstellung auf Designvorlagen werden Beschreibungen verändert User helfen Usern - Fragen zu JTL-Wawi 1
Neu ebay Versanddatum / Versandfrist "Versand bis..." in die Wawi holen, um Aufträge zu priorisieren eBay-Anbindung - Ideen, Lob und Kritik 0
Neu Hilfe im Homeoffice für Amazon, ebay Kaufland etc. Dienstleistung, Jobs und Ähnliches 0
Neu Ebay Artikel Designer - Erfahrungen ? eBay-Designvorlagen - Fehler und Bugs 1
Neu Ebay - Bestände richtig auffüllen - Wawi 1.5.55 User helfen Usern - Fragen zu JTL-Wawi 5
Neu Ebay Bestseller/X-Seller in der Designvorlage und Preise Einrichtung und Installation von JTL-eazyAuction 0

Ähnliche Themen