Neu Wie Ebay-Abgleich beschleunigen

  • Temporäre Senkung der Mehrwertsteuer Hier findet ihr gesammelt alle Informationen, Videos und Fragen inkl. Antworten: https://forum.jtl-software.de/threads/mehrwertsteuer-senkung-vom-01-07-31-12-2020-offizieller-diskussionthread-video.129542/

TDS2018

Aktives Mitglied
25. Oktober 2018
163
21
Da wir bislang auf dem Land mit einem 6000er Anschluß Vorlieb nehmen mußten, ging ich davon aus, daß der Flaschenhals bei Datenabgleiche bei der Telekom hängt. Nun haben wir seit einem Monat einen 100 MBit/s-Anschluß, der uns im Upload ca. 40 MBit/s beschert. Da wir so ziemlich die einzigen sind, die hier ein schnelles Internet nutzen, schließe ich einen weiteren Flaschenhals durch Leitungsüberlastung aus.

Ich habe gerade bei 28 Artikeln die Designvorlage abgeändert und danach alle Artikel abgeglichen. Das Ergebnis war niederschmetternd, die Wawi hat dafür 407 Sekunden gebraucht, das sind im Schnitt 14 Sekunden pro Artikel. Ich habe zwei Screenshots angehängt, da ich meinen Augen nicht trauen konnte, daß in einem Moment knapp 5 mB/s hochgeladen werden und zwischen zwei Artikelupdates meist langweilige Stille herrscht. Ich habe hochgerechnet, was es für unser künftiges Projekt mit ca. 30.000 Artikeln bedeutet: 7267 Minuten bzw. 5 Tage (!) Nicht auszudenken, wenn wir was in der Designvorlage ändern, wie in der jetzigen Testphase.

Eigentlich hatte ich sogar überlegt, den Firmensitz zu verlegen, als wir noch das langsame Internet hatten aber jetzt sehe ich, daß es nicht am Upload allein liegt, was wir bisher vermuteten. Ich hoffe, daß jemand eine Idee hat, mir bei der Suche nach dem tatsächlichen Flaschenhals zu helfen. Danke!

***Edit - Momentan läuft noch ein weiterer Abgleich, bei dem ich nach 136 Artikeln und 38 Minuten festhalten kann, daß bei mir dere Abgleich eines Artikels im Schnitt 17 Sekunden dauert, wobei der eigentliche Upload nur 3 Sekunden und in der restlichen Zeit, mit anderen Worten 80% scheinbar nichts passiert.

Mich interessiert, was diesen Timeout verursacht. Es hat für mich den Anschein, also ob sich meine Wawi nach jedem erfolgreichem Abgleich eines Artikels vom JTL-Server verabschiedet, um sich sodann wieder anzumelden. Eine andere Erklärung habe ich nicht, denn es läuft kein anderer Prozess, der den Upload für so lange Zeit unterbrechen würde. Rechne ich die Uploadzeiten auf die beabsichtigten 30.000 Artikel hoch, würde es bedeuten, daß der "eigentliche" Upload von Daten "nur" 1 Tag dauern würde und die Wartezeit dazwischen auf Godot fast 5 Tage dauern würde.

Hoffentlich kann jemand mit diesen Zahlen mehr anfangen als ich...



Screenshot - 09.06.2020 00_52_57.jpgScreenshot - 09.06.2020 01_00_05.jpg
 
Zuletzt bearbeitet:

TDS2018

Aktives Mitglied
25. Oktober 2018
163
21
Ich habe befürchtet, daß mir darauf niemand eine Antwort geben wird. Daher habe ich meinen Jugendfreund, der in Datenbanken promovierte, auf das Problem angesprochen und sein Kommentar war, daß das Problem möglicherweise durch eine Optimierung des Datenabgleichs zwischen Client und Server gelöst werden dürfte. Kann damit jemand was anfangen?
 

gnarx

Sehr aktives Mitglied
18. Januar 2018
2.663
269
Nein so nicht. Wir kennen das Problem beim Einstellen von Artikeln bei ebay. Je nach Merkmalanzahl dauert sowas zwischen 30 und 50 sek. pro Artikel.
Heißt also bei 100 Artikeln (wir müssen aber mehr einstellen ca. 1000) wären das ca. 4000 sek. also über 1 Stunde. In dieser Zeit werden keine Käufe von ebay übermittelt noch ein Bestandsabgleich gemacht.
Der Support ist der festen Meinung das da nichts geändert wurde, aber das stimmt nicht. Es war vorher nicht so. Nun haben sie versucht das schneller zu machen das hochladen bringt ja aber nix.
Ich bin der Meinung das beim Upload zwischenzeitlich eine Pause gemacht werden muss wo Abrufen von Verkäufen und Bestandsabgleich gemacht werden muss.

Es heißt ja das 200 pro Block hoch geladen werden das sind immer noch 2,5 Stunden.
 
Zuletzt bearbeitet:

TDS2018

Aktives Mitglied
25. Oktober 2018
163
21
@gnarx Dann ist das bei Euch noch schlimmer wie bei uns. Wir bekommen immerhin 4 Artikel pro Minute abgeglichen.

Jetzt kommt also die spannende Frage and Großkunden von JTL: wie habt Ihr das hinbekommen, daß Eure 100.000 Artikel abgeglichen werden, ohne daß Ihr dafür Euren Shop jedesmal für 3 Wochen zumachen müßt?
Oder habt ihr einen Premiumservice gebucht (den ich nicht kenne), der den Job in einer Stunde erledigt? Bin gespannt :) & Danke & schönen Fronleichnam.
 

fluxel

Mitglied
17. April 2019
14
0
Hückelhoven
Ich würde, ohne mir das genauer angeschaut zu haben, auf deine Datenbank tippen. Wie sind denn die technischen Vorraussetungen des Computers, auf dem die Datenbank läuft?
Bei größeren Kunden, mit Dediziertem (eigenem) Datenbank-Server läuft das trotz großer Datenbanken (größer als 10, 20 GB) wie geschmiert.

Nachtrag:
Wir können das gerne zusammen auf einem Test-Server bei uns vergleichen. Bei Interesse, gerne eine PM.
 

TDS2018

Aktives Mitglied
25. Oktober 2018
163
21
War natürlich mein erster Verdacht. Es ist ein i7 mit 32 GB RAM. Obwohl ich es nicht glaube, daß es daran liegt, da ich stets während des langen Uploads ohne Probleme an der Maschine arbeiten kann, werde ich heute Abend während des Abgleichs einen Stresstest machen, um zu sehen, ob eine 100%-CPU und Speicherauslastung einen negativen Einfluß auf den Abgleich hat. Wenn ich den Rechner bis auf 100% belaste, müßte es zu sehen sein. Ich melde mich sodann.

*** Edit: hier ist das Testergebnis:

Mit gleichzeitig laufendem prime95-Test Screenshot - 10.06.2020 18_23_23.jpgund damit 100%-iger CPU-Auslastung benötigt der Abgleich eines Artikels zwischen 22 und 25 Sekunden. Ohne den Stresstest verkürzt sich die Zeit auf 17-18 Sekunden. Also wie gestern Nacht. Wenn ich mir die Grafik der Auslastung anschaue (links vom roten Stricht ist der parallel laufende Stresstest, rechts davon nur JTL), Screenshot - 10.06.2020 18_26_21.jpgScreenshot - 10.06.2020 18_27_00.jpgdann schließe ich aus der Tatsache, daß JTL die CPU nur zum geringen Teil (16%) auslastet, mehr Rechenpower keine nennenswerte Verkürzung des Abgleichs bringen wird. Also scheidet das schon mal als Fehlerursache aus.

@fluxel
Steht der Server beim Kunden und ist dieser an einem "normalen" Anschluß z.B. der Telekom angeschlossen oder befindet er sich im Rechenzentrum? Wenn letzteres, gleich eine weitere Frage, ohne mich zuvor damit beschäftigt zu haben, welche technischen Voraussetungen bräuchte für diesen Server im RZ? Ich habe Accounts bei Strato, HostEurope und Netcup. Darf es ein virtueller Server oder muß er dediziert sein (zum Testen)? Dann könnte ich ihn über die Feiertage aufsetzen und testen. Meine Datenbank ist derzeit ca. 9 TB groß.
 
Zuletzt bearbeitet:

gnarx

Sehr aktives Mitglied
18. Januar 2018
2.663
269
@TDS2018 Nutz du das Tool von JTL welches dir die Prozesse des SQL`s anzeigt? Haste mal das Optimierungstool rüber gucken lassen?
 

fluxel

Mitglied
17. April 2019
14
0
Hückelhoven
@fluxel
Steht der Server beim Kunden und ist dieser an einem "normalen" Anschluß z.B. der Telekom angeschlossen oder befindet er sich im Rechenzentrum? Wenn letzteres, gleich eine weitere Frage, ohne mich zuvor damit beschäftigt zu haben, welche technischen Voraussetungen bräuchte für diesen Server im RZ? Ich habe Accounts bei Strato, HostEurope und Netcup. Darf es ein virtueller Server oder muß er dediziert sein (zum Testen)? Dann könnte ich ihn über die Feiertage aufsetzen und testen. Meine Datenbank ist derzeit ca. 9 TB groß.
Der Server hängt bei uns im Rack. Wir haben hier eine klassische DSL- und eine schnelle Glasfaseranbindung, also zum Testen bestens geeignet :)
Ich rate dir von den klassischen V-Server-Anbieter ab. Dort weisst du nie wirklich, was du bekommst. (Siehe Virtueller Server: https://www.fluxel.de/2020/06/07/jtl-wawi-in-der-cloud/ )
Bist du dir sicher, dass es 3 TB sind?
 
Zuletzt bearbeitet:

gnarx

Sehr aktives Mitglied
18. Januar 2018
2.663
269
Joo halt mal testen. Da wir sowieso einige NAS haben kann man ja sich den JTL Server sparen.

Nein nicht einen SQL Server für Linus sondern den MS SQL Server in einer Virtualisierung.
 

fluxel

Mitglied
17. April 2019
14
0
Hückelhoven
Die NAS, die du gerade gesendet hast, hat 8 GB Arbeitsspeicher und 4 Kerne. Ich kann mir nicht vorstellen, dass du damit glücklich wirst.
Außerdem wiederhole ich nochmal: JTL hat den SQL-Server for Linux nicht freigegeben.
Ich empfehle dir lieber wieder einen E5-26XX, aber in neuerer Version, mindestens v3. Hier kannst du DDR4 Speicher verbauen. Dazu verbaust du M.2-Platten mit einer NVMe-Schnittstelle (KEINE SATA!). Die erreichen bessere Raten, als die NAS.

PS: Einen ähnlichen Server setzen wir bei unseren Kunden als Dedicated-Manages Wawi-Hosts ein ;)
 

gnarx

Sehr aktives Mitglied
18. Januar 2018
2.663
269
In das NAS kommen 32 oder 64 GB (Speicher hat der Kunde genug) rein. Es soll auch kein Linux SQL sein sondern die MS SQL in einer Virtualisierung.

Dieses Xeon Zeugs haben die jetzt 2 Stück im Server.
 

gnarx

Sehr aktives Mitglied
18. Januar 2018
2.663
269
Wunderbar an dem Teil ist das der SSD Steckplätze hat, zusätzlich zu den 4 FP-Steckplätzen) wo erstmal gecached wird und man kann eine 10GBe Netzwerkkarte reinschieben und er hat 4 Netzwerkanschlüße so das wir Dienste über die Netzwerkkarten aufteilen können.
Ausserdem werden wir dann die Snapshotfunktion einsetzen
 

fluxel

Mitglied
17. April 2019
14
0
Hückelhoven
Das Grundsystem der NAS ist Linux. Ein Docker-Container auf dem System führt ebenfalls Linux aus. Also führst du einen Microsoft SQL-Server for Linux aus.
 
Ähnliche Themen Forum Antworten Erstelldatum des Themas
Neu Artikel wird immer wieder bei Ebay gestoppt - wie kann ich feststellen warum - workflow User helfen Usern - Fragen zu JTL-Wawi 6
Gelöst Wie kann man eine automatische eBay Kategorien-befüllung vornehmen? eBay-Anbindung - Ideen, Lob und Kritik 3
Neu Hat jemand eine Idee wie man ebay Kategorien in den ebay-Vorlagen per WF einbinden kann? User helfen Usern - Fragen zu JTL-Wawi 1
Neu Abmahnung erhalten Ebay " Versicherter Versand " wie Artikelbeschreibungen durchsuchen ? User helfen Usern - Fragen zu JTL-Wawi 2
In Bearbeitung wie eBay Zahlungsabwicklung einrichten? Einrichtung und Installation von JTL-eazyAuction 27
Neu Mehrere Artikel aufeinmal löschen/ Wie geht das? User helfen Usern - Fragen zu JTL-Wawi 8
Neu Pickliste erneut drucken? Wie? Arbeitsabläufe in JTL-Wawi 12
Neu Wie Exporte ich nur bestimmte Artikel unter den Filterregeln? JTL-Ameise - Ideen, Lob und Kritik 3
Neu Bestellvorgang/ Wie gefunden? Betrieb / Pflege von JTL-Shop 6
Neu Externe Rechnung in JTL Wawi 1.5.15.1; wie verwenden? User helfen Usern - Fragen zu JTL-Wawi 0
Neu JavaScript Libraries with vulnerabilities Security Issue wie Updaten? Installation / Updates von JTL-Shop 3
Neu Wie macht ihr das? Import von mehreren tausend Artikeln... User helfen Usern - Fragen zu JTL-Wawi 0
In Diskussion JTL WMS mit einem Benutzer nutzen - aber wie? User helfen Usern - Fragen zu JTL-Wawi 5
Neu Preiskalkulation wie für Varkombis durchführen Arbeitsabläufe in JTL-Wawi 4
Neu Import von Sonderzeichen wie z.B. ä als Zeichenfolge \u00e4 ??? JTL-Ameise - Fehler und Bugs 0
Neu Wie handhabt ihr die Preisverwaltung von AW Werten & Löhnen? User helfen Usern - Fragen zu JTL-Wawi 10
Neu HTMLToPlainText - Kleiner "Fehler" und wie man ihn umgehen kann Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 0
Neu Rechnungen GOBD Konform archivieren - wie macht ihr das? Arbeitsabläufe in JTL-Wawi 2
In Diskussion Packtisch -> Anzeige nur der Aufträge wie unter Wawi->Lieferscheine->Offen User helfen Usern - Fragen zu JTL-Wawi 1
Neu Wie macht Ihr das: Lokale Daten auf Cloud Server bringen User helfen Usern - Fragen zu JTL-Wawi 4
Neu wie kann man versendete Lieferscheindaten als csv exportieren User helfen Usern - Fragen zu JTL-Wawi 2
Gelöst Die neue Warenpost ab 01.07.2020 - Einrichtung in JTL Wawi, JTL ShippingLabels und das Drucken eines Labels via Drucker - Aber wie? JTL-ShippingLabels - Ideen, Lob und Kritik 2
Offen Wie bekommt man die Preise nach der Umstellung auf 16% in den Shop? PrestaShop-Connector 2
Neu wie richtig updaten ? Wawi, connector, shopware Shopware-Connector 1
Neu Wie lösche ich alle Attribute mit "keine preissuchmaschinen" bei allen Artikeln mit Ameise ? JTL-Ameise - Fehler und Bugs 1
Neu Wie Berichtscontainer direkt einfügen? User helfen Usern - Fragen zu JTL-Wawi 0
Neu Wie kann ich eine Gutschrift stornieren? User helfen Usern - Fragen zu JTL-Wawi 4
In Bearbeitung Wie sicher bzw. zuverlässig ist JTL POS Allgemeine Fragen zu JTL-POS 1
Neu Wie kann man Bilder von Elementsammlung löschen? Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 0
Neu Wie MwSt. Satz beim Artikelpreis ausblenden? Allgemeine Fragen zu JTL-Shop 6
Neu Neue Sprache einrichten - Wie geht das? User helfen Usern - Fragen zu JTL-Wawi 7
Neu Wie Modul an Shop Lizenz binden? Einrichtung von JTL-Shop 1
Neu Lieferschein Export als csv, aber wie? Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 3
Neu Payload too large – Wie betreffenden Artikel finden? Shopify-Connector 5
Neu Teilerstattung vor Auslieferung wie lösen / Rechungskorrektur bei Auftrag offen bzw. ausstehend Arbeitsabläufe in JTL-Wawi 1
Neu Zahlungsabgleich: Wie kann man eine Teilrückzahlung PayPal vornehmen? User helfen Usern - Fragen zu JTL-Wawi 2
Neu Mehrwersteuer in der Wawi ab Juli 2020 16%: Wie werden Artikelpreise sich ändern? Arbeitsabläufe in JTL-Wawi 2
In Bearbeitung Sonderzeichen wie "&" wird als & zurückgesandt WooCommerce-Connector 1
Neu Versandmail aus der Wawi senden - nicht jedoch bei Amazon Bestellung - Wie möglich? User helfen Usern - Fragen zu JTL-Wawi 2
Neu Zeichen wie ® lassen die Warenwirtschaft abstürzen JTL-Wawi - Fehler und Bugs 2
Neu Wie Umsetzbar: 1 Hauptartikel greift auf andere Artikel mit deren Gesamtbestand User helfen Usern - Fragen zu JTL-Wawi 5
Neu Versandarten: Artikel "A" 1 St. per Maxibrief, ab 2 St. per DHL-Paket versenden. Wie realisiere ich das? Arbeitsabläufe in JTL-Wawi 2
Neu Wie kann man auf Aufträgen das Land des Empfängers in Englisch ausgeben lassen? Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 10
Gelöst Wie kann man einen WF mehrmals anstoßen? Gelöste Themen in diesem Bereich 2
Neu Wie Angebote in Kategorie Top bei modified-shop übertragen Modified eCommerce-Connector 1
Gelöst Ablauf bei fehlerhaftem Label - wie optimieren? Arbeitsabläufe in JTL-WMS 4
Neu Versand - Wie kann man Artikel differenzieren? Arbeitsabläufe in JTL-Wawi 2
Neu Rechnungsprüfung - Wie macht Ihr das? User helfen Usern - Fragen zu JTL-Wawi 1
Neu Warenpost2.0 Versandmeldung an EBAY JTL-ShippingLabels - Fehler und Bugs 0
Neu Ebay-Angebot werden bei Null-Lagerbestand nicht automatisch beendet eBay-Anbindung - Fehler und Bugs 1
Ähnliche Themen