Neu Bestandsupdate über Datenbank

astuparek

Gut bekanntes Mitglied
30. Juni 2011
128
5
mit viel automatik und optimierungen ist dein vorhaben durchaus mit der automeise möglich.

wir updaten ca. 35k artikel 8x per tag (4 lieferanten mit mehreren listen pro lief.), es laufen immer irgendwelche importe/exporte
bei 50k artikeln sehe ich da auch keine probleme, erst bei >100k würde ich mir eine direkte datenbanklösung überlegen wollen.

befasse dich mit der batch ameise und batch > windows aufgabenverwaltung.
du wirst zum ziel kommen.
eine pauschale lösung wird dir hier keiner präsentieren können, da dein vorhaben viel zu individuell ist.

ftp download kannst du auch automatisieren, würde dir aber eher zu wget & wput raten.
installiere dir am besten einen lokalen webserver. um die dateien abzuholen, automatisiert bearbeiten usw.

und noch ne empfehlung, falls es mehr artikeln werden sollten.

lief csv listen > import & matching in eine externe mysql datenbank
in der mysql datenbank werden die artikel gematch und aus dieser datenbank kannst du dir einen einzigen import für deine wawi zusammenstellen.
so sparst du dir zig einzelne im/exports der ameise

Und eben genau diese Schritte lassen sich bei uns mit connect allesamt in einem Tool automatisieren - ohne eine zusätzliche Datenbank oder die Aufgabenverwaltung sowie mehrere Batch-Dateien konfigurieren und warten zu müssen.
In connect hast du Downloads, Verarbeitung der Dateien (inkl. etwaiger Anpassungen), Mapping von mehreren Quellen und Anbindung an Wawi in einem Tool kombiniert.
 

B M S

Gut bekanntes Mitglied
19. Juli 2016
100
2
@maydo dein letzter Punkt hört sich gut an, glaube so könnte das was werden! :) und da kann ich dann ja auch dran rum basteln wie ich will :)
 

B M S

Gut bekanntes Mitglied
19. Juli 2016
100
2
So Statusmeldung..

Habe jetzt soweit alles Fertig soweit.. und läuft (gefiltert waren es dann doch erstmal nur 28K Datensätze)..
Import dieser Datei im TerminalFenster (CMD) mit Befehl für JTL-wawi- ameise.exe - Quicksync dauert ca eine Stunde..(oder wird das schneller wenn man das mit der Batch Datei macht und echo aus ist? Jetzt zeigter mir ja grad alles...)

Mein Script das die Datei erstellt braucht mit download, datenbearbeiten/abgleichen/anpassen, File erstellen und alles wieder löschen ca 40sekunden... :)

Also immer noch sau mäßig lahm diese Ameise..
Aber wenn das nicht stört, also wenn man in dieser Zeit mit der Wawi arbeiten kann, dann OK wat solls :)
Und stört das dann auch nicht wenn man den Connector zu Gambio startet für einen Webshop abgleich? Oder zerhauts dann alles?
 

Guybrush

Sehr aktives Mitglied
4. September 2015
341
33
@B M S

Ich muss da gerade an so nen Spruch denken in Bezug auf Linux:
Linux ist nur umsonst, wenn Zeit nix kostet. (bitte keine Diskussionen deswg. ;))

Soll heißen:
Bastel fleißig selbst weiter oder schau dir was Fertiges, getestetes und was mit Support und Wartung an. Herausforderungen und solche Tools selbst zu "basteln" (ja, ich benutz sehr bewusst basteln in dem Zusammenhang) ist halt immer so eine Sache im Vergleich zu nem gescheiten Tool, denn:
- du wirst das auf ewig an der Backe haben, wenn sich irgendwas ändert (DB Änderungen, Fehler oder Ungereimtheiten, die einem Mitarbeiter auffallen, irgendwelche Probleme, die im Lauf der Zeit auftreten wie dass sich mal das Encoding einer Datei ändert oder Sonderzeichen darin sind usw.)
- du musst dich um korrekten Download kümmern, damit du nicht ggf. leere Files einspielst und am Ende was damit überbügelst, weil du vergessen hast, deine Daten zu validieren
- du musst dich um das gesamte Error Handling kümmern -> Netzwerkprobleme, Berechtigungen, dein Tool hängt mal und läuft doppelt, Dateien gesperrt oder unvollständig usw.
- idealerweise eine Archiveirung, um rückwirkend Fehler zu finden
- dein Script muss natürlich auch immer passen -> ehemaliger Chef hatte mal bei nem Script ne Variable mit nem Pfad gefüllt. Diesen Pfad wollte er dann löschen. Blöderweise wurde die Variable nicht richtig gefüllt, nur mit "/" und das Script hat dann einfach den Pfad aus der Variable angefangen zu löschen -> man musste ein Backup einspielen von dem Server, weil das Ding das halbe OS weggeputzt hat bis das aufgefallen ist ("rm -rf /" ist halt ungut...).
- ich *glaube*, die Ameise hat bei irgendwelchen Imports bei mir mal manche Datensätze übersprungen, weil die gerade gesperrt waren. Es kann also durchaus sein, dass es mal zu Fehlern kommt beim Einspielen oder doch wieder was überschrieben wird, wenn ein Benutzer gerade die gleichen Daten bearbeitet hat wie du. Das kann man aber wsl. vernachlässigen bei regelmäßigen und schnellen Updates.
- bzgl. Connector und gleichzeitigen Updates bin ich nicht sicher - oftmals gibt sowas aber Ärger, siehe Punkt drüber
- benutzt du Transaktionen?

Schau dir einfach mal an, was die Ameise macht (Profiler & Co) und du wirst ganz schnell feststellen, dass die miese Performance in der Natur der Sache liegt wie auch schon jemand meinte: die Ameise validiert zig Dinge und spielt soweit ich weiß jeden Datensatz einzeln ein mit sämtlicher Validierung jedes mal. Das kostet massig Zeit. Daran wird auch das Unterdrücken mit @ECHO OFF nix ändern außer vllt. ein paar Sekunden, wenn überhaupt ;)

Da das alles so wirkt, als wolltest du das selbst machen, also ignorieren, falls du das schon gemacht haben solltest:
Ich kenne den Preis von dem connect Tool nicht und hab es selbst auch noch nie in Aktion gesehen, aber tu dir selbst den Gefallen und schau dir das einfach mal an und wäge dann ab. Es ist ein gutes Gefühl, wenn man Verantwortung abgeben kann und damit seine Ruhe hat. Und falls du selbst auf Stundenbasis entlöhnt wirst hoffe ich einfach mal, dass das nicht dein einziges Projekt ist und du somit Luft für mehr und anderes hast, wofür es wirklich noch nix gibt. Erfahrungsgemäß gibt es etliche Baustellen, die man noch abschließen kann :)

Wäre also mal interessant:
Deine Arbeitszeit (in Stunden reicht ja) vs. Kosten von connect und ob sich das wirklich gelohnt hat bis jetzt - und du bist ja mit der Performance sogar noch unzufrieden und ich behaupte mal, das connect Tool kümmert sich um die oben genannten Punkte (zumindest mehr oder weniger, ist so ein Erfahrungswert...) oder man kann es den Entwicklern mitteilen, das bitte zu tun.

In diesem Sinne: viel Erfolg!

Ich bastel übrigens auch manchmal gerne, irgendwie macht's ja auch Spaß, so isses nicht ;)
 
  • Gefällt mir
Reaktionen: astuparek

B M S

Gut bekanntes Mitglied
19. Juli 2016
100
2
Ja meinen " Connector" habe ich schon fertig gebastelt.. und der Angebotene ist nicht gerade billig wir bräuchten mindestens den der bei 69€ pro Monat losgeht, denk ich..

Das meiste, was Du geschrieben hast was passieren kann, habe ich mit eingebaut, aber auch nicht allles.. da ich die Daten über die Datenbank ja equalisiere und prüfe.. Mysql ist einfach nur cool!! Und macht nie Fehler...

Ameise tunen kann ich halt nicht, bzw keine Lust und Zeit.. das JTL Sache... ich hoffe mal das da was in annehmbarer Zeit passiert...

Und bezahlt werd ich eh nicht.. bin ja selber Chef.. die bekommen kein Geld :)

Und vielen Dank für Deinen Informativen Beitrag.

Eigentlich geht es jetzt nur noch darum, ob man während der Zeit des Updates/Einspielen mit der Wawi arbeiten und auch den Shop-Connector laufen lassen kann...
 

B M S

Gut bekanntes Mitglied
19. Juli 2016
100
2
Eigentlich geht es jetzt nur noch darum, ob man während der Zeit des Updates/Einspielen mit der Wawi arbeiten und auch den Shop- Connector laufen lassen kann...
 

B M S

Gut bekanntes Mitglied
19. Juli 2016
100
2
ach herje.. hab mich ganz umsonst beschwert über die Geschwindigkeit..
Der Gambio Connector ist ja noch viel langsamer..
Ich glaub wir können das ganz Projekt Wawi in die Tonne treten :)
Oder hat hier jemand noch ein paar Tips fürn Einsteiger?
 
Ähnliche Themen
Titel Forum Antworten Datum
Neu Staffelpreise Variantenartikel über alle Varianten User helfen Usern - Fragen zu JTL-Wawi 0
Sammelbuchung bei Zahlungsausgang über das Zahlungsmodul JTL-Wawi 1.10 0
Überverkäufe über Workflow setzen JTL-Wawi 1.10 1
Neu Shop über verschieden Domains in gewünschter Sprache aufrufen ? Betrieb / Pflege von JTL-Shop 5
Ausliefern Workflow über API JTL-Wawi 1.9 6
Neu JTL-Shop Admin Bereich und Shop nur noch 504 Gateway Time-out ( Hosting über JTL ) User helfen Usern - Fragen zu JTL-Wawi 4
Probleme mit dem Einstellen von Artikeln auf Amazon über JTL Wawi mit dem Lister 2.0 Amazon-Lister - Fehler und Bugs 6
Neu Auftrag über WaWi versenden Arbeitsabläufe in JTL-Wawi 3
Über 100 Bestellungen von SCX nicht importiert kaufland.de - Anbindung (SCX) 1
Neu Probleme mit der Email über jtl hosting (plesk) User helfen Usern 2
Neu Fehlermeldungen beim Hochladen von Artikel über Amazon Lister 2.0 Amazon-Lister - Fehler und Bugs 0
Neu Registrierung über amazonpay nicht möglich Plugins für JTL-Shop 0
Statistik über Zahlungsmoral der Kunden / Zahlungsverzug möglich? JTL-Wawi 1.9 4
Merkmalfilter als Leiste über Artikelliste möglich??? Einrichtung JTL-Shop5 3
Neu Kein CN22 über DHL JTL-ShippingLabels - Fehler und Bugs 4
Defekt-Artikel nach Retoure über WMS nicht mehr in JTL-Wawi sichtbar JTL-Wawi 1.10 2
In Bearbeitung Kompakte Kasse gesucht mit der auch Kartenzahlung über 50 € funktioniert? JTL-POS - Fragen zu Hardware 5
Neu Zahlungsimport über CSV ... Ausgangszahlung ? JTL-Wawi - Fehler und Bugs 0
Datenbank ist über 800gb groß Hilfe !!! JTL-Wawi 1.9 23
Neu Hat jemand Erfahrung mit der Anbindung von TikTok Shop über Shopify? Einrichtung und Installation von JTL-eazyAuction 0
Artikel ändert über Nacht den Preis JTL-Wawi 1.10 3
Neu Einkaufspreis bei Ameise-Import über "Lagerbestände" ergänzen JTL-Ameise - Ideen, Lob und Kritik 9
Neu Amazon Lister 2.0 - Status auf "Wartet auf Hochladen" seit über einer Woche Amazon-Lister - Fehler und Bugs 9
Export aller Kunden mit über xxx € Umsatz in xxx Tagen JTL-Wawi 1.10 15
Rechnungsdatenübertragung an Datev über Daten Rechnungsdatenservice 2.0 funktioniert nicht JTL-Wawi 1.9 0
Neu Betreff: CMD-Import überspringt Artikel bei Bestandsüberschreibung - Über den GUI-Import keine Probleme JTL-Ameise - Fehler und Bugs 2
Neu feinere WMS Rechte über Benutzergruppen für gängige WMS Vorgänge JTL-WMS / JTL-Packtisch+ - Ideen, Lob und Kritik 0
Neu Netzwerkprobleme JTL Wawi sucht Datenbank beim Start unter falscher IP User helfen Usern 4
Neu Nach Windows update auf dem Server keine Verbindung mehr zur Datenbank JTL-Wawi - Fehler und Bugs 4
Neu Gibt es eine Möglichkeit Copilot Studio mit der JTL-Datenbank zu verbinden? User helfen Usern - Fragen zu JTL-Wawi 0

Ähnliche Themen