Neu Bestandsupdate über Datenbank

astuparek

Gut bekanntes Mitglied
30. Juni 2011
128
5
mit viel automatik und optimierungen ist dein vorhaben durchaus mit der automeise möglich.

wir updaten ca. 35k artikel 8x per tag (4 lieferanten mit mehreren listen pro lief.), es laufen immer irgendwelche importe/exporte
bei 50k artikeln sehe ich da auch keine probleme, erst bei >100k würde ich mir eine direkte datenbanklösung überlegen wollen.

befasse dich mit der batch ameise und batch > windows aufgabenverwaltung.
du wirst zum ziel kommen.
eine pauschale lösung wird dir hier keiner präsentieren können, da dein vorhaben viel zu individuell ist.

ftp download kannst du auch automatisieren, würde dir aber eher zu wget & wput raten.
installiere dir am besten einen lokalen webserver. um die dateien abzuholen, automatisiert bearbeiten usw.

und noch ne empfehlung, falls es mehr artikeln werden sollten.

lief csv listen > import & matching in eine externe mysql datenbank
in der mysql datenbank werden die artikel gematch und aus dieser datenbank kannst du dir einen einzigen import für deine wawi zusammenstellen.
so sparst du dir zig einzelne im/exports der ameise

Und eben genau diese Schritte lassen sich bei uns mit connect allesamt in einem Tool automatisieren - ohne eine zusätzliche Datenbank oder die Aufgabenverwaltung sowie mehrere Batch-Dateien konfigurieren und warten zu müssen.
In connect hast du Downloads, Verarbeitung der Dateien (inkl. etwaiger Anpassungen), Mapping von mehreren Quellen und Anbindung an Wawi in einem Tool kombiniert.
 

B M S

Gut bekanntes Mitglied
19. Juli 2016
100
2
@maydo dein letzter Punkt hört sich gut an, glaube so könnte das was werden! :) und da kann ich dann ja auch dran rum basteln wie ich will :)
 

B M S

Gut bekanntes Mitglied
19. Juli 2016
100
2
So Statusmeldung..

Habe jetzt soweit alles Fertig soweit.. und läuft (gefiltert waren es dann doch erstmal nur 28K Datensätze)..
Import dieser Datei im TerminalFenster (CMD) mit Befehl für JTL-wawi- ameise.exe - Quicksync dauert ca eine Stunde..(oder wird das schneller wenn man das mit der Batch Datei macht und echo aus ist? Jetzt zeigter mir ja grad alles...)

Mein Script das die Datei erstellt braucht mit download, datenbearbeiten/abgleichen/anpassen, File erstellen und alles wieder löschen ca 40sekunden... :)

Also immer noch sau mäßig lahm diese Ameise..
Aber wenn das nicht stört, also wenn man in dieser Zeit mit der Wawi arbeiten kann, dann OK wat solls :)
Und stört das dann auch nicht wenn man den Connector zu Gambio startet für einen Webshop abgleich? Oder zerhauts dann alles?
 

Guybrush

Sehr aktives Mitglied
4. September 2015
341
33
@B M S

Ich muss da gerade an so nen Spruch denken in Bezug auf Linux:
Linux ist nur umsonst, wenn Zeit nix kostet. (bitte keine Diskussionen deswg. ;))

Soll heißen:
Bastel fleißig selbst weiter oder schau dir was Fertiges, getestetes und was mit Support und Wartung an. Herausforderungen und solche Tools selbst zu "basteln" (ja, ich benutz sehr bewusst basteln in dem Zusammenhang) ist halt immer so eine Sache im Vergleich zu nem gescheiten Tool, denn:
- du wirst das auf ewig an der Backe haben, wenn sich irgendwas ändert (DB Änderungen, Fehler oder Ungereimtheiten, die einem Mitarbeiter auffallen, irgendwelche Probleme, die im Lauf der Zeit auftreten wie dass sich mal das Encoding einer Datei ändert oder Sonderzeichen darin sind usw.)
- du musst dich um korrekten Download kümmern, damit du nicht ggf. leere Files einspielst und am Ende was damit überbügelst, weil du vergessen hast, deine Daten zu validieren
- du musst dich um das gesamte Error Handling kümmern -> Netzwerkprobleme, Berechtigungen, dein Tool hängt mal und läuft doppelt, Dateien gesperrt oder unvollständig usw.
- idealerweise eine Archiveirung, um rückwirkend Fehler zu finden
- dein Script muss natürlich auch immer passen -> ehemaliger Chef hatte mal bei nem Script ne Variable mit nem Pfad gefüllt. Diesen Pfad wollte er dann löschen. Blöderweise wurde die Variable nicht richtig gefüllt, nur mit "/" und das Script hat dann einfach den Pfad aus der Variable angefangen zu löschen -> man musste ein Backup einspielen von dem Server, weil das Ding das halbe OS weggeputzt hat bis das aufgefallen ist ("rm -rf /" ist halt ungut...).
- ich *glaube*, die Ameise hat bei irgendwelchen Imports bei mir mal manche Datensätze übersprungen, weil die gerade gesperrt waren. Es kann also durchaus sein, dass es mal zu Fehlern kommt beim Einspielen oder doch wieder was überschrieben wird, wenn ein Benutzer gerade die gleichen Daten bearbeitet hat wie du. Das kann man aber wsl. vernachlässigen bei regelmäßigen und schnellen Updates.
- bzgl. Connector und gleichzeitigen Updates bin ich nicht sicher - oftmals gibt sowas aber Ärger, siehe Punkt drüber
- benutzt du Transaktionen?

Schau dir einfach mal an, was die Ameise macht (Profiler & Co) und du wirst ganz schnell feststellen, dass die miese Performance in der Natur der Sache liegt wie auch schon jemand meinte: die Ameise validiert zig Dinge und spielt soweit ich weiß jeden Datensatz einzeln ein mit sämtlicher Validierung jedes mal. Das kostet massig Zeit. Daran wird auch das Unterdrücken mit @ECHO OFF nix ändern außer vllt. ein paar Sekunden, wenn überhaupt ;)

Da das alles so wirkt, als wolltest du das selbst machen, also ignorieren, falls du das schon gemacht haben solltest:
Ich kenne den Preis von dem connect Tool nicht und hab es selbst auch noch nie in Aktion gesehen, aber tu dir selbst den Gefallen und schau dir das einfach mal an und wäge dann ab. Es ist ein gutes Gefühl, wenn man Verantwortung abgeben kann und damit seine Ruhe hat. Und falls du selbst auf Stundenbasis entlöhnt wirst hoffe ich einfach mal, dass das nicht dein einziges Projekt ist und du somit Luft für mehr und anderes hast, wofür es wirklich noch nix gibt. Erfahrungsgemäß gibt es etliche Baustellen, die man noch abschließen kann :)

Wäre also mal interessant:
Deine Arbeitszeit (in Stunden reicht ja) vs. Kosten von connect und ob sich das wirklich gelohnt hat bis jetzt - und du bist ja mit der Performance sogar noch unzufrieden und ich behaupte mal, das connect Tool kümmert sich um die oben genannten Punkte (zumindest mehr oder weniger, ist so ein Erfahrungswert...) oder man kann es den Entwicklern mitteilen, das bitte zu tun.

In diesem Sinne: viel Erfolg!

Ich bastel übrigens auch manchmal gerne, irgendwie macht's ja auch Spaß, so isses nicht ;)
 
  • Gefällt mir
Reaktionen: astuparek

B M S

Gut bekanntes Mitglied
19. Juli 2016
100
2
Ja meinen " Connector" habe ich schon fertig gebastelt.. und der Angebotene ist nicht gerade billig wir bräuchten mindestens den der bei 69€ pro Monat losgeht, denk ich..

Das meiste, was Du geschrieben hast was passieren kann, habe ich mit eingebaut, aber auch nicht allles.. da ich die Daten über die Datenbank ja equalisiere und prüfe.. Mysql ist einfach nur cool!! Und macht nie Fehler...

Ameise tunen kann ich halt nicht, bzw keine Lust und Zeit.. das JTL Sache... ich hoffe mal das da was in annehmbarer Zeit passiert...

Und bezahlt werd ich eh nicht.. bin ja selber Chef.. die bekommen kein Geld :)

Und vielen Dank für Deinen Informativen Beitrag.

Eigentlich geht es jetzt nur noch darum, ob man während der Zeit des Updates/Einspielen mit der Wawi arbeiten und auch den Shop-Connector laufen lassen kann...
 

B M S

Gut bekanntes Mitglied
19. Juli 2016
100
2
Eigentlich geht es jetzt nur noch darum, ob man während der Zeit des Updates/Einspielen mit der Wawi arbeiten und auch den Shop- Connector laufen lassen kann...
 

B M S

Gut bekanntes Mitglied
19. Juli 2016
100
2
ach herje.. hab mich ganz umsonst beschwert über die Geschwindigkeit..
Der Gambio Connector ist ja noch viel langsamer..
Ich glaub wir können das ganz Projekt Wawi in die Tonne treten :)
Oder hat hier jemand noch ein paar Tips fürn Einsteiger?
 
Ähnliche Themen
Titel Forum Antworten Datum
Neu Zahlungsimport über CSV ... Ausgangszahlung ? JTL-Wawi - Fehler und Bugs 0
Datenbank ist über 800gb groß Hilfe !!! JTL-Wawi 1.9 22
Neu Hat jemand Erfahrung mit der Anbindung von TikTok Shop über Shopify? Einrichtung und Installation von JTL-eazyAuction 0
Artikel ändert über Nacht den Preis JTL-Wawi 1.10 3
Neu Einkaufspreis bei Ameise-Import über "Lagerbestände" ergänzen JTL-Ameise - Ideen, Lob und Kritik 9
Neu Amazon Lister 2.0 - Status auf "Wartet auf Hochladen" seit über einer Woche Amazon-Lister - Fehler und Bugs 7
Export aller Kunden mit über xxx € Umsatz in xxx Tagen JTL-Wawi 1.10 15
Rechnungsdatenübertragung an Datev über Daten Rechnungsdatenservice 2.0 funktioniert nicht JTL-Wawi 1.9 0
Neu Betreff: CMD-Import überspringt Artikel bei Bestandsüberschreibung - Über den GUI-Import keine Probleme JTL-Ameise - Fehler und Bugs 2
Neu feinere WMS Rechte über Benutzergruppen für gängige WMS Vorgänge JTL-WMS / JTL-Packtisch+ - Ideen, Lob und Kritik 0
Neu Verkäufe von Stücklistenartikel über FBA werden im Lager nicht abgezogen Amazon-Anbindung - Fehler und Bugs 0
Beantwortet Workflow Auftrag über FFN ausliefern wenn Ware eingelagert JTL-Workflows - Ideen, Lob und Kritik 6
Neu Retourenlabel für DHL Selbstzahler über Retouren erstellen geht nicht JTL-ShippingLabels - Fehler und Bugs 0
Neu Bilder über Amazon-Lister 2.0 lassen sich nicht dauerhaft ändern Amazon-Lister - Fehler und Bugs 0
Neu Mehrere Bankverbindungen bei Nachnahme über DHL Versenden 3.0 User helfen Usern - Fragen zu JTL-Wawi 2
Export WaWi Daten von EcomData über BackUp Funktion - Wiedereinspielen am PC JTL-Wawi 1.10 7
Neu WF Kunde über Weiterleitung in Filiale benachrichtigen User helfen Usern - Fragen zu JTL-Wawi 2
Neu Optionalen Artikel NUR über einen anderen Artikel kaufbar anbieten Arbeitsabläufe in JTL-Wawi 10
Neu Otto Import über Eazyauction - Fehler 100096 - SWITCH_API_VERSION User helfen Usern - Fragen zu JTL-Wawi 16
Neu Ebay Bestellungen über OrangeConnex Fullfilment - Versanddatenaustausch Schnittstellen Import / Export 0
Neu Nach updatet auf 5.5.1 - erscheinen über dem Header 3 links Zum Hauptinhalt springen Zur Suche springen Zum Menü springen Installation / Updates von JTL-Shop 19
Neu Volumen berechnen über dotliquid User helfen Usern 7
Emailversand über Strato nicht möglich JTL-Wawi 1.9 3
Neu "Die ConnectionString-Eigenschaft wurde nicht initialisiert" Fehler bei Zugriff über VPN JTL-Wawi - Fehler und Bugs 6
Neu Datenbank & Datenspeicher am Server User helfen Usern - Fragen zu JTL-Wawi 6
Neu Anmeldung an Datenbank nach Clientinstallation geht nicht ( Installation von JTL-Wawi 7
keine Eazybusiness Datenbank beim öffnen von JTL WaWi JTL-Wawi 1.7 3
Neu JTL-Wawi startet nicht - Datenbank kaputt JTL-Wawi - Fehler und Bugs 5
Neu Druckvorlage Artikel Etikett Bilder 1, 2, 3 - auch Ausgabeweg POS - beliebig Bilder in jeder Vorlage aus Datenbank zeigen Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 0
Wo finde ich Kundendaten in der sql Datenbank? JTL-Wawi 1.9 4
Neu JTL wawi Fehler beim Zugriff auf die Datenbank / Datenbankverwaltung aber funktioniert Installation von JTL-Wawi 3
Neu Fehler bei der Datenbank Sicherung Export JTL-Wawi - Fehler und Bugs 3
Neu Shop Update von 5.2.4 - dbupdater - Kein Datenbank update Installation / Updates von JTL-Shop 1

Ähnliche Themen