Neu Bestandsupdate über Datenbank

astuparek

Gut bekanntes Mitglied
30. Juni 2011
128
4
mit viel automatik und optimierungen ist dein vorhaben durchaus mit der automeise möglich.

wir updaten ca. 35k artikel 8x per tag (4 lieferanten mit mehreren listen pro lief.), es laufen immer irgendwelche importe/exporte
bei 50k artikeln sehe ich da auch keine probleme, erst bei >100k würde ich mir eine direkte datenbanklösung überlegen wollen.

befasse dich mit der batch ameise und batch > windows aufgabenverwaltung.
du wirst zum ziel kommen.
eine pauschale lösung wird dir hier keiner präsentieren können, da dein vorhaben viel zu individuell ist.

ftp download kannst du auch automatisieren, würde dir aber eher zu wget & wput raten.
installiere dir am besten einen lokalen webserver. um die dateien abzuholen, automatisiert bearbeiten usw.

und noch ne empfehlung, falls es mehr artikeln werden sollten.

lief csv listen > import & matching in eine externe mysql datenbank
in der mysql datenbank werden die artikel gematch und aus dieser datenbank kannst du dir einen einzigen import für deine wawi zusammenstellen.
so sparst du dir zig einzelne im/exports der ameise

Und eben genau diese Schritte lassen sich bei uns mit connect allesamt in einem Tool automatisieren - ohne eine zusätzliche Datenbank oder die Aufgabenverwaltung sowie mehrere Batch-Dateien konfigurieren und warten zu müssen.
In connect hast du Downloads, Verarbeitung der Dateien (inkl. etwaiger Anpassungen), Mapping von mehreren Quellen und Anbindung an Wawi in einem Tool kombiniert.
 

B M S

Gut bekanntes Mitglied
19. Juli 2016
100
2
@maydo dein letzter Punkt hört sich gut an, glaube so könnte das was werden! :) und da kann ich dann ja auch dran rum basteln wie ich will :)
 

B M S

Gut bekanntes Mitglied
19. Juli 2016
100
2
So Statusmeldung..

Habe jetzt soweit alles Fertig soweit.. und läuft (gefiltert waren es dann doch erstmal nur 28K Datensätze)..
Import dieser Datei im TerminalFenster (CMD) mit Befehl für JTL-wawi- ameise.exe - Quicksync dauert ca eine Stunde..(oder wird das schneller wenn man das mit der Batch Datei macht und echo aus ist? Jetzt zeigter mir ja grad alles...)

Mein Script das die Datei erstellt braucht mit download, datenbearbeiten/abgleichen/anpassen, File erstellen und alles wieder löschen ca 40sekunden... :)

Also immer noch sau mäßig lahm diese Ameise..
Aber wenn das nicht stört, also wenn man in dieser Zeit mit der Wawi arbeiten kann, dann OK wat solls :)
Und stört das dann auch nicht wenn man den Connector zu Gambio startet für einen Webshop abgleich? Oder zerhauts dann alles?
 

Guybrush

Sehr aktives Mitglied
4. September 2015
338
31
@B M S

Ich muss da gerade an so nen Spruch denken in Bezug auf Linux:
Linux ist nur umsonst, wenn Zeit nix kostet. (bitte keine Diskussionen deswg. ;))

Soll heißen:
Bastel fleißig selbst weiter oder schau dir was Fertiges, getestetes und was mit Support und Wartung an. Herausforderungen und solche Tools selbst zu "basteln" (ja, ich benutz sehr bewusst basteln in dem Zusammenhang) ist halt immer so eine Sache im Vergleich zu nem gescheiten Tool, denn:
- du wirst das auf ewig an der Backe haben, wenn sich irgendwas ändert (DB Änderungen, Fehler oder Ungereimtheiten, die einem Mitarbeiter auffallen, irgendwelche Probleme, die im Lauf der Zeit auftreten wie dass sich mal das Encoding einer Datei ändert oder Sonderzeichen darin sind usw.)
- du musst dich um korrekten Download kümmern, damit du nicht ggf. leere Files einspielst und am Ende was damit überbügelst, weil du vergessen hast, deine Daten zu validieren
- du musst dich um das gesamte Error Handling kümmern -> Netzwerkprobleme, Berechtigungen, dein Tool hängt mal und läuft doppelt, Dateien gesperrt oder unvollständig usw.
- idealerweise eine Archiveirung, um rückwirkend Fehler zu finden
- dein Script muss natürlich auch immer passen -> ehemaliger Chef hatte mal bei nem Script ne Variable mit nem Pfad gefüllt. Diesen Pfad wollte er dann löschen. Blöderweise wurde die Variable nicht richtig gefüllt, nur mit "/" und das Script hat dann einfach den Pfad aus der Variable angefangen zu löschen -> man musste ein Backup einspielen von dem Server, weil das Ding das halbe OS weggeputzt hat bis das aufgefallen ist ("rm -rf /" ist halt ungut...).
- ich *glaube*, die Ameise hat bei irgendwelchen Imports bei mir mal manche Datensätze übersprungen, weil die gerade gesperrt waren. Es kann also durchaus sein, dass es mal zu Fehlern kommt beim Einspielen oder doch wieder was überschrieben wird, wenn ein Benutzer gerade die gleichen Daten bearbeitet hat wie du. Das kann man aber wsl. vernachlässigen bei regelmäßigen und schnellen Updates.
- bzgl. Connector und gleichzeitigen Updates bin ich nicht sicher - oftmals gibt sowas aber Ärger, siehe Punkt drüber
- benutzt du Transaktionen?

Schau dir einfach mal an, was die Ameise macht (Profiler & Co) und du wirst ganz schnell feststellen, dass die miese Performance in der Natur der Sache liegt wie auch schon jemand meinte: die Ameise validiert zig Dinge und spielt soweit ich weiß jeden Datensatz einzeln ein mit sämtlicher Validierung jedes mal. Das kostet massig Zeit. Daran wird auch das Unterdrücken mit @ECHO OFF nix ändern außer vllt. ein paar Sekunden, wenn überhaupt ;)

Da das alles so wirkt, als wolltest du das selbst machen, also ignorieren, falls du das schon gemacht haben solltest:
Ich kenne den Preis von dem connect Tool nicht und hab es selbst auch noch nie in Aktion gesehen, aber tu dir selbst den Gefallen und schau dir das einfach mal an und wäge dann ab. Es ist ein gutes Gefühl, wenn man Verantwortung abgeben kann und damit seine Ruhe hat. Und falls du selbst auf Stundenbasis entlöhnt wirst hoffe ich einfach mal, dass das nicht dein einziges Projekt ist und du somit Luft für mehr und anderes hast, wofür es wirklich noch nix gibt. Erfahrungsgemäß gibt es etliche Baustellen, die man noch abschließen kann :)

Wäre also mal interessant:
Deine Arbeitszeit (in Stunden reicht ja) vs. Kosten von connect und ob sich das wirklich gelohnt hat bis jetzt - und du bist ja mit der Performance sogar noch unzufrieden und ich behaupte mal, das connect Tool kümmert sich um die oben genannten Punkte (zumindest mehr oder weniger, ist so ein Erfahrungswert...) oder man kann es den Entwicklern mitteilen, das bitte zu tun.

In diesem Sinne: viel Erfolg!

Ich bastel übrigens auch manchmal gerne, irgendwie macht's ja auch Spaß, so isses nicht ;)
 
  • Gefällt mir
Reaktionen: astuparek

B M S

Gut bekanntes Mitglied
19. Juli 2016
100
2
Ja meinen " Connector" habe ich schon fertig gebastelt.. und der Angebotene ist nicht gerade billig wir bräuchten mindestens den der bei 69€ pro Monat losgeht, denk ich..

Das meiste, was Du geschrieben hast was passieren kann, habe ich mit eingebaut, aber auch nicht allles.. da ich die Daten über die Datenbank ja equalisiere und prüfe.. Mysql ist einfach nur cool!! Und macht nie Fehler...

Ameise tunen kann ich halt nicht, bzw keine Lust und Zeit.. das JTL Sache... ich hoffe mal das da was in annehmbarer Zeit passiert...

Und bezahlt werd ich eh nicht.. bin ja selber Chef.. die bekommen kein Geld :)

Und vielen Dank für Deinen Informativen Beitrag.

Eigentlich geht es jetzt nur noch darum, ob man während der Zeit des Updates/Einspielen mit der Wawi arbeiten und auch den Shop-Connector laufen lassen kann...
 

B M S

Gut bekanntes Mitglied
19. Juli 2016
100
2
Eigentlich geht es jetzt nur noch darum, ob man während der Zeit des Updates/Einspielen mit der Wawi arbeiten und auch den Shop- Connector laufen lassen kann...
 

B M S

Gut bekanntes Mitglied
19. Juli 2016
100
2
ach herje.. hab mich ganz umsonst beschwert über die Geschwindigkeit..
Der Gambio Connector ist ja noch viel langsamer..
Ich glaub wir können das ganz Projekt Wawi in die Tonne treten :)
Oder hat hier jemand noch ein paar Tips fürn Einsteiger?
 
Ähnliche Themen
Titel Forum Antworten Datum
Neu 1.8 - WMS Teillieferung soll nur Rechung über gelieferte Positionen enthalten Arbeitsabläufe in JTL-WMS / JTL-Packtisch+ 0
Verwiesen an Support BUG: Mahnlauf über Workflow ignoriert Zahlungsziel JTL-Workflows - Fehler und Bugs 3
Neu Autorisierte Zahlungen über mollie werden bei Rundungsdifferenz storniert. WooCommerce-Connector 0
Neu Kategorienbaum in einer Unterkategorie über der Filterung ausblenden Allgemeine Fragen zu JTL-Shop 1
Neu Auftragszahlung über Kasse, Auftrag wird nicht als "Verpackt und Versendet" markiert JTL-POS - Fehler und Bugs 1
Neu So ändern Sie den Status von amazon ASIN über die Importdatei in „Aktiv“. JTL Ameise - Eigene Exporte 0
Neu Einem bzw. mehreren Artikeln über den Import mehrere Kategorien zuordnen JTL-Wawi 1.7 1
Neu In Tabelle ein Bild über mehrere Zeilen verteilen in Katalog Vorlage Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 0
Neu Datenimport über Ameise in JTL für Shopware Shopware-Connector 1
Gelöst JTL-POS: Rechnung über Kasse Allgemeine Fragen zu JTL-POS 3
Neu Bestellungen importieren über SFTP Server User helfen Usern - Fragen zu JTL-Wawi 6
Neu Exportformate neu über alles Allgemeine Fragen zu JTL-Shop 2
Neu Rechner über Nacht runter fahren? User helfen Usern - Fragen zu JTL-Wawi 12
JTL Shop Gutscheine über JTL-Vouchers erstellen Allgemeine Fragen zu JTL-Vouchers 2
Neu JTL Shop Gutscheine über JTL-Vouchers erstellen Allgemeine Fragen zu JTL-Shop 2
Neu Freitextfeld über Variation - Zeichenbeschränkung für Gravur Allgemeine Fragen zu JTL-Shop 8
In Bearbeitung Artikel über csv-Datei bearbeiten und importieren Allgemeine Fragen zu JTL-POS 3
Neu Verordnung über die allgemeine Produktsicherheit (GPSR) JTL-Wawi - Ideen, Lob und Kritik 0
Neu Kundenpreise in Artikelübersicht (über Umwege)? Arbeitsabläufe in JTL-Wawi 0
Neu Verbindungsproblem Wawi (1.8.12.0) zum JTL-Shop (5.2.4) über localhost User helfen Usern - Fragen zu JTL-Wawi 0
Auftragsimport über eBay - Bezeichnung der Versandart auf der Rechnung leer JTL-Wawi 1.8 1
Wie kann ich eine Benachrichtigung bei einem Wareneingang auslösen mit einer Mail über die Artikel die eingebucht wurden JTL-Wawi 1.8 2
Artikel wurden über Weclapp über FFN-Connect an JTL FFN übermittelt jedoch leider nicht an Wawi & WMS JTL-Wawi 1.8 0
Gutschrift über einen Set-Artikel JTL-Wawi 1.7 0
Teilrechnung Erstellen über/nach Packtisch+ JTL-Wawi 1.8 1
Neu SCSS-Datei bearbeiten über FTP Allgemeine Fragen zu JTL-Shop 6
Neu Email Versand über OAuth JTL-Wawi - Ideen, Lob und Kritik 2
Neu JTL Shop 5 Daten - In "leere" JTL Wawi Datenbank importieren - Ist das möglich? User helfen Usern - Fragen zu JTL-Wawi 8
Hosted (gehostete?) Datenbank Download Zweitgerät für unterwegs JTL-Wawi 1.8 13
Wie kann ich etwas in der WAWI Datenbank per SQL ändern? JTL-Wawi 1.8 2
WAWI 1.8.12.0 stürzt ab, wenn die Verbindung zur Datenbank unterbrochen wurde JTL-Wawi 1.8 21
Neu EK-Netto der Verkäufe aus Datenbank ? User helfen Usern - Fragen zu JTL-Wawi 5
Datenbank-Abfrage per SQL nach Lagermenge pro Artikel & Warenbereich (WMSLager) JTL-Wawi 1.8 1
Neu Kuriosum - Shop 5.1.5 mit Datenbank 5.2.4 Mischbetrieb nach fehlgeschlagenem Update Installation / Updates von JTL-Shop 8
Neu JTL-Installation- Verbindung zur Datenbank -SA Kennwort Installation von JTL-Wawi 22
Speicherort der Seriennummern zu Auftragsposition in der Datenbank ? JTL-Wawi 1.8 2
Neu Weiterleitungen direkt per Datenbank einfügen aufgrund Größe bzw. Anzahl? Betrieb / Pflege von JTL-Shop 9
Fehler beim Datenbank - JTL WAWI Connector WooCommerce-Connector 1
Umzug Datenbank Fehler aufgrund unterschiedlicher Versionen Einrichtung JTL-Shop5 1
Preisliste Druck = ungültige Zugangsdaten zur Datenbank JTL-Wawi 1.8 1
keine Verbindung zur Datenbank JTL-Wawi 1.8 3
Grafana Datenbank verbindung nicht möglich? JTL-Wawi 1.8 1
Ameise auf Client nicht erreichbar - Wawi hat zugriff auf Datenbank JTL-Wawi 1.7 2
Neu Datenbank Upgrade Fehler(#7110FFD83C0136E0) JTL-Wawi - Fehler und Bugs 0

Ähnliche Themen