Neu Bestandsupdate über Datenbank

astuparek

Gut bekanntes Mitglied
30. Juni 2011
128
4
mit viel automatik und optimierungen ist dein vorhaben durchaus mit der automeise möglich.

wir updaten ca. 35k artikel 8x per tag (4 lieferanten mit mehreren listen pro lief.), es laufen immer irgendwelche importe/exporte
bei 50k artikeln sehe ich da auch keine probleme, erst bei >100k würde ich mir eine direkte datenbanklösung überlegen wollen.

befasse dich mit der batch ameise und batch > windows aufgabenverwaltung.
du wirst zum ziel kommen.
eine pauschale lösung wird dir hier keiner präsentieren können, da dein vorhaben viel zu individuell ist.

ftp download kannst du auch automatisieren, würde dir aber eher zu wget & wput raten.
installiere dir am besten einen lokalen webserver. um die dateien abzuholen, automatisiert bearbeiten usw.

und noch ne empfehlung, falls es mehr artikeln werden sollten.

lief csv listen > import & matching in eine externe mysql datenbank
in der mysql datenbank werden die artikel gematch und aus dieser datenbank kannst du dir einen einzigen import für deine wawi zusammenstellen.
so sparst du dir zig einzelne im/exports der ameise

Und eben genau diese Schritte lassen sich bei uns mit connect allesamt in einem Tool automatisieren - ohne eine zusätzliche Datenbank oder die Aufgabenverwaltung sowie mehrere Batch-Dateien konfigurieren und warten zu müssen.
In connect hast du Downloads, Verarbeitung der Dateien (inkl. etwaiger Anpassungen), Mapping von mehreren Quellen und Anbindung an Wawi in einem Tool kombiniert.
 

B M S

Gut bekanntes Mitglied
19. Juli 2016
100
2
@maydo dein letzter Punkt hört sich gut an, glaube so könnte das was werden! :) und da kann ich dann ja auch dran rum basteln wie ich will :)
 

B M S

Gut bekanntes Mitglied
19. Juli 2016
100
2
So Statusmeldung..

Habe jetzt soweit alles Fertig soweit.. und läuft (gefiltert waren es dann doch erstmal nur 28K Datensätze)..
Import dieser Datei im TerminalFenster (CMD) mit Befehl für JTL-wawi- ameise.exe - Quicksync dauert ca eine Stunde..(oder wird das schneller wenn man das mit der Batch Datei macht und echo aus ist? Jetzt zeigter mir ja grad alles...)

Mein Script das die Datei erstellt braucht mit download, datenbearbeiten/abgleichen/anpassen, File erstellen und alles wieder löschen ca 40sekunden... :)

Also immer noch sau mäßig lahm diese Ameise..
Aber wenn das nicht stört, also wenn man in dieser Zeit mit der Wawi arbeiten kann, dann OK wat solls :)
Und stört das dann auch nicht wenn man den Connector zu Gambio startet für einen Webshop abgleich? Oder zerhauts dann alles?
 

Guybrush

Sehr aktives Mitglied
4. September 2015
341
33
@B M S

Ich muss da gerade an so nen Spruch denken in Bezug auf Linux:
Linux ist nur umsonst, wenn Zeit nix kostet. (bitte keine Diskussionen deswg. ;))

Soll heißen:
Bastel fleißig selbst weiter oder schau dir was Fertiges, getestetes und was mit Support und Wartung an. Herausforderungen und solche Tools selbst zu "basteln" (ja, ich benutz sehr bewusst basteln in dem Zusammenhang) ist halt immer so eine Sache im Vergleich zu nem gescheiten Tool, denn:
- du wirst das auf ewig an der Backe haben, wenn sich irgendwas ändert (DB Änderungen, Fehler oder Ungereimtheiten, die einem Mitarbeiter auffallen, irgendwelche Probleme, die im Lauf der Zeit auftreten wie dass sich mal das Encoding einer Datei ändert oder Sonderzeichen darin sind usw.)
- du musst dich um korrekten Download kümmern, damit du nicht ggf. leere Files einspielst und am Ende was damit überbügelst, weil du vergessen hast, deine Daten zu validieren
- du musst dich um das gesamte Error Handling kümmern -> Netzwerkprobleme, Berechtigungen, dein Tool hängt mal und läuft doppelt, Dateien gesperrt oder unvollständig usw.
- idealerweise eine Archiveirung, um rückwirkend Fehler zu finden
- dein Script muss natürlich auch immer passen -> ehemaliger Chef hatte mal bei nem Script ne Variable mit nem Pfad gefüllt. Diesen Pfad wollte er dann löschen. Blöderweise wurde die Variable nicht richtig gefüllt, nur mit "/" und das Script hat dann einfach den Pfad aus der Variable angefangen zu löschen -> man musste ein Backup einspielen von dem Server, weil das Ding das halbe OS weggeputzt hat bis das aufgefallen ist ("rm -rf /" ist halt ungut...).
- ich *glaube*, die Ameise hat bei irgendwelchen Imports bei mir mal manche Datensätze übersprungen, weil die gerade gesperrt waren. Es kann also durchaus sein, dass es mal zu Fehlern kommt beim Einspielen oder doch wieder was überschrieben wird, wenn ein Benutzer gerade die gleichen Daten bearbeitet hat wie du. Das kann man aber wsl. vernachlässigen bei regelmäßigen und schnellen Updates.
- bzgl. Connector und gleichzeitigen Updates bin ich nicht sicher - oftmals gibt sowas aber Ärger, siehe Punkt drüber
- benutzt du Transaktionen?

Schau dir einfach mal an, was die Ameise macht (Profiler & Co) und du wirst ganz schnell feststellen, dass die miese Performance in der Natur der Sache liegt wie auch schon jemand meinte: die Ameise validiert zig Dinge und spielt soweit ich weiß jeden Datensatz einzeln ein mit sämtlicher Validierung jedes mal. Das kostet massig Zeit. Daran wird auch das Unterdrücken mit @ECHO OFF nix ändern außer vllt. ein paar Sekunden, wenn überhaupt ;)

Da das alles so wirkt, als wolltest du das selbst machen, also ignorieren, falls du das schon gemacht haben solltest:
Ich kenne den Preis von dem connect Tool nicht und hab es selbst auch noch nie in Aktion gesehen, aber tu dir selbst den Gefallen und schau dir das einfach mal an und wäge dann ab. Es ist ein gutes Gefühl, wenn man Verantwortung abgeben kann und damit seine Ruhe hat. Und falls du selbst auf Stundenbasis entlöhnt wirst hoffe ich einfach mal, dass das nicht dein einziges Projekt ist und du somit Luft für mehr und anderes hast, wofür es wirklich noch nix gibt. Erfahrungsgemäß gibt es etliche Baustellen, die man noch abschließen kann :)

Wäre also mal interessant:
Deine Arbeitszeit (in Stunden reicht ja) vs. Kosten von connect und ob sich das wirklich gelohnt hat bis jetzt - und du bist ja mit der Performance sogar noch unzufrieden und ich behaupte mal, das connect Tool kümmert sich um die oben genannten Punkte (zumindest mehr oder weniger, ist so ein Erfahrungswert...) oder man kann es den Entwicklern mitteilen, das bitte zu tun.

In diesem Sinne: viel Erfolg!

Ich bastel übrigens auch manchmal gerne, irgendwie macht's ja auch Spaß, so isses nicht ;)
 
  • Gefällt mir
Reaktionen: astuparek

B M S

Gut bekanntes Mitglied
19. Juli 2016
100
2
Ja meinen " Connector" habe ich schon fertig gebastelt.. und der Angebotene ist nicht gerade billig wir bräuchten mindestens den der bei 69€ pro Monat losgeht, denk ich..

Das meiste, was Du geschrieben hast was passieren kann, habe ich mit eingebaut, aber auch nicht allles.. da ich die Daten über die Datenbank ja equalisiere und prüfe.. Mysql ist einfach nur cool!! Und macht nie Fehler...

Ameise tunen kann ich halt nicht, bzw keine Lust und Zeit.. das JTL Sache... ich hoffe mal das da was in annehmbarer Zeit passiert...

Und bezahlt werd ich eh nicht.. bin ja selber Chef.. die bekommen kein Geld :)

Und vielen Dank für Deinen Informativen Beitrag.

Eigentlich geht es jetzt nur noch darum, ob man während der Zeit des Updates/Einspielen mit der Wawi arbeiten und auch den Shop-Connector laufen lassen kann...
 

B M S

Gut bekanntes Mitglied
19. Juli 2016
100
2
Eigentlich geht es jetzt nur noch darum, ob man während der Zeit des Updates/Einspielen mit der Wawi arbeiten und auch den Shop- Connector laufen lassen kann...
 

B M S

Gut bekanntes Mitglied
19. Juli 2016
100
2
ach herje.. hab mich ganz umsonst beschwert über die Geschwindigkeit..
Der Gambio Connector ist ja noch viel langsamer..
Ich glaub wir können das ganz Projekt Wawi in die Tonne treten :)
Oder hat hier jemand noch ein paar Tips fürn Einsteiger?
 
Ähnliche Themen
Titel Forum Antworten Datum
Neu Aufträge über WaWi App als bezahlt markieren JTL-Workflows - Ideen, Lob und Kritik 2
Änderung der Lieferadresse einer Verkaufsbestellung über die JTL-Wawi API JTL-Wawi 1.9 0
Neu Änderung der Lieferadresse einer Verkaufsbestellung über die JTL-Wawi API User helfen Usern - Fragen zu JTL-Wawi 0
Neu Lieferantenbestellung über Wawi via XML importieren Arbeitsabläufe in JTL-Wawi 0
Neu Leere Hersteller Felder über die Suche finden (GPSR) User helfen Usern - Fragen zu JTL-Wawi 2
Neu Sicherheitshinweise über Mediendateien hinzufügen JTL-Ameise - Fehler und Bugs 3
Otto-Anbindung über JTL Wawi und Produkt-Upload JTL-Wawi 1.9 0
Neu Mehrere Bescheibungen über Workflows o.ä. mit KI optimieren Arbeitsabläufe in JTL-Wawi 0
Neu Selbst gestaltete Versandlabels (z.B. mit Internetmarke über ShippingLabels) automatisch drucken? Wie macht Ihr das mit der Ausgabe? Arbeitsabläufe in JTL-Wawi 0
Neu Sitemap direkt über PHP JTL-Shop - Ideen, Lob und Kritik 0
In Diskussion Bestellte Artikel werden über alle Lager reserviert (WaWi + POS) JTL-Workflows - Fehler und Bugs 15
Neu Über Kurzbeschreibung hätte ich gerne ein Attribut stehen Templates für JTL-Shop 1
Neu Workflow für Otto.de Bestellungen über Amazon MCF Otto.de - Anbindung (SCX) 0
Neu Probleme beim Versand von Newslettern über JTL Shop 5 Allgemeine Fragen zu JTL-Shop 2
Neu Kunde automatisiert über Eingang der Retoure benachrichtigen JTL-Wawi - Ideen, Lob und Kritik 2
Neu Auswertungen über Verkauf minus Retouren Arbeitsabläufe in JTL-Wawi 3
Neu JTL Shop 5.3.X - Fehlerhafte Artikellinks bei Export über Exporte-Manager JTL-Shop - Fehler und Bugs 1
Neu Drittshop Anbindung über JTL Connector Onlineshop-Anbindung 1
Neu Keine Bestellung möglich über Nova 5.4 auf 4K Laptop JTL-Shop - Fehler und Bugs 16
Neu Fehler 500 bei Versandmeldung an Amazon über JTL-eazyAuction Amazon-Anbindung - Fehler und Bugs 1
Neu JTL über LTE quälend langsam Installation von JTL-Wawi 13
Telefonnummer über Klarna JTL-Wawi 1.9 6
Neu Email-Versand über MS365 geht nicht Installation von JTL-Wawi 1
In Diskussion Hinweis im WMS Ausgeben wenn ein bestimmter Artikel verpackt wird über WMS JTL-Workflows - Ideen, Lob und Kritik 5
Neu Versand über Kundenaccount Allgemeine Fragen zu JTL-Shop 5
In Diskussion Keine Auslieferung nach Zahlungsartänderung über Workflow JTL-Workflows - Fehler und Bugs 4
Neu WMS über Remote druckt langsam Arbeitsabläufe in JTL-WMS / JTL-Packtisch+ 9
Neu Artikel lässt sich im Shop 5.2.5 über die Wawi nicht löschen JTL-Shop - Fehler und Bugs 2
Neu Toplevel-Banner hinzufügen und/oder über Wawi Steuern Allgemeine Fragen zu JTL-Shop 0
Neu Einzelne Artikel über stückliste im Packtisch scannen User helfen Usern - Fragen zu JTL-Wawi 3
Neu Artikel Leichen bereinigen in der Datenbank Betrieb / Pflege von JTL-Shop 3
Neu WMS keine Verbindung zur Datenbank wenn Firewall an ist Installation von JTL-WMS / JTL-Packtisch+ 10
Neu Datenbank voll. dbo.tFile mit 3.5 GB und dbo.tLizenzlog mit 1GB JTL-Wawi - Fehler und Bugs 5
Gelöst Fehlermeldung Shop-Datenbank UTF-8-Kollation Installation / Updates von JTL-Shop 1
Neu Systemcheck: Datenbank Anmeldung fehlgeschlagen Installation / Updates von JTL-Shop 3
Neu Fehler mit Zugriff auf die Datenbank (Exec Direct). Installation von JTL-Wawi 4
Datenbank bereinigen nach Test JTL-Wawi 1.9 7
Neu Keine Verbindung zur Datenbank vom Terminalserver Installation von JTL-Wawi 1
Neu Fehler beim Zugrif aus die Datenbank (Exec Direct) JTL-Wawi - Fehler und Bugs 1
Neu Das JTL Shop gratis Plugin GPSR Verordnung - sieht mies aus, belastet die Datenbank, Excel Bearbeitung unmöglich Betrieb / Pflege von JTL-Shop 30

Ähnliche Themen