Tim_Schroeder
Mitglied
Hallo zusammen,
ich habe folgendes Problem. Ich muss ab sofort täglich ca. 25.000 Datensätze einlesen und bei meiner Kombination aus:
- SQL Datenbank gehostet bei JTL
- Rechner mit der Wawi bei mir zuhause
- Internetgeschwindigkeit ca. 50.000 Download / 15.000 Upload
brauche ich für die Importe von unterschiedlichen CSV-Dateien aktuell zu viel Zeit.
Ab heute muss ich von den ca. 25.000 Datensätzen 18000 Datensätze für Variationen einlesen und der erste Import läuft gerade und er schafft gerade im Durchschnitt 62 Datensätze pro Minute. So brauch ich wenn es sich nicht noch verschlechtert 290 Minuten nur für diesen Import.
Dazu kommt noch das ich jeden Tag von Hand die Daten importiere. Die Importe habe ich aus der Ameise in eine Batch-Datei erstellt und ich muss nicht jeden einzeln machen. Dies möchte ich auch gerne automatisch machen aber ich habe auch hier ein Problem:
- Die CSV-Daten kommen Nachts um ca. 3 Uhr per E-Mail.
- Diese speichere ich dann morgens lokal bei mir auf dem Rechner in einem bestimmten Pfad ab
- Ich starte die Import-Batch-Datei (Dauer ca. 50 Minuten - ca. 5.000 Datensätze)
- dann den Abgleich mit dem Shop (ca. 7 Minuten)
- Neu (jetzt 20.000 weitere Datensätze für Variationen - noch keine Zeit gemessen)
Am liebsten möchte ich dies auf einem gehosteten Server oder andere Lösung automatisiert laufen lassen. Um die E-Mail Lösung abzuschaffen wäre ein Server mit FTP-Server Funktionalitäten am besten. So kann die Firma X die Daten dort ablegen. Dann müsste aber automatisiert der Import starten und der Abgleich zum Shop.
Ich habe gesehen das JTL die RDP-Lösung anbietet. Würde dies meine beiden Probleme beheben (schnellere Importe / Automatisierung)?
Was könnt Ihr empfehlen? Wie habt Ihr Euch aufgestellt?
Danke
Tim
ich habe folgendes Problem. Ich muss ab sofort täglich ca. 25.000 Datensätze einlesen und bei meiner Kombination aus:
- SQL Datenbank gehostet bei JTL
- Rechner mit der Wawi bei mir zuhause
- Internetgeschwindigkeit ca. 50.000 Download / 15.000 Upload
brauche ich für die Importe von unterschiedlichen CSV-Dateien aktuell zu viel Zeit.
Ab heute muss ich von den ca. 25.000 Datensätzen 18000 Datensätze für Variationen einlesen und der erste Import läuft gerade und er schafft gerade im Durchschnitt 62 Datensätze pro Minute. So brauch ich wenn es sich nicht noch verschlechtert 290 Minuten nur für diesen Import.
Dazu kommt noch das ich jeden Tag von Hand die Daten importiere. Die Importe habe ich aus der Ameise in eine Batch-Datei erstellt und ich muss nicht jeden einzeln machen. Dies möchte ich auch gerne automatisch machen aber ich habe auch hier ein Problem:
- Die CSV-Daten kommen Nachts um ca. 3 Uhr per E-Mail.
- Diese speichere ich dann morgens lokal bei mir auf dem Rechner in einem bestimmten Pfad ab
- Ich starte die Import-Batch-Datei (Dauer ca. 50 Minuten - ca. 5.000 Datensätze)
- dann den Abgleich mit dem Shop (ca. 7 Minuten)
- Neu (jetzt 20.000 weitere Datensätze für Variationen - noch keine Zeit gemessen)
Am liebsten möchte ich dies auf einem gehosteten Server oder andere Lösung automatisiert laufen lassen. Um die E-Mail Lösung abzuschaffen wäre ein Server mit FTP-Server Funktionalitäten am besten. So kann die Firma X die Daten dort ablegen. Dann müsste aber automatisiert der Import starten und der Abgleich zum Shop.
Ich habe gesehen das JTL die RDP-Lösung anbietet. Würde dies meine beiden Probleme beheben (schnellere Importe / Automatisierung)?
Was könnt Ihr empfehlen? Wie habt Ihr Euch aufgestellt?
Danke
Tim