Gelöst Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artikel)

Janusch

Administrator
Mitarbeiter
24. März 2006
13.921
264
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Reicht hier auch ggf. zum testen die Testlizens ? Sind dort die Beschränkungen entfernt ?

https://technet.microsoft.com/de-de/evalcenter/dn205290.aspx

Irgendwie sieht man bei Microsoft den Wald vor lauter Bäumen nicht. ^^
dafür würde ich aber schon alle Aritkel importieren, wenn testen dann richtig.
180 Tage ist die Beschränkung. ISO oder CAB für lokale Installation nehmen.
 

Gabbahead

Aktives Mitglied
18. Februar 2015
167
1
Berlin
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Ja die Preise sind auf jeden Fall recht ordentlich. Aber sie werden dann wohl oder übel nötig sein, denn wir brauchen diese Ressourcen.
Und ja, ich habe den Import nur pausiert um schauen wie lange es aktuell dauert. Aber kann ich hier nun die Vollversion einfach drüber bügeln und dann den Import wieder aufnehmen ? Oder soll ich den Import mit der Express Version zuende bringen. Das wird dann aber locker noch ne Woche dauern. ^^
 

Janusch

Administrator
Mitarbeiter
24. März 2006
13.921
264
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Man kann die Express Datenbank in der Vollversion importieren und weiter nutzen, da diese kompatibel sind. Auf Version achten, 2005 geht in 2012 aber nicht umgekehrt.

Denoch ist mir kein Nutzer bekannt der 2,5 Mio. Artikel mit der Wawi betreibt. Das höchste war etwas unter 1 Mio. und da war die Hardware schon ordentlich.
Wenn Du weter testen möchtest, dann nimm die 41 von heute die gleich rauskommt. Zumindest der Ameise import sollte besser laufen. Die Suche in Artikelverwaltung sollte auch besser funktionieren.
Falls es nicht funktioniert, können wir Dir entgegenkommen und die Lizenzkoste erstatten.
 

Janusch

Administrator
Mitarbeiter
24. März 2006
13.921
264
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Noch kurz Nachtrag. beim Webshopabgliech werden ca. 5 Artikel pro Sek. übertragen. Das sind etwa 18k pro Stunde ohne Bilder.
 

Gabbahead

Aktives Mitglied
18. Februar 2015
167
1
Berlin
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Also das Angebot der Lizenskostenerstattung finde ich wirklich sehr löblich und rechne ich euch hoch an. Da können sich andere auf jeden Fall noch ne scheibe von abschneiden. Bei einem anderen Anbieter wo wir leider von wechseln musste, gab es solch ein Angebot nicht. Wobei hier der Fehler nicht bei uns lag, das es nicht funktioniert hat, sondern beim Anbieter, da in der Demo mehr versprochen wurde, als in der Final dann möglich war.

Aber ich würde natürlich trotzdem erstmal gerne versuchen bei euch zu bleiben, da mir das Gesamtpaket bei euch einfach zu gut gefällt. ;)

Ich werde das ganze nun mal mit SSD M.2 Module testen, damit zumindest die Festplatte erheblich mehr Leistung erhält. Dazu schauen ich ob die neue MSSQL Lizens mehr Performance bringt. Ich hoffe die Testversion oder Developer Version kann hier schon Aufschluss darüber geben.
 

Gabbahead

Aktives Mitglied
18. Februar 2015
167
1
Berlin
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Gehört zwar nun nicht mehr so ganz zu diesem Thema hier. Aber danke das ihr nun mit der 41er die EAN, Lieferanten-/Artikelnummer Suchen rausgepackt habt. Die Volltextsuche war für sowas einfach nicht zugebrauchen. ;) Von 6min. Wartezeit inzwischen auf 1-2min runter gegangen. Dazu habe ich heute die Vollversion von MSSQL installiert. Nächste Woche kommt dann neue Hardware und dann geht der Import weiter und werde sehen wie sich das ganze dann verhält.
 

memo Software

Gut bekanntes Mitglied
10. Oktober 2009
442
1
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Die Developer-Lizenz ist leider nicht für den produktiven Einsatz genehmigt. Nimm die Enterprise. Die kann nämlich als einziger MSSQL-Server In-Memory OLTP. Damit kannst Du die ganze Datenbank ins RAM laden, was mehr bringt als die SSDs (vorausgesetzt, Du hast 40GB oder mehr RAM und einen wirklich fetten Server).

Siehe auch: https://msdn.microsoft.com/de-de/library/cc645993.aspx#Scalability

Viel Erfolg!

Martin
 

Gabbahead

Aktives Mitglied
18. Februar 2015
167
1
Berlin
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Noch läuft das ja nicht im produktiven Einsatz und ich nutze auch nicht die Developer Verison, sondern die 180 Tage Testversion, die hat ebenfalls OLTP enthalten. ;) Ich denke die DB wird am Ende ca. 15-20GB haben, darum habe ich heute erstmal nur 32GB Arbeitsspeicher bestellt. Werde dann das ganze mal testen wie es sich verhält. Es bringt mir nichts wenn ich jetzt schon überall das beste hole und das Nadelör am ganz anderen Ende sitzt, nämlich Softwareseitig.

Aber ich hoffe das ich mit hilfe von JTL und der Beta auch auf Softwareseite noch etwas an der Schraube drehen kann. Die Suche wurde ja nun in der 41er etwas verbessert und die Beta läuft ja auch noch ein wenig.

Ich denke wir werden nicht die einzigen Kunden mit so einer großen Datenbank sein und JTL wird selber daran interessiert sein auch solche Kunden zu gewinnen. Auf jeden Fall sind meine 8GB von der Datenbank nun komplett belegt. ^^ Man sieht nicht mal den Prozess dafür, sonst war der sqlserver Prozess bei der Suche und Import so auf 2-3GB angestiegen, da rühert sich aktuell garnichts.

Frage mich wie Windows das also verwaltet. Muss man OLTP explizit für die Instanz/DB aktivieren, oder reicht die Konfiguration am Anfang der Installation ?

Und Danke. ;)
 
Ähnliche Themen
Titel Forum Antworten Datum
XRechnung: Vorgang.Auftrag.Anmerkung als "Weitere rechtliche Informationen" einbauen JTL-Wawi 1.9 2
Neu Was macht "Sendungen pro Empfänger zusammenfassen" bei JTL-Shipping Labels => UPS? JTL-ShippingLabels - Fehler und Bugs 0
Neu Transportversicherung B2B bei Ausliefern/Rechnung Problem User helfen Usern - Fragen zu JTL-Wawi 0
Neu Stücklistenkomponente bei Stückliste teilbar auf Druckvorlage Lieferschein korrekt ausgeben Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 0
Neu Merkmal in Artikelliste ausgeben bei entsprechendem Artikel ausgeben Allgemeine Fragen zu JTL-Shop 0
Neu Ebay - Grundpreisanzeige bei Variatonen eBay-Anbindung - Fehler und Bugs 2
Neu Dringlich: Angeblich falsche Preise bei Google Shopping Allgemeine Fragen zu JTL-Shop 0
Neu Shared Key / Shared Secret bei EPSON-TSE über Bondrucker Allgemeine Fragen zu JTL-POS 0
Neu Workflow funktioniert bei Unicorn 2 Bestellungen nicht JTL-Workflows - Fehler und Bugs 3
Neu Probleme mit Rabatten bei Umstellung auf JTL POS JTL-POS - Fehler und Bugs 0
Neu Bei Änderung eines via LS-Pos erstellten Auftrages springt Zahlungsart auf bar User helfen Usern - Fragen zu JTL-Wawi 0
Neu Artikel bei Amazon neu Listen mit "Neuer" ASIN Amazon-Lister - Ideen, Lob und Kritik 0
Neu Kann kein Bilder bei Variationen hinterlegen JTL-Wawi - Fehler und Bugs 1
Neu Manuelle Gewichtseingabe bei "Auftrag verpacken" Arbeitsabläufe in JTL-WMS / JTL-Packtisch+ 2
Beantwortet Abfrage liefert nur Ergebnis bei exakt einem Result Eigene Übersichten in der JTL-Wawi 1
Neu Probleme bei Shopverlinkung WooCommerce-Connector 3
Neu Feld "priceCurrency" doppelt bei Vaterartikeln (Kategorie) JTL-Shop - Fehler und Bugs 0
DHL Label oberhalb des Routingcode komplett schwarz/ bei manuellem Nachdruck alles ok JTL-Wawi 1.9 4
Neu Reihenfolge Kartonage bei Auftrag verpacken Arbeitsabläufe in JTL-WMS / JTL-Packtisch+ 0
Seit Update auf 1.9.6.5 Fehler bei Bestellabschluss, aber Bestellung geht ein JTL-Wawi 1.9 7
Neu Wechsel von CFE Shop ( Hosting bei JTL) zu SE Installation / Updates von JTL-Shop 5
Amazon Lister Problem bei der Erstellung von Varianten-Produkten JTL-Wawi 1.9 0
Neu Falsche URLs in Sitemap für englischen Seiten bei "Routing-Schema: Mit Locale" JTL-Shop - Fehler und Bugs 0
Neu Ausdrucken von Druckvorlagen bei Lieferscheinerstellung Arbeitsabläufe in JTL-Wawi 4
Neu Funktionsattribute werden nicht übertragen oder überschrieben bei Änderungen Shopware-Connector 0
Neu Preise ändern bei laufenden eBay Angeboten per Ameise eBay-Anbindung - Fehler und Bugs 5
Neu Workflow: Auftragsfarbe bei Fehlbestand ändern User helfen Usern - Fragen zu JTL-Wawi 1
Neu Hilfe bei korrekter Variable für Umsatzsteuer-Summe und dotLiquid-Übersicht Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 0
SQL Abfrage bei Workflow Datei Schreibn JTL-Wawi 1.9 1
Neu brauche Hilfe bei Erweiterte-Eigenschaften bearbeiten User helfen Usern - Fragen zu JTL-Wawi 4
Rechnungen werden nicht bei Amazon hochgeladen JTL-Wawi 1.9 3
Neu Artikelhistorie bei Streckenlieferungen (Drop-Shipping) User helfen Usern - Fragen zu JTL-Wawi 0
Neu Amazon - Änderung bei Versand in die Schweiz - Änderungen notwendig ?! Amazon-Anbindung - Ideen, Lob und Kritik 8
Neu Fehler bei Rückbuchung nach Storno JTL-Wawi - Fehler und Bugs 0
Neu Störung bei DHL? Einrichtung und Installation von JTL-eazyAuction 2
Neu GPSR Plugin wird nicht bei allen Artikeln angezeigt Plugins für JTL-Shop 18
Beantwortet Worklfow Aufträge-Ausgeliefert oder Ausfträge-Geändert werden bei Auslieferung nicht gestartet JTL-Workflows - Ideen, Lob und Kritik 2
Neu Problem bei der Anzeige von Hinweistexten für Produkte einer bestimmten Kategorie im NOVA Template Allgemeine Fragen zu JTL-Shop 1
Neu Packhinweis bei Eigenem Feld im Auftrag nicht möglich?! Arbeitsabläufe in JTL-WMS / JTL-Packtisch+ 0
Neu WARNUNG!!! Bug in JTL-Datenbankverwaltung bei "Bildsortierung reparieren" gefunden JTL-Wawi - Fehler und Bugs 0
Neu doppelter Etikettendruck bei Umlagerung von Filialen User helfen Usern - Fragen zu JTL-Wawi 0
GPSR Land Großbritannien fehlt bei Hersteller JTL-Wawi 1.9 2
Kompletter SCX Abgleich hängt fest bei Artikel (Senden) 1. Aufruf [0,00%] 0/0 kaufland.de - Anbindung (SCX) 1
Auftrag splitten bei bereits ersteller Rechnung JTL-Wawi 1.9 1
bereits ausgelieferte Aufträge tauchen nichtmehr bei Verkauf=> Aufträge => zurückgehalten auf JTL-Wawi 1.9 3
Neu GPSR bei SHOPIFY? Shopify-Connector 3
Gelöst Benutzer-Pin bei Anmeldung irrelevant JTL-POS - Fehler und Bugs 2
In Bearbeitung Exception bei Aufruf Tagesabschluss JTL-POS - Fehler und Bugs 5
Neu JTL-Wawi 1.9.6.5 - GPSR: Bei Amazon wird kein Bild in die GPSR-Informationen hochgeladen, wo muss dies angegeben werden? Amazon-Anbindung - Fehler und Bugs 0
Neu JTL-Wawi 1.9.6.5 - GPSR: Bei Amazon wird der Hersteller falsch gefüllt und die Verantwortliche Person ist LEER - eBay/JTL-Shop sind korrekt Amazon-Anbindung - Fehler und Bugs 23

Ähnliche Themen