SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

[wawi-dl]

Hallo,

seit wir von 099790 auf 099894 aktualisiert haben, ist uns die Größe der Datenbank etwas ins Auge gefallen!

Wir hatten meisten 800-900 MB, nach der Aktualisierung waren wir bei 1,1 - 1,2 GB, an sich auch ok durch die neuen Funktionen.
Allerdings stellen wir fest (es wird täglich automatisiert eine Sicherung gezogen), dass täglich die DB 10-20 MB anwächst, im Schnitt 15 MB!!!

Wir sind nun nach 1-2 Monaten also bereits bei 1,85 GB angelangt, wenn wir ein weiteres Jahr so rechnen, hätten wir bereits unglaubliche 7 GB!!!
Mir macht das etwas Sorgen, ist das bei Euch auch so?

Was wir sagen können, 5-6.000 Artikel in JTL, 1.500 Angebote auf eBay, ca. 750-1.000 Bestellungen im Monat (ist doch aber NUR TEXT!)!

Evtl. kann auch JTL dazu was sagen ...

Eine Datenbankbereinigung brachte auch keinen großes Erfolg, von 1,85 GB schrumpfte die DB auf gerade mal um 5-10 MB.

 

[reneromann]

AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

Bilder in der Datenbank?

Und die 10-20 MB pro Tag erscheinen vielleicht viel - wenn ich aber mal mit 25 Bestellungen (750/30 = 25) pro Tag rechne, so ergibt das weniger als 1 MB pro Bestellung. Wenn ich mich richtig erinnere, kann es sein, dass die Rechnungen auch 1:1 in der Datenbank gespeichert werden...

 

[wawi-dl]

AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

.. oha da könnte was dran sein!

Bilder sind auch in der Datenbank, ja ... muss mir darüber wohl aber bald Gedanken machen dann.
Hab noch keine Suche bemüht, die kann man wie ausschließen?

 

[casim]

AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

Bilder sind auch in der Datenbank, ja ... muss mir darüber wohl aber bald Gedanken machen dann.
Hab noch keine Suche bemüht, die kann man wie ausschließen?

gar nicht .... Bilder werden WaWi-seitig IMMER in der DB gespeichert

 

[neimles]

AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

wie weit gehts ohne probleme?

bei mir wirds auch immer mehr und größeres bildmaterial...

 

[wawi-dl]

AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

... kommt auf deine MS SQL-Server Version an!

 

[shark007]

AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

mit sql express (kostenlose sql version) ist bei 10 GB Datenbankgrösse fertig.
Danach muss ein SQL Standard gekauft werden, mit diesem sind theoretisch 524.272 Terabyte möglich

 

[Andreas Grambow]

AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

10GB aber nur bei 2008 und 2012, die Serienmäßig dabei ist (2005) hat nur 4 GB.

 

[Petuchov]

AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

Bilder spielen natürlich eine große Rolle.
Allgemein sollte ein Bild mit de Größe 800 mal 600 PX bei 72dpi langen.
Richtig komprimiert kann dann eine Menge Platz gespart werden.
Dabei ist es so, dass die Dateigröße sich mit dem Bildinhalt verändert : Ein freigestelltes Produktfoto mit einem weißen Hintergrund benötigt wesentlich weniger Speicherplatz als ein Voll-Motiv mit vielen Farben und vielen Details

Ohne sichtbare Verluste der Bildqualität kann man ein freigestelltes Bild mit einer Ausgangsgröße von 800 mal 600 Pixel auf ca 20 KB herunterrechnen
Je nach Bildbearbeitungsprogramm gibt es Optionen fü Qualität (Stufe /Mittel/Prozent) und Vorgaben wie "progressiv" oder "optimiert".
Es ist darauf zu achten, dass kein Farbprofil engebettet ist

Ein vollflächiges Bild kann schon mehr Platz brauchen, benötigt bar im Allgemeinen auch nicht mehr als 80 KB

2 mal ein Bild mit 800 mal 600 px


Bild JPG ohne Bearbeitung = 327 KB



Bild JPG optimiert 20 KB

Bei 6000 Bildern ergibt sich ein Unterschied 120000 kb (also rund 12 MB) gegenüber 1.962.000 KB (1.87111 GB)

Nicht selten finde ich in Kundenwawis Original Kamerabilder beispielsweise mit 3648 mal 2736 Pixel (unkomprimiet rund 29 MB) die dann die DB mit 2 MB belegen, das wären dann bei 6000 Bildern ca 1.17 GB
Abgesehen von den langen Zeiten beim hochladen wird dann der Webspace recht schnell voll, weil dort mehrere Varianten des Billdes abgelegt werden.

Ein Blick in die Einstellungen> Bilder konvertieren zeigt die großen Bilder ; Suche nach Bildern über 100 KB, diese optimieren , anschließend Shopabgleich

 

[wawi-dl]

AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

Das Thema hole ich jetzt nochmals hoch!

Ich habe vor paar Tagen das Update 099923 gezogen und produktiv im Einsatz.
Was soll ich sagen? Viele neue Funktionen, Dashboard, Durckvorlagenverwaltung, Druckmanager, ...... komme von 099894!

Die Backups, die vorher täglich 15-25MB gefressen haben, an reinem TEXT / reinen Metadaten durch Verkäufe,
kam mir sehr komisch vor, hab seit Nutzung der 099894 locker 1GB verballert!

JETZT habe ich täglich wieder NUR 2-4MB Zuwachs???? Wie kommt das?
Wawi hat jetzt viele neue Funktionen, habe mehr Verkäufe derzeit!!!

Mich würde wirklich interessieren, was meine Datenbank "voll gemüllt" hat, wenn ich das gewusst hätte,
hätte ich das Update viel eher gemacht.

Ich würde gerne die Datenbank auch wieder etwas aufräumen und säubern, die JTL Tools helfen aber nicht.

 

[Günther]

AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

Hallo,
wir haben auch das Gefühl dass unsere Datenbank ständig wächst. Version 099894
Falls Du eine Lösung findest wie Du die Datenbank säuberst ohne Verust an richtigen Daten lass es uns wissen.
Günther

 

[casim]

AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

Menü " JTL-WaWi" -> "Datenbank bereinigen"

NUR diese Funktion, nichts anderes denn sonstige Tools richten oft mehr Schaden an als wie sie nutzen

Dazu AKTUELLE WaWi-Version

 

[wawi-dl]

AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

@casim
Das wissen wir, nützt uns hier gar NICHTS!

@Günther
Ich habe zu lange gewartet, die 894er hat mir echt die DB zu gemüllt, werde hier mal mit JTL das Thema klären, vielleicht wurden Tabellen sinnlos voll gestopft.
Alle meine Bereinigungsversuche, sprich auch Bilder komplett löschen, überarbeiten, importieren brachte nichts, es liegt für mich definitiv an der Version.
Meine Backups die letzten Tage sind echt kaum gewachsen.

Ich vermute das evtl. viele Logs für eA geschrieben wurden vorher, die jetzt schlanker sind.

Vorher hätte ich ca. 1 bis max 2 Jahre gebraucht, bis die DB 10GB voll wäre, so jetzt sind es immerhin wieder 3-4 Jahre.

 

[Janusch]

AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

Hallo,

vergleicht die Datenbankgröße im Management Studio und die vom Backup. Sind diese identisch?
Wie groß ist die transaction_log?

 

[Günther]

AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

Hallo Casim,
wir haben vor Jahren einmal die Funktion "Datenbank bereinigen" benutzt und dann Monate gebraucht den Lagerbestand wieder in Griff zu bekommen.
Trotzdem solle man wegen der Datenbankgröße bei JTL das überprüfen.
Wir werden versuchen den Wawi Update ASAP zu machen.
Günther

 

[Janusch]

AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

wir haben vor Jahren einmal die Funktion "Datenbank bereinigen" benutzt und dann Monate gebraucht den Lagerbestand wieder in Griff zu bekommen.

Das ist Quatsch. So etwas ist auf keinen Fall passiert.
Hier werden nur "Tote" Verknüpfungen gelöscht und auf keine Lagerbestände etc. verändert.

Trotzdem solle man wegen der Datenbankgröße bei JTL das überprüfen.

Was soll man da überprüfen? Die Datenbank organisiert sich selbst und verbraucht den Speicher den sie benötigt.
Dafür hat man versch. Optionen im MMS um die Datenbank neu zu reorganisieren/verkleinern etc.
Jedoch auch hier falls die DB nicht an die max. Größe kommt, sollte man dies weg lassen.

 

[Günther]

AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

Hallo Janusch,
das Problem war damals, dass wir Saisonware auf inaktive gestellt hatten und diese dann weg war.
Das kann man in der jetzigen Bereinigung selektieren und somit sollte dies nicht mehr passieren.
Habe die Reinigung im Testsystem durchgeführt aber die Datenbank ist fast unverändert.
Mein Ansatz ist nur der von wawi-dl dass in letzter Zeit die Datenbank ziemlich anwächst.
Ich hoffe wawi-dl klärt das Phänomen und lässt mich an der Lösung teilhaben.

Günther

 

[wawi-dl]

AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

Ich kann leider auch nur berichten, was ich festgestellt habe, was ich dann hier im Thread geäußert habe.


Version 099780 ... lange im Betrieb, immer geweigert upzudaten! Täglicher Zuwachs 2-5 MB.
Version 099894 ... seit 1-2 Monate im Betrieb, viele tolle neue Funktionen, aber Backups wurden täglich um 15-35 MB größer, darum der Thread (siehe Verlauf)!
Version 099923 ... jetzt sind die Backups komischerweise wie gewohnt nur 2-5 MB groß, was völlig akzeptabel ist, aber keine 15-35 MB!!!


Daher die Frage, was diese Version gemacht hat, irgendwas muss ja passiert sein, mehr protokolliert worden sein.
Es kamen weder neue Artikel + Bilder dazu, noch wurden andere größere Aktionen gemacht. Jetzt mit der 923er Version,
haben Hochsaison, haben wir deutlich mehr Transaktionen, aber Backups wachsen "normal" an.

Ich habe daher gehofft, von den 3,3 GB wieder auf 2 bis 2,5 GB herunterzukommen, in dem man unnötige Tabellen leert.
Alte Hinweistabellen, was auch immer ... da kennt sich JTL besser aus.

Soll ja alles keine Kritik sein, wir schauen bloß etwas voraus, sonst haben wir in 2-3 Jahren MEGA-Datenbanken die kaum zu händeln sind

 

[Janusch]

AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

Hallo Günther,

beim "bereinigen" muss man extra Haken bei "Inaktive Artikel löschen" setzen. Wenn es dann gemacht wird, passiert genau das was bei Dir passiert ist mit inaktiven Artikeln.
Da ist aber nicht die Funktion schuld. Weshalb solche Aussage falsch ist.

Falls ihr da genauer nachschauen wollt, würde ich empfehlen diesen SQL abzusetzen:

SELECT  CAST(OBJECT_NAME(id) AS VARCHAR(255)) AS 'Table',
CAST(rowcnt as varchar(255)) AS '#Rows',
reserved * 8 AS 'Disk - Kb',
dpages * 8 AS 'Data - Kb',
(sum(used) * 8) - (dpages * 8) AS 'Index - Kb'
FROM sysindexes
WHERE indid IN (0,1)
AND   OBJECTPROPERTY(id, 'IsUserTable') = 1
GROUP BY id, rowcnt, reserved, dpages
ORDER BY 'Table';

Die Ausgabe als CSV mit Datum speichern. Nachdem die DB größer geworden ist, wieder gleichen Befehl ausführen und die Ausgaben dann im Excel vergleichen.

 

[Janusch]

AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

Ich kann leider auch nur berichten, was ich festgestellt habe, was ich dann hier im Thread geäußert habe.


Version 099780 ... lange im Betrieb, immer geweigert upzudaten! Täglicher Zuwachs 2-5 MB.
Version 099894 ... seit 1-2 Monate im Betrieb, viele tolle neue Funktionen, aber Backups wurden täglich um 15-35 MB größer, darum der Thread (siehe Verlauf)!
Version 099923 ... jetzt sind die Backups komischerweise wie gewohnt nur 2-5 MB groß, was völlig akzeptabel ist, aber keine 15-35 MB!!!


Daher die Frage, was diese Version gemacht hat, irgendwas muss ja passiert sein, mehr protokolliert worden sein.
Es kamen weder neue Artikel + Bilder dazu, noch wurden andere größere Aktionen gemacht. Jetzt mit der 923er Version,
haben Hochsaison, haben wir deutlich mehr Transaktionen, aber Backups wachsen "normal" an.

Ich habe daher gehofft, von den 3,3 GB wieder auf 2 bis 2,5 GB herunterzukommen, in dem man unnötige Tabellen leert.
Alte Hinweistabellen, was auch immer ... da kennt sich JTL besser aus.

Soll ja alles keine Kritik sein, wir schauen bloß etwas voraus, sonst haben wir in 2-3 Jahren MEGA-Datenbanken die kaum zu händeln sind

So kannst Du das nicht vergleichen. Evtl. war es Weihnachtszeit wo dann viel mehr Bestellungen getätigt wurden.
Artikelsortiment geändert etc. Alles hat Auswirkungen auf den "Zuwachs" der Datenbank.

Zudem kommen mit jedem Update neue Tabellen, Indizies dazu. Diese benötigen auch Speicher.