SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

wawi-dl

Sehr aktives Mitglied
29. April 2008
6.206
663
Hallo,

seit wir von 099790 auf 099894 aktualisiert haben, ist uns die Größe der Datenbank etwas ins Auge gefallen!

Wir hatten meisten 800-900 MB, nach der Aktualisierung waren wir bei 1,1 - 1,2 GB, an sich auch ok durch die neuen Funktionen.
Allerdings stellen wir fest (es wird täglich automatisiert eine Sicherung gezogen), dass täglich die DB 10-20 MB anwächst, im Schnitt 15 MB!!!

Wir sind nun nach 1-2 Monaten also bereits bei 1,85 GB angelangt, wenn wir ein weiteres Jahr so rechnen, hätten wir bereits unglaubliche 7 GB!!! ;)
Mir macht das etwas Sorgen, ist das bei Euch auch so?

Was wir sagen können, 5-6.000 Artikel in JTL, 1.500 Angebote auf eBay, ca. 750-1.000 Bestellungen im Monat (ist doch aber NUR TEXT!)!

Evtl. kann auch JTL dazu was sagen ...

Eine Datenbankbereinigung brachte auch keinen großes Erfolg, von 1,85 GB schrumpfte die DB auf gerade mal um 5-10 MB.
 

reneromann

Sehr aktives Mitglied
31. August 2012
2.135
5
AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

Bilder in der Datenbank?

Und die 10-20 MB pro Tag erscheinen vielleicht viel - wenn ich aber mal mit 25 Bestellungen (750/30 = 25) pro Tag rechne, so ergibt das weniger als 1 MB pro Bestellung. Wenn ich mich richtig erinnere, kann es sein, dass die Rechnungen auch 1:1 in der Datenbank gespeichert werden...
 

wawi-dl

Sehr aktives Mitglied
29. April 2008
6.206
663
AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

.. oha da könnte was dran sein!

Bilder sind auch in der Datenbank, ja ... muss mir darüber wohl aber bald Gedanken machen dann.
Hab noch keine Suche bemüht, die kann man wie ausschließen?
 

neimles

Gut bekanntes Mitglied
12. November 2012
304
0
AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

wie weit gehts ohne probleme?

bei mir wirds auch immer mehr und größeres bildmaterial...
 

wawi-dl

Sehr aktives Mitglied
29. April 2008
6.206
663
AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

... kommt auf deine MS SQL-Server Version an!
 

shark007

Aktives Mitglied
29. März 2013
30
0
AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

mit sql express (kostenlose sql version) ist bei 10 GB Datenbankgrösse fertig.
Danach muss ein SQL Standard gekauft werden, mit diesem sind theoretisch 524.272 Terabyte möglich ;)
 

Petuchov

Sehr aktives Mitglied
1. Oktober 2009
1.695
23
Augsburg
AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

Bilder spielen natürlich eine große Rolle.
Allgemein sollte ein Bild mit de Größe 800 mal 600 PX bei 72dpi langen.
Richtig komprimiert kann dann eine Menge Platz gespart werden.
Dabei ist es so, dass die Dateigröße sich mit dem Bildinhalt verändert : Ein freigestelltes Produktfoto mit einem weißen Hintergrund benötigt wesentlich weniger Speicherplatz als ein Voll-Motiv mit vielen Farben und vielen Details

Ohne sichtbare Verluste der Bildqualität kann man ein freigestelltes Bild mit einer Ausgangsgröße von 800 mal 600 Pixel auf ca 20 KB herunterrechnen
Je nach Bildbearbeitungsprogramm gibt es Optionen fü Qualität (Stufe /Mittel/Prozent) und Vorgaben wie "progressiv" oder "optimiert".
Es ist darauf zu achten, dass kein Farbprofil engebettet ist

Ein vollflächiges Bild kann schon mehr Platz brauchen, benötigt bar im Allgemeinen auch nicht mehr als 80 KB

2 mal ein Bild mit 800 mal 600 px

bus100.jpg
Bild JPG ohne Bearbeitung = 327 KB

bus30.jpg

Bild JPG optimiert 20 KB

Bei 6000 Bildern ergibt sich ein Unterschied 120000 kb (also rund 12 MB) gegenüber 1.962.000 KB (1.87111 GB)

Nicht selten finde ich in Kundenwawis Original Kamerabilder beispielsweise mit 3648 mal 2736 Pixel (unkomprimiet rund 29 MB) die dann die DB mit 2 MB belegen, das wären dann bei 6000 Bildern ca 1.17 GB
Abgesehen von den langen Zeiten beim hochladen wird dann der Webspace recht schnell voll, weil dort mehrere Varianten des Billdes abgelegt werden.

Ein Blick in die Einstellungen> Bilder konvertieren zeigt die großen Bilder ; Suche nach Bildern über 100 KB, diese optimieren , anschließend Shopabgleich
 

Anhänge

  • bus100.jpg
    bus100.jpg
    28,8 KB · Aufrufe: 59
  • bus30.jpg
    bus30.jpg
    19,2 KB · Aufrufe: 60

wawi-dl

Sehr aktives Mitglied
29. April 2008
6.206
663
AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

Das Thema hole ich jetzt nochmals hoch!

Ich habe vor paar Tagen das Update 099923 gezogen und produktiv im Einsatz.
Was soll ich sagen? Viele neue Funktionen, Dashboard, Durckvorlagenverwaltung, Druckmanager, ...... komme von 099894!

Die Backups, die vorher täglich 15-25MB gefressen haben, an reinem TEXT / reinen Metadaten durch Verkäufe,
kam mir sehr komisch vor, hab seit Nutzung der 099894 locker 1GB verballert!

JETZT habe ich täglich wieder NUR 2-4MB Zuwachs???? Wie kommt das?
Wawi hat jetzt viele neue Funktionen, habe mehr Verkäufe derzeit!!!

Mich würde wirklich interessieren, was meine Datenbank "voll gemüllt" hat, wenn ich das gewusst hätte,
hätte ich das Update viel eher gemacht.

Ich würde gerne die Datenbank auch wieder etwas aufräumen und säubern, die JTL Tools helfen aber nicht.
 

Günther

Sehr aktives Mitglied
29. November 2007
1.099
5
Augsburg
AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

Hallo,
wir haben auch das Gefühl dass unsere Datenbank ständig wächst. Version 099894
Falls Du eine Lösung findest wie Du die Datenbank säuberst ohne Verust an richtigen Daten lass es uns wissen.
Günther
 

casim

Sehr aktives Mitglied
26. Juni 2012
5.934
10
AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

Menü " JTL-WaWi" -> "Datenbank bereinigen"

NUR diese Funktion, nichts anderes denn sonstige Tools richten oft mehr Schaden an als wie sie nutzen

Dazu AKTUELLE WaWi-Version
 

wawi-dl

Sehr aktives Mitglied
29. April 2008
6.206
663
AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

@casim
Das wissen wir, nützt uns hier gar NICHTS!

@Günther
Ich habe zu lange gewartet, die 894er hat mir echt die DB zu gemüllt, werde hier mal mit JTL das Thema klären, vielleicht wurden Tabellen sinnlos voll gestopft.
Alle meine Bereinigungsversuche, sprich auch Bilder komplett löschen, überarbeiten, importieren brachte nichts, es liegt für mich definitiv an der Version.
Meine Backups die letzten Tage sind echt kaum gewachsen.

Ich vermute das evtl. viele Logs für eA geschrieben wurden vorher, die jetzt schlanker sind.

Vorher hätte ich ca. 1 bis max 2 Jahre gebraucht, bis die DB 10GB voll wäre, so jetzt sind es immerhin wieder 3-4 Jahre.
 

Janusch

Administrator
Mitarbeiter
24. März 2006
13.921
264
AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

Hallo,

vergleicht die Datenbankgröße im Management Studio und die vom Backup. Sind diese identisch?
Wie groß ist die transaction_log?
 

Günther

Sehr aktives Mitglied
29. November 2007
1.099
5
Augsburg
AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

Hallo Casim,
wir haben vor Jahren einmal die Funktion "Datenbank bereinigen" benutzt und dann Monate gebraucht den Lagerbestand wieder in Griff zu bekommen.
Trotzdem solle man wegen der Datenbankgröße bei JTL das überprüfen.
Wir werden versuchen den Wawi Update ASAP zu machen.
Günther
 

Janusch

Administrator
Mitarbeiter
24. März 2006
13.921
264
AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

wir haben vor Jahren einmal die Funktion "Datenbank bereinigen" benutzt und dann Monate gebraucht den Lagerbestand wieder in Griff zu bekommen.
Das ist Quatsch. So etwas ist auf keinen Fall passiert.
Hier werden nur "Tote" Verknüpfungen gelöscht und auf keine Lagerbestände etc. verändert.

Trotzdem solle man wegen der Datenbankgröße bei JTL das überprüfen.
Was soll man da überprüfen? Die Datenbank organisiert sich selbst und verbraucht den Speicher den sie benötigt.
Dafür hat man versch. Optionen im MMS um die Datenbank neu zu reorganisieren/verkleinern etc.
Jedoch auch hier falls die DB nicht an die max. Größe kommt, sollte man dies weg lassen.
 

Günther

Sehr aktives Mitglied
29. November 2007
1.099
5
Augsburg
AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

Hallo Janusch,
das Problem war damals, dass wir Saisonware auf inaktive gestellt hatten und diese dann weg war.
Das kann man in der jetzigen Bereinigung selektieren und somit sollte dies nicht mehr passieren.
Habe die Reinigung im Testsystem durchgeführt aber die Datenbank ist fast unverändert.
Mein Ansatz ist nur der von wawi-dl dass in letzter Zeit die Datenbank ziemlich anwächst.
Ich hoffe wawi-dl klärt das Phänomen und lässt mich an der Lösung teilhaben.

Günther
 

wawi-dl

Sehr aktives Mitglied
29. April 2008
6.206
663
AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

Ich kann leider auch nur berichten, was ich festgestellt habe, was ich dann hier im Thread geäußert habe.


Version 099780 ... lange im Betrieb, immer geweigert upzudaten! Täglicher Zuwachs 2-5 MB.
Version 099894 ... seit 1-2 Monate im Betrieb, viele tolle neue Funktionen, aber Backups wurden täglich um 15-35 MB größer, darum der Thread (siehe Verlauf)!
Version 099923 ... jetzt sind die Backups komischerweise wie gewohnt nur 2-5 MB groß, was völlig akzeptabel ist, aber keine 15-35 MB!!!


Daher die Frage, was diese Version gemacht hat, irgendwas muss ja passiert sein, mehr protokolliert worden sein.
Es kamen weder neue Artikel + Bilder dazu, noch wurden andere größere Aktionen gemacht. Jetzt mit der 923er Version,
haben Hochsaison, haben wir deutlich mehr Transaktionen, aber Backups wachsen "normal" an.

Ich habe daher gehofft, von den 3,3 GB wieder auf 2 bis 2,5 GB herunterzukommen, in dem man unnötige Tabellen leert.
Alte Hinweistabellen, was auch immer ... da kennt sich JTL besser aus.

Soll ja alles keine Kritik sein, wir schauen bloß etwas voraus, sonst haben wir in 2-3 Jahren MEGA-Datenbanken die kaum zu händeln sind
 

Janusch

Administrator
Mitarbeiter
24. März 2006
13.921
264
AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

Hallo Günther,

beim "bereinigen" muss man extra Haken bei "Inaktive Artikel löschen" setzen. Wenn es dann gemacht wird, passiert genau das was bei Dir passiert ist mit inaktiven Artikeln.
Da ist aber nicht die Funktion schuld. Weshalb solche Aussage falsch ist.

Falls ihr da genauer nachschauen wollt, würde ich empfehlen diesen SQL abzusetzen:
Code:
SELECT  CAST(OBJECT_NAME(id) AS VARCHAR(255)) AS 'Table',
CAST(rowcnt as varchar(255)) AS '#Rows',
reserved * 8 AS 'Disk - Kb',
dpages * 8 AS 'Data - Kb',
(sum(used) * 8) - (dpages * 8) AS 'Index - Kb'
FROM sysindexes
WHERE indid IN (0,1)
AND   OBJECTPROPERTY(id, 'IsUserTable') = 1
GROUP BY id, rowcnt, reserved, dpages
ORDER BY 'Table';

Die Ausgabe als CSV mit Datum speichern. Nachdem die DB größer geworden ist, wieder gleichen Befehl ausführen und die Ausgaben dann im Excel vergleichen.
 

Janusch

Administrator
Mitarbeiter
24. März 2006
13.921
264
AW: SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

Ich kann leider auch nur berichten, was ich festgestellt habe, was ich dann hier im Thread geäußert habe.


Version 099780 ... lange im Betrieb, immer geweigert upzudaten! Täglicher Zuwachs 2-5 MB.
Version 099894 ... seit 1-2 Monate im Betrieb, viele tolle neue Funktionen, aber Backups wurden täglich um 15-35 MB größer, darum der Thread (siehe Verlauf)!
Version 099923 ... jetzt sind die Backups komischerweise wie gewohnt nur 2-5 MB groß, was völlig akzeptabel ist, aber keine 15-35 MB!!!


Daher die Frage, was diese Version gemacht hat, irgendwas muss ja passiert sein, mehr protokolliert worden sein.
Es kamen weder neue Artikel + Bilder dazu, noch wurden andere größere Aktionen gemacht. Jetzt mit der 923er Version,
haben Hochsaison, haben wir deutlich mehr Transaktionen, aber Backups wachsen "normal" an.

Ich habe daher gehofft, von den 3,3 GB wieder auf 2 bis 2,5 GB herunterzukommen, in dem man unnötige Tabellen leert.
Alte Hinweistabellen, was auch immer ... da kennt sich JTL besser aus.

Soll ja alles keine Kritik sein, wir schauen bloß etwas voraus, sonst haben wir in 2-3 Jahren MEGA-Datenbanken die kaum zu händeln sind

So kannst Du das nicht vergleichen. Evtl. war es Weihnachtszeit wo dann viel mehr Bestellungen getätigt wurden.
Artikelsortiment geändert etc. Alles hat Auswirkungen auf den "Zuwachs" der Datenbank.

Zudem kommen mit jedem Update neue Tabellen, Indizies dazu. Diese benötigen auch Speicher.
 
Ähnliche Themen
Titel Forum Antworten Datum
Gespeicherte Filter (Lagerbewertung) nach SQL Umzug nicht mehr abrufbar JTL-Wawi 1.9 0
Neu Umzug von SQL 2016 Express auf SQL 2019 Standard mit Wawi 1.8.12.2 Installation von JTL-Wawi 8
Neu Update für Shopvote 1.1.0 führt zu SQL-Fehler Plugins für JTL-Shop 5
Neu SQL: Positionen eines Auftrags sind auf welchem Lieferschein gelandet? Eigene Übersichten in der JTL-Wawi 7
Neu Backup einrichten, habe die SQL Anmeldedaten verlegt Installation von JTL-Wawi 1
Sql Abfrage VK Preise pro Kundengruppe für Grafana JTL-Wawi 1.8 9
Neu SQL Query zum Bilder löschen Arbeitsabläufe in JTL-Wawi 3
Neu List & Label - Eigene SQL-Abfrage als Grundlage für Tabelle im Berichtscontainer? User helfen Usern - Fragen zu JTL-Wawi 10
Neu SQL Server kein Mandant auswählbar und Dienst lässt sich nicht starten Installation von JTL-Wawi 2
Neu Ameise-Vorlage per SQL abrufen und Daten als Ergebnis erhalten JTL Ameise - Eigene Exporte 1
Neu SQL DB läuft mit Fehler voll und crasht Server JTL-Shop - Fehler und Bugs 1
Neu SQL Vartable für Reservierte Artikel gesucht User helfen Usern - Fragen zu JTL-Wawi 2
Neu Innerhalb einer Variable -SQL Abfrage- das Wort "fett" schreiben Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 2
Neu SQL Eigener Export - Eigene Felder im Auftrag User helfen Usern - Fragen zu JTL-Wawi 7
Neu Wie finde ich per SQL heraus welche Aufträge auf Teillieferbar stehen? JTL Ameise - Eigene Exporte 1
Neu Microsoft SQL unter MS365 Installation von JTL-Wawi 2
Neu SQL Abfrage, 3. Mahnstufe User helfen Usern - Fragen zu JTL-Wawi 1
Neu Variable oder SQL zum Feld "Gewinn netto" (im Auftrag) Eigene Übersichten in der JTL-Wawi 9
Neu SQL Code zur Ausgabe des Verkaufspreis je Kundengruppe User helfen Usern 1
Neu MS SQL Server auf Windows vs Linux Starten mit JTL: Projektabwicklung & Migration 9
Beantwortet Hilfe bei SQL Abfrage erbeten User helfen Usern - Fragen zu JTL-Wawi 3
Neu SQL Abfrage - Sendungsnummern als Liste nach Datum Schnittstellen Import / Export 2
Neu Datenbankgröße des Shops Allgemeine Fragen zu JTL-Shop 0

Ähnliche Themen