SQL-Datenbankgröße wächst relativ schnell an ... Erfahrungswerte gesucht!

[gutberle]

@wawi-dl - Ich habe beim reinen Löschen (aka "unwiederbringlich verloren") immer ein bißchen ein schlechtes Gefühl. In tLog stehen ja vor allem die Änderungen an der Datenbank, also welcher Benutzer oder eben der Worker was wann geändert hat. Das wäre nichts, was ich einfach mal so wegschmeißen wollen würde und auch die ebay feedback Daten sind ja etwas, das auch nach ein paar Jahren eigentlich noch von Interesse sein könnte. Betonung natürlich auf "könnte".

Wie wäre es denn, wenn Du die Daten aus tLog und den anderen Tabellen nicht einfach löschst, sondern sie vorher nach CSV exportierst. Datei mit Datum und Uhrzeit versehen und mit ZIP +/- Passwort ablegen, auf dem Server ist ja locker Platz und DANN kannst Du die Tabellen leeren, also zumindest die bei denen JTL sagt, dass das technisch/inhaltlich OK ist.

 

[wawi-dl]

JTL hat sich ja bereits dazu geäußert, ich kenne die DB sehr gut ... für uns sind es Tabellen, die uns so nie interessieren werden.

Wir sprechen hier von 5-6 Tabellen, die bei uns erheblichen Platz eingenommen hatten.

eBay Feedback Daten wären die ersten, die ich löschen würden, da eBay ohnehin nichts ändert oder löscht im Bewertungsportal.


Ich würde gerne von JTL nochmals gerne wissen, ob es bedenken für diese Tabellen gibt (wir nutzen aktuell 1.0.11.8):
tLog ----> wir löschen hier nie alles, sondern belassen 3 Monate
tWorkflowLog ----> braucht nach 1-2 Wochen auch niemand mehr
ebay_usermessagequeue ----> hier stehen diverse Sachen drin, allein Angebotsverlängerungen die man auch nach 30 Tagen niemehr braucht
ebay_data_feedback_in (Bewertungen erhalten) ----> ist schön, aber brauchen wir ebenfalls nach 30-90 Tagen nicht mehr
ebay_data_feedback_out (Bewertungen abgegeben) ----> abgegeben ist abgegeben, benötigen wir nicht
ebay_data_membermessage_in (Nachricht von eBayuser) ----> könnte man in JTL auch direkt selbst löschen

 

[gutberle]

@wawi-dl - Dass DU die Datenbank sehr gut kennst ist mir schon klar, mir geht es eher darum, auch Anderen die Möglichkeit aufzuzeigen, nicht unbedingt immer gleich permanent löschen zu müssen, sondern eben auch archivieren zu können.
Was Du zu eBay als permentem "Backup" von deren Messages schreibst, macht natürlich schon Sinn. Ich persönlich würde aber doch immer dafür optieren, die Wawi Logs regelmäßig in CSV Dateien zu archivieren und nur den Rest zu löschen.

 

[hula1499]

Hm, interessante Sache - ich lösch auch in der Shop DB ständig Dinge, die alles aufblähen und (für uns) vollkommen unnütze Infos haben.

Mit der WaWi lediglich 1-2x / Monat via JTL "Datenbereinigung". Hab mir jetzt mal das Ergebnis angesehen, von Seite 1:



Knapp 1.3 Mio Zeilen bei tKunde_suche ??? Warum? Was ist mit der? Wir haben doch keine 1.3 Mio Kunden

Gesamtgrösse unserer DB ist nur 1.8GB - also vollkommen in Ordnung, theoretisch. Praktisch leider gross, da wir - aufgrund des Standorts - nur Kinderinternet haben, ist jede Verkleinerung eine Hilfe (wegen Uploads der Backups auf unseren Server).

@wawi-dl
Machst du das leeren deiner Tabellen automatisch oder händisch 1x pro Woche/Monat?

Wärst du bitte so nett, mir deinen SQL Befehl zu posten, mit dem du nach Tagen/Monaten die Logs leerst?

Also schon allein:
ebay_data_feedback_out: 31536 Zeilen -> vollkommen wertlose Information (für mich)
tworkflowlog: 65387 Zeilen.... jo, bin auch der Meinung, hier reichen 1-2 Wochen, der Rest ist vollkommen wertlos

 

[wawi-dl]

@wawi-dl - Dass DU die Datenbank sehr gut kennst ist mir schon klar, mir geht es eher darum, auch Anderen die Möglichkeit aufzuzeigen, nicht unbedingt immer gleich permanent löschen zu müssen, sondern eben auch archivieren zu können.
Was Du zu eBay als permentem "Backup" von deren Messages schreibst, macht natürlich schon Sinn. Ich persönlich würde aber doch immer dafür optieren, die Wawi Logs regelmäßig in CSV Dateien zu archivieren und nur den Rest zu löschen.

Alles gut ... Wenn jemand diese braucht, wovon ich aber nicht zwingend ausgehe.
Alle Infos in diesen Tabellen sind nach paar Tagen unnütz oder können bei eBay eingesehen werden

...
Machst du das leeren deiner Tabellen automatisch oder händisch 1x pro Woche/Monat?

Wärst du bitte so nett, mir deinen SQL Befehl zu posten, mit dem du nach Tagen/Monaten die Logs leerst?
...

Ich mache es teils automatisiert, bei anderen Sachen dann alle paar Monate von Hand, da nicht immer eine Spalte Datum hinterlegt ist.
Die Daten die nun so anfallen, bei 2.500 Aufträgen monatlich ist relativ gering, im Gegensatz zur Datenflut durch Logfiles.
ALLES schön und gut, man sollte aber eine Bereinigung mit implementieren in JTL ... man kann viel Platz sparen.

Ich wollte vorab keine Befehle posten, wollte zunächst mal die JTL-Meinung hören, sonst liest jemand den Beitrag und jemand kommt auf die Idee "ach komm, wir lassen den Befehl mal laufen, wird schon nichts passieren".

Die Tabelle tKunde, das ist eine Art "Indexierung", wir haben auch 75.000 Kundenstämme, aber 600.000 Datenzeilen.
Das liegt daran, dass JTL hier "Suchbegriffe" unterschiedlich zusammensetzt, um eine Performance-Steigerung zu erhalten -> Vor- & Nachname oder Nach- & Vorname etc etc

 

[Petuchov]

Hast du mal versucht über die Logbücher ebay (Globale Einstellungen) zu schauen - was hast Du da ebay/aktuelle Größe /Datensätze?
Immerhin möglich , dass das da drin gespeichert sind

 

[wawi-dl]

Das wurde nach unserem Hinweis implementiert, dass man zumindest nach einer gewissen Zeit Logfiles löschen kann.
War schon eine Abhilfe, aber es gibt ja noch mehr Tabellen, die unsere JTL DB aufblähen, darum die Nachfrage.

Mal sehn ob JTL hierzu irgenwann Auskunft gibt.