Gelöst Datenbank-Felder werden vom Connector gelöscht

[bork]

Hallo,

wir kämpfen immer noch mit dem Problem, dass der Connector offenbar bei der Synchronisation teilweise ganze Datenbank-Zeilen komplett löscht oder leert, z.B.:

- Zusätzliche Suchbegriffe:
In Gambio werden ja von JTL nicht unterstützt, da sie in JTL einsprachig und in Gambio mehrsprachig sind. Trotzdem leert der Connector beim Produkt-Upload das Feld in allen Sprachen einfach aus.

- Zweite Kategoriebeschreibung:
Wir haben durch eine Modifikation noch eine weitere Spalte categories_description2, die es in der Standardinstallation ja gar nicht gibt und die der JTL Connector daher auch nicht ansprechen dürfte. Sobald wir an einer Kategorie was ändern, wird das Feld geleert.

Ich weiß nicht ob da noch mehr Felder von betroffen sind. Mehr sind mir noch nicht aufgefallen abgesehen von den wesentlichen Produktmerkmalen (Button-Gesetz, products_description.checkout_information), die Herr Hoffmann ja freundlicherweise schon nachintegriert hat.

Mir geht es nur darum, Datenverlust zu vermeiden, nicht darum, diese Felder auf Teufel komm raus in die Synchronisation einzubinden. Muss man da den Update-Befehl für z.B. die categories_description eingrenzen auf die Felder, die tatsächlich synchronisiert werden?

Danke vorab und VG
Bork

 

[daniel.jtl]

AW: Datenbank-Felder werden vom Connector gelöscht

Das Problem liegt in der Datenstruktur von Gambio. Die Übersetzungs- bzw. Beschreibungs-Tabellen haben keine eindeutige ID.
Damit keine Daten-Leichen bei einem Update verbleiben, müssen alle Einträge zu einem Artikel erst gelöscht und dann neu angelegt werden.
Würde man das nicht machen und lediglich updaten, wäre es nicht möglich zuverlässig nachzuhalten welche Einträge entfernt werden können.

 

[bork]

AW: Datenbank-Felder werden vom Connector gelöscht

Hallo,
also müssen sich Gambio-Shopbetreiber an den Gambio Support wenden, wenn diese beiden Optionen ausscheiden:

a) nur Preise und Bestände zu synchronisieren statt die kompletten Artikel und
b) bei jeder Sync mit einem Datenverlust zu leben

Richtig?

 

[daniel.jtl]

AW: Datenbank-Felder werden vom Connector gelöscht

Technisch wäre es noch möglich, indem man während dem Abgleich den bisherigen Datenbestand zwischenspeichert, und dann mit den neuen Daten die Differenz bildet.
Der eine Teil müsste dann zum updaten zusammengeführt werden, der Bestandteil der bei den neuen Daten nicht dabei war müsste dann gelöscht werden.
Das ist aber eine Sache die extrem komplex ist und vor allem aufgrund der vielen Abgleiche, Datenbank-Abfragen und Berechnungen sehr hohe Ansprüche an die Server-Ressourcen setzt.
Ich bin diese Sache derzeit am testen, das wird aber sicherlich aufgrund der Anforderungen nicht auf jedem Billig-Webspace lauffähig sein.

 

[bork]

AW: Datenbank-Felder werden vom Connector gelöscht

Danke schonmal für die Bereitschaft, sich das nochmal anzusehen. Ich habe Gambio auch nochmal unterrichtet - vielleicht haben die ja auch noch eine Idee, wie sie von ihrer Seite aus helfen können.

 

[testjo]

AW: Datenbank-Felder werden vom Connector gelöscht

OK dieser problem ist aber sehr alt und gibt/gab auch wen man dort inkonsistenzen in hat öfter probs beim updates von den Shopsoftware und oder plugins, und nicht vergessen mit imports / exports!

Deswegen ein par TIPS:
Wen man weiss:
Dass den ein oder andere Sprache nicht von anfang drin war, dan soll man alles prüfen.
Dass den ein oder andere Sprach mall deinstalled und neu installed war dan soll man prüfen. (weil den Sprach id die vorher mal IDx war ist dan vielleicht IDy geworden).
Dass wen man mit mehrerer Sprachen aber felder leergelassen ( wo auch immer produkt, kategorie, versand was auch immer) hat, die nicht leer sein sollten da soll man prüfen.

So mit dieser Tips könnte man ggf in den Tabellen selbe nachsehen und nachbessern, vorab backup, weil nicht alles ist komplex, mit sql un falsche sprachid filtern und richtig setzen soll zum beispiel nicht so schwierig sein.

 

[bork]

AW: Datenbank-Felder werden vom Connector gelöscht

Hallo testjo,

danke für den Hinweis. Damit kann man einmalig auftretende Probleme durch einen Shopwechsel oder neue Sprachen sicherlich gut lösen, aber hier sprechen wir ja von einem Problem, das tagtäglich im laufenden Betrieb auftritt.

VG

 

[testjo]

AW: Datenbank-Felder werden vom Connector gelöscht

Hallo testjo,

danke für den Hinweis. Damit kann man einmalig auftretende Probleme durch einen Shopwechsel oder neue Sprachen sicherlich gut lösen, aber hier sprechen wir ja von einem Problem, das tagtäglich im laufenden Betrieb auftritt.

VG

YEp weis ich aber da mehr hier den Support Forum lesen und dan vielleicht vorab also vor wechsel hier dan gehen können wen gewarnt worden ist.

Weiter vielleicht gibt es auch bei dir, auserhalb leeren felder, nicht mehr gültige sprachid's irgendwo, die kan man ja im Datenbank dan suchen.

Wieviel Sprachen sind Aktiv und welhce ID hat welche Sprache, es gab zum beispiel mall ein umsetzung von:
EN die war beim einige id2 dan wegen WAWI's und CO auf ID1
DE damit von den ID1 nach ID2

Und vielleicht schlimmer wen EN den ID3 oder was auch immer >3 hat und vorher mit ein anderer oder eben leer beim zuweisung von etwas in ein anderer tabelle. ( Lieferstatus <> sprach/lang id . zum beispiel)

Da kamen so einige inkonstenzen mit. Die man aber im datenbank durchaus ( ok alles vorab backuppen) beheben lässt.
Leere felden auch aber ist etwas Komplexer und vielleicht dieser erst in einem export versuchen zu finden/lokaliseren, ggf ein csv, ein indiz hasst Du ja beim welche Produkten / Sachen es auftrit is dir bereits bekannt. ( wegen den fehler)


Was manchmall auch hilfen kan bei solche ist neuinstall in ( shop)test, dan den export von altes, hier neu importieren, wen man dies richtig macht wo leere werten dan etwas richtiges gesetzt werdet, und man dieser allen vorab im den export und so weiter falsche sprachid's ersetzt hat durch richtige. ( damit kan man ja testen ob man dazu ein testwawi/testmandant einrichten soll und ein testconnector lizenz beantragen) weil dies braucht man nicht im produktiv system zu machen

 

[testjo]

AW: Datenbank-Felder werden vom Connector gelöscht

Letzte teil
Dies ist also um den Shop Datenbank erstmals richtig zu bereinigen und alles zuweisen. Dan weiss man wo es hakt und welche Vorgang besser sein würde, kostet auch zeit aber weil nicht in produktiv Umgebung vielleicht weniger nerven.

Zum connector JTL es kommt hoffentlich schnell die abfrage / Kontrolle drin wen etwas nicht da oder vielleicht falsch , mache irgendeine gesetzte festgelegtes default wert drin. ? (oder mindestens ein log datei davon)
( Normal macht software beim import solches und damit kan man dan nachsehen und nachbessern) oder?
Ist immerhin mitarbeiten an einer lösung in stat finger weisen dass ist dein oder dein shopsoftware fehler. vielleicht noch einfacher dan dieser http://forum.jtl-software.de/gambio...erden-vom-connector-geloescht.html#post488364 ??

Damit kan man sehr einfach so einiges beheben auch nachher

 

[testjo]

AW: Datenbank-Felder werden vom Connector gelöscht

Ich meine da es fehler immer geben können soll man nicht abgeben auf den anderer aber zu einer behebung davon mitarbeiten

JTL macht selbe auch fehler ( aus vergangeheit) wodurch etwas beim software ja oder nein Benutzer fehler ursache nachher nicht lauft so wie dieser update als beispiel http://forum.jtl-software.de/instal...update-von-1-0-6-zu-1-0-9-1-a.html#post488478 werdet auch behoben. (muss man auch nicht alles neu machen/wegschmeissen)

 

[bork]

AW: Datenbank-Felder werden vom Connector gelöscht

Verstehe ich die Mapper/Category.php in Zeile 94 so richtig? Es wird gar nicht unterschieden ob die Kategorie upgedatet oder gelöscht werden soll, sie wird grundsätzlich gelöscht und dann wenn nötig neu hinzugefügt? Wenn das so ist, stellt uns das zusätzlich zum Datenverlust vor das Problem, dass sich bei jeder Synchronisation unsere Kategorie-URLs ändern, weil die categories_id in unseren URLs enthalten ist. Das ist der SEO-Supergau. Oder wird nur die categories_description gelöscht und beim Neuanlegen wird die bestehende categories_id aus der Tabelle categories übernommen?

Ich würde ja sagen, dass man hier mit einer unterschiedlichen Behandlung von Kategorien (Update oder Delete) je nachdem ob sie gelöscht oder nur verändert werden sollen gleich zwei Fliegen mit einer Klappe schlägt:
1) Das grundsätzliche Problem des Datenverlusts bei Feldern, die die JTL nicht anspricht, verhindern
2) Konstante Categories_IDs, die sicherlich auch für Drittanwendungen (z.B. Kategorie-Mapping für Exporte zu Marktplätzen und Preisvergleichen) total wichtig sind

Wären doch vermutlich nur 3-5 Zeilen Code mehr, oder?

Um es vorwegzunehmen: Das Problem der Dateninkonsistenz, das mit dieser Lösung verbunden sein soll, verstehe ich nicht. In welchem Szenario verursacht das Probleme?

 

[daniel.jtl]

AW: Datenbank-Felder werden vom Connector gelöscht

Die Haupt-Datensätze werden wenn möglich auch geupdated. Das funktioniert da es hier eindeutige Primärschlüssel gibt.
Die Description-Tabellen jedoch, haben keinen Primärschlüssel. Einträge hier werden grundsätzlich erst gelöscht und dann neu angelegt, da der Connector die gesamten Daten eines Artikels oder einer Kategorie in einem Satz schickt.
Es werden nicht für jedes kleinste und einzelne Unterelement separate Lösch oder Update Befehle gesendet, das wäre technisch absolut unmöglich.
Damit keine Daten-Leichen in der DB verbleiben, müssen die Einträge daher immer zuerst entfernt werden.

 

[bork]

AW: Datenbank-Felder werden vom Connector gelöscht

Die Description-Tabellen jedoch, haben keinen Primärschlüssel. Einträge hier werden grundsätzlich erst gelöscht und dann neu angelegt, da der Connector die gesamten Daten eines Artikels oder einer Kategorie in einem Satz schickt.

Mir sieht es aber doch danach aus, als hätte die categories_description Primärschlüssel. Ist das nicht das etwas ausgegraute Schlüssel-Symbol, dass ein Schlüssel gesetzt ist?

Es werden nicht für jedes kleinste und einzelne Unterelement separate Lösch oder Update Befehle gesendet, das wäre technisch absolut unmöglich.
Damit keine Daten-Leichen in der DB verbleiben, müssen die Einträge daher immer zuerst entfernt werden.

Aufwändig sicherlich, technisch unmöglich? Da würde ich es eher wie Toyota in ihrer Werbung halten. Aber ein erster Schritt wäre ja schonmal, nur die Felder anzusprechen, die die JTL Wawi auch tatsächlich bedient. Also statt

$this->db->query('DELETE FROM categories_description WHERE categories_id='.$id);

vielleicht eher vorher dynamisch abfragen, welche Felder vom JTL Connector überhaupt zur Sync vorgesehen sind. Oder als statische Lösung nur die Gambio-Standardfelder:

$this->db->query('update categories_description set language_id=x, categories_name=y, categories_heading_title=a, categories_description=b, categories_meta_title=c, categories_meta_description=d, categories_meta_keywords=e, gm_alt_text,gm_url_keywords=f WHERE categories_id='.$id);

Dann sind alle möglichen Standard-Felder aus der Tabelle angesprochen, und bei Erweiterungen muss sich der Shopbetreiber selbst drum kümmern. Da sind "Daten-Leichen" sicherlich verantwortbarer als ein Datenverlust, oder sehe ich das falsch?

 

[daniel.jtl]

AW: Datenbank-Felder werden vom Connector gelöscht

Aufwändig sicherlich, technisch unmöglich?[/PHP]
Bei den Daten-Massen die transferiert werden ist das schlicht nicht pratikabel umsetzbar. Selbst noch so groß dimensionierte Server würden da das zeitliche segnen, wenn jedes noch so kleine Feld separat mittels insert, update oder delete angesteuert werden müsste. Ganz davon abgesehen dass man auf diese Weise eine unüberschaubare Menge zusätzlicher potentieller Fehlerquellen verursachen würde.

Da sind "Daten-Leichen" sicherlich verantwortbarer als ein Datenverlust, oder sehe ich das falsch?

Mal als Extrem-Beispiel: Was meinst du denn wie die Shop-DB aussieht, wenn ich einen Shop mit 3 Sprachen und 10000 Artikeln zzgl. Varkombis etc. in der Wawi habe und dann eine Sprache lösche? Bei deiner Vorgehensweise wäre nach nur einem Abgleich auf der Stelle deine gesamte DB inkonsistent, und du hättest hundertausende Zeilen an Datenleichen die wiederum auf nicht mehr existente Sprach-IDs verweisen. Je nach Komplexität und Daten-Menge schaukelt sich dieses Problem bei jedem weiteren Abgleich exponentiell hoch. Ich denke nicht dass das eine vertretbare und sinnvolle Lösung ist.

Da du bereits den Quellcode gesichtet hast, kannst du die Änderungen je gerne mal bei dir vornehmen.
Ich versichere dir aber, dass du dann in kürzester Zeit die Problematik der Sache erkennen wirst.

 

[testjo]

AW: Datenbank-Felder werden vom Connector gelöscht

Leichen soll man aber nett begraben, oder andersweilig richtig entsorgen! Fuerbesttattung was auch immer.

 

[bork]

AW: Datenbank-Felder werden vom Connector gelöscht

Da du bereits den Quellcode gesichtet hast, kannst du die Änderungen je gerne mal bei dir vornehmen.
Ich versichere dir aber, dass du dann in kürzester Zeit die Problematik der Sache erkennen wirst.

Ja, das werde ich mal testen. Ich kann mir gar nicht vorstellen, dass wir mal in die Verdrückung kommen, eine Sprache zu löschen - die würden wir im Zweifelsfall im Gambio Admin einfach offline setzen. Wenn ich mich recht erinnere, werden ohnehin beim Löschen einer Sprache über den Gambio Admin Datenbank-weit alle sprachspezifischen Einträge gelöscht, so dass dein Szenario gar nicht eintritt. Ich lasse das aber von Gambio vorsichtshalber nochmal bestätigen.

Da ich mich mit dem Plugin-System nicht auskenne (und es auch keine Doku gibt bisher, oder?) werden wir das Plugin zur Umwandlung des DELETE und INSERT zu UPDATE wohl extern programmieren lassen müssen. Bis dahin wollen wir jetzt 3 Monate nach dem Kauf endlich den Connector in Betrieb nehmen, aber dann halt nur mit der Option "Preise und Bestände uploaden", damit wir den oben beschriebenen Datenverlust nicht hinnehmen müssen. Deshalb müssen wir vorerst Artikel in Gambio anlegen und dann in die JTL importieren, richtig? Problem dabei: Wie bekommen wir nachträgliche Änderungen am Artikel aus Gambio in die JTL? Konkret habe ich hier nachträglich hinzugefügte bzw. geänderte Variationskombinationen, die bei der Synchronisation nicht als neu erkannt werden. Auch geänderte Artikel ohne Variationskombis werden anscheinend nicht aktualisiert - habe das mal anhand einer geänderten Artikelnummer getestet. Bitte um Anleitung.

Danke,
bork

Edit: Ich würde ja als Laie darauf tippen, dass bei einer Artikeländerung der Eintrag für die products_id des Artikel in der jtl_connecter_link gelöscht werden müsste?

 

[bork]

AW: Datenbank-Felder werden vom Connector gelöscht

Edit: Das habe ich jetzt probiert: EndpointId = products_id und type = 64 aus der jtl_connector_link gelöscht. Dann wird beim nächsten Sync der Artikel neu in die JTL geladen, aber leider ganz ohne Variationskombinationen. Was tun?

 

[daniel.jtl]

AW: Datenbank-Felder werden vom Connector gelöscht

Ich kann mir gar nicht vorstellen, dass wir mal in die Verdrückung kommen, eine Sprache zu löschen - die würden wir im Zweifelsfall im Gambio Admin einfach offline setzen.

Auch wenn das in deinem Fall dann so sein mag, können wir das aber so natürlich leider nicht als generelle Empfehlung und Vorgehensweise machen, und deswegen dann nicht mehr gültige Daten einfach in der DB liegen lassen.

Edit: Ich würde ja als Laie darauf tippen, dass bei einer Artikeländerung der Eintrag für die products_id des Artikel in der jtl_connecter_link gelöscht werden müsste?

Das ist richtig, wenn in der Link-Tabelle kein zugehöriger Eintrag vorhanden ist, wird die Wawi diesen neu ziehen. Dabei ist aber zu bedenken, dass nur die Daten in der Wawi aktualisiert werden die es noch nicht gibt. Da die Wawi führend ist werden auch bei einem erneuten Abgleich keine Daten aktualisiert/überschrieben die bereits vorhanden sind.

Bezüglich Varkombis: Diese werden als eigenständige Artikel behandelt, und bekommen daher zusammengesetzt EndpointIds aus der Produkt ID und der Combis ID getrennt durch einen Unterstrich.

 

[tpuehri]

AW: Datenbank-Felder werden vom Connector gelöscht

Wir haben in allen unseren Artikeln für deutsch und englisch zusätzliche Suchbegriffe.
Diese wollen wir natürlich bei der Artikelpflege über JTL nicht verlieren!!!!
Eigentlich wollten wir die gesamte Artikelpflege über JTL machen. Müssen wir jetzt drauf verzichten?????
Wie ist da derzeit der Status. Uns würde es schon vorerst reichen wenn die Suchbegriffe der Standardsprache übernommen werden oder wenigsten die Suchbegriffe nicht aus Gambio gelöscht werden. Das zerstört doch unsere ganze Arbeit (wichtig auch für Produktsuche der Kunden)
Es muss hier zumindest bei den Suchbegriffen eine Ausnahme von der Löschung geben!!!!!!!!
Wie können wir hier weiter vorgehen?

 

[bork]

AW: Datenbank-Felder werden vom Connector gelöscht

Es muss hier zumindest bei den Suchbegriffen eine Ausnahme von der Löschung geben!!!!!!!!
Wie können wir hier weiter vorgehen?

Das ist eine Sackgasse: Der Datenverlust ist JTL bekannt, und er ist gewünscht, um die Datenintegrität aufrecht zu erhalten (wobei das irgendwie auch paradox ist). Die Daten beim Abgleich nicht zu Löschen ist "technisch absolut unmöglich", sagt JTL: http://forum.jtl-software.de/gambio...erden-vom-connector-geloescht.html#post489574

Dann kann man nur überlegen, ob man die entsprechenden zugesicherten Funktionen nicht nutzt oder den Verlust in Kauf nimmt. Oder ein JTL Servicepartner schreibt einem das um...