Geschwindigkeit beim Webshopabgleich

[maydo]

AW: Geschwindigkeit beim Webshopabgleich

hi,

2x (da zwei Shops) 120.000 Artikel per JTL-Shop2 Schnittstelle sollte nicht länger als eine Std. dauern. Evtl. schcikst du Bilder mit?


Eine Verdoppelung der Uploadgeschwindigkeit bringt ca 40% Geschwindigkeitszuwachs.

Hi,

wie kommst du auf 120.000 Artikel per Stunde ?
Wir schaffen gerade mal mit Mühe und Not ein zehntel davon im JTL Shop 3. Ohne Bilder nur Artikel.

Uploadspeed beträgt 5MBit/sec bei Unitymedia. Wobei nur ein Bruchteil der Uploadbandbreite für den Abgleich (nur Artikel) benutzt wird.

Auch am Mysql kanns nicht liegen. Der trödelt vor sich hin.
(Server: Intel® Xeon® X3440 Quadcore 64 Bit, 4x 2,53 GHz mit 16GB Ram)

Für ca. 120.000 Artikel benötigen wir knapp 10 Stunden am Tag.

An welcher Schraube kann noch gedreht werden ?

 

[McClane]

AW: Geschwindigkeit beim Webshopabgleich

Virenscanner am laufen ?
Firewall mal testweise deaktivieren ?
Windows Defender mal deaktivieren (sofern vorhanden) ?

 

[maydo]

AW: Geschwindigkeit beim Webshopabgleich

Firewall ist deaktiv auch keine Virenscanner Residenter Schutz etc.
Auch kein Win Defender aktiv.

120.000/Stunde ist ein Traum. Mir würde die Hälfte sogar reichen

 

[Janusch]

AW: Geschwindigkeit beim Webshopabgleich

Hallo,

3 Aritkel pro Sek. das ist sehr schlechtes Ergebnis für so einen Server.

Bitte prüfen ob Logging im Shop aktiv ist, das schreiben auf die HDD bremst deutlich aus.
Weiterhin prüfen ob Ressourcensperre aktiv ist. mySQL Configs prüfen, falsch konfigurierter mySQL Server bremst aus.

Die Wawi sendet min. 50 Artikel pro Paket, dieser sollte spät. nach 4 Sek. von so einem Server berbeitet worden sein.

 

[maydo]

AW: Geschwindigkeit beim Webshopabgleich

Logging in Shop ist aus

define("ES_LOGGING", 0);
define("ES_DB_LOGGING", 0);

Die Wawi loggt auch nicht.

Hier ein Auszug aus der my.cnf

key_buffer        = 512M
max_allowed_packet    = 64M
thread_stack        = 1024K
thread_cache_size       = 1024
# This replaces the startup script and checks MyISAM tables if needed
# the first time they are touched
myisam-recover         = BACKUP
max_connections        = 2000
interactive_timeout=60
wait_timeout=100
key_buffer_size=3072M
join_buffer_size = 4M
max_allowed_packet=1M
table_cache            = 4000
thread_concurrency     = 10
sort_buffer_size=12M
read_buffer_size=8M
read_rnd_buffer_size=12M
max_heap_table_size=128M
tmp_table_size=128M
myisam_sort_buffer_size=1024M

load avarage vom server bewegt sich bei 0.50 herum.

 

[maydo]

AW: Geschwindigkeit beim Webshopabgleich

Mit diesen Einstellungen fahren wir zur Zeit (lt. Wawi Log Datei) mit 17sec für 100 Artikel/Paket.

Das wären ca 8sec für 50 Artikel.
Worker sendet mit 100 Artikel/Paket.

Immer noch weit entfernt von max. 4sec für 50 Artikel

 

[McClane]

AW: Geschwindigkeit beim Webshopabgleich

Ich denke generell kommt es auf die eingesetzt Hardware an.
Und zwar nicht nur beim Server der den Shop darstellt, sondern auch beim WaWi Server.

Die Bindung WaWi - Shop (von JTL) ist von JTL schon fast "optimal" optimiert.
Über die Connectoren kann man hier mit fremd Shopsystemen nicht wirklich mithalten, da ältere Schnittstellen benutzt werden.

Es ist natürlich auch eine "Geldbeutel" Frage.
Ok - Wer 120.000 Artikel als sein Stammsortiment betrachtet, da werden 250 Euro im Monat für Shop/WaWi nicht schmerzen.

Beispiel:
2 x Dedicated Server SSDplus von Strato
= AMD Opteron 1385
= 4 x 2,7 GHz
= 8 GB RAM (kann man auch auf 16 GB und 32 GB aufrüsten, man muss nur mit Strato reden - das ist kein Problem)
= 160 GB Intel SSD X-25M


- 1 x Linux für Webshop
- 1 x Windows für Warenwirtschaft

1 x STRATO ProNet VLAN 1 Gbit


Alles optimal eingestellt hämmerst du deine 120.000 Artikel in maximal 40 Minuten in deinen Shop. (eher noch schneller).

Es kommt eben auf die Hardware an.
Btw würde ich bei 120.000 Artikel mindestens einen eignene WaWi Server online schalten mit mindestens einer 100 MBit Anbindung zum Shop.

Da sollt Ihr mal sehen was Ihr an Zeit spart.


MfG :biggrin:

 

[maydo]

AW: Geschwindigkeit beim Webshopabgleich

SSD setzen wir hier im Hause auf dem WAWI Rechner schon ein.
Ameise liest ca. 80.000/5Min ein.
Die Zeitkonstelation vom Einlesen zum Webshopabgleich passt hier einfach nicht.

Die Idee mit der WAWI DB Online stellen wird die vernünftigste Lösung sein. Am besten im selben Rechenzentrum noch einen Windows Rechner Online gestellt.

Die WAWI DB auf einem Debian Rechner (evtl MySql) zu betreiben wird wohl nicht möglich sein ?

 

[McClane]

AW: Geschwindigkeit beim Webshopabgleich

Die Wawi braucht den Microsoft SQL Server.

 

[maydo]

AW: Geschwindigkeit beim Webshopabgleich

Die Wawi sendet min. 50 Artikel pro Paket, dieser sollte spät. nach 4 Sek. von so einem Server berbeitet worden sein.

Die Wawi sendet derzeit 100 Artikel per Paket.

Ist es möglich diese Menge anzupassen ? Auf 200 oder 500 zu gehen. Der Webserver sollte es locker schaffen.

 

[MKA]

AW: Geschwindigkeit beim Webshopabgleich

Die Wawi sendet derzeit 100 Artikel per Paket.

Ist es möglich diese Menge anzupassen ? Auf 200 oder 500 zu gehen. Der Webserver sollte es locker schaffen.

Hallo warum dauert der Shopabgleich mehr wie drei stunden und das jeden Tag obwohl nur wenige Daten geändert werden müssen

 

[Janusch]

AW: Geschwindigkeit beim Webshopabgleich

Da werde mehrere Infos benötigt. v.a. was verändert wird und wie?

Wie wird der Abgleich mit Webshop gemacht?

 

[thuhn01]

AW: Geschwindigkeit beim Webshopabgleich

Hallo warum dauert der Shopabgleich mehr wie drei stunden und das jeden Tag obwohl nur wenige Daten geändert werden müssen

Also bei mir dauert der Abgleich auch immer ca. 3-6 Stunden obwohl es nur 45.000 Artikel sind und die Rechner über GBit direkt verbunden sind.
Laut Netzwerkauslastung kommt aber kaum was rüber, daher wohl die lange Bearbeitungsszeit.

(Logisch gesehen) Am schnellsten wäre der Abgleich wenn die WAWI ein Backup-Script im MySQL Format erstellen würde, dieses als ZIP zusamme packt, per FTP an den Host sendet und dann mit einer kurzen Restore Routine dort einliest.
Ich tippe hier auf Raten weit jenseits der 500 Artikel/sec.