Neu Neuer Server für kleines Unternehmen

[ple]

Kleiner Nachtrag.
Die Elitedesk haben wohl einen intel nic e1000e eingebaut. Mit aktuellen Proxmox schaltet die NIC einfach mal ab und ist nicht mehr im Netzwerk. Ethernetkabel ziehen und wieder dran behebt das wieder, aber kann man produktiv nicht einsetzen. Sind wohl Treiberprobleme im aktuellen Kernel oder so. Fällt einen ja erst auf, wenn man danach googelt.
https://forum.proxmox.com/threads/e1000-driver-hang.58284/
Ich habe mir einen weiteren NIC eingebaut, das läuft jetzt soweit.

Ansonsten teste ich gerade folgendes.
Enterprise SSD für Proxmox selber.
2 x 1tb Enterprise SSD als ZFS Pool für VM`s, CT`s.
Proxmox Backupserver läuft weiterhin mit und Datenbank wird noch in die Cloud gesichert.
Hoffe das reicht erst mal und ich kann ruhig schlafen.


Kleiner Nachtrag noch:
Ich habe gerade mal den ersten miniPC mit einen Intel N100 aufgesetzt. Glaube damals hat der irgendwas um die 110€ gekostet, aktuell natürlich mehr, die Rampreise gehen ja durch die Decke.
Naja, Ich muss sagen, der minipc als Client, der sich über Lan mit der Datenbank verbindet, ist nichts langsamer als mein anderer Client mit Intel i5-8600.
Vorteil von den mini Dinger, Windows 11pro war direkt mit dabei.
Heute Mittag bau ich den mal im Laden auf. Dort habe ich mal eine Site to Site Verbindung nach Hause mit Netbird aufgebaut, mal schauen wie hoch der Ping dann so ist.
Als nächstes dann mal eine Site to Site über Unifi versuchen am stehen zu bekommen, wobei ich schon gelesen habe, dass mindestens ein Gateway eine öffentliche IPv4 braucht ;-(

Gruß

 

[sjk]

Weil ich hier immer wieder lese, dass man sich von der gefühlten Komplexität von Virtualisierung abschrecken lässt:
Ich hab gestern unsere jährliche Stressübung durchgespielt ("Host & Cold spare komplett im Eimer"). Von Proxmox Iso runterladen, irgendeine ungenutzte Box aus dem Schrank ziehen, Proxmox installieren, PBS (Proxmox Backup Server) verbinden bis zu Server VM & RDP VM wiederhergestellt, lag ich bei 30 Minuten.

Proxmox rennt bei uns jetzt seit drei Jahren ohne Aussetzer. Am Anfang hatten wir ein komplexes Setup mit mehreren Nodes im Cluster. Das hab ich vor einem Jahr extrem vereinfacht. Alles läuft auf einem Host. Außer Backups, Notifications, Storage, iGPU Split nichts groß konfiguriert. Und auch der Host selbst total simpel. Intel mit iGPU, zwei 2TB NVME im ZFS RAID1, 96GB Ram, 2x 10G Nic.

Der alte Server steht als vorkonfigurierte Einzelnode im Schrank. VMs kann ich trotzdem dazwischen verschieben, mit dem neuen Datacenter Manager.
Doku für die komplette Installation und Konfig <5 Seiten.
Backups mit dem Proxmox Backup Server (bei uns ein N100) super schnell und easy. Die SQL VM wird sogar stündlich gesichert und selbst ein kürzeres Intervall wäre kein Problem.
Ein zweiter PBS loggt sich von off-site beim ersten ein und zieht sich die Backups raus. Die werden also nicht gepushed, und der zweite PBS ist aus dem lokalen Netz gar nicht erreichbar. Im Idealfall würde uns das vor dem Ransomware worst case schützen.
Neue Hardware? Proxmox neu aufsetzen in 20min, dann entweder live migrieren mit Datacenter Manager oder PBS verbinden und Backups wiederherstellen.
Wartungsaufwand? In den letzten 12 Monaten bei uns 1x Update klicken und gestern 1x 45min das Major Version Upgrade von v8 auf v9 plus Backups/Wiederherstellung testen.

Was ich damit sagen will ist, Proxmox ist einfacher als man denkt. Setzt euch mal einen auf nen alten PC auf. Installiert mal was kleines, Grafana oder so. Spielt bisschen rum. Backup Server geht zum testen auch gut als VM. Und, verschwindet nicht im rabbit hole eines komplizierten Setups. KISS!

Zum Schluss: Die Proxmox Doku ist EXTREM gut! Es wird zwar i.d.R. die cmd line beschrieben, aber in der GUI ist alles gleich benannt und aufgebaut.

 

[ple]

Ich find Proxmox super, genau wegen der schnellen Wiederherstellung oder Snapshots, mal eben was kaputtmachen und wieder zurückspielen.
Das mit dem Intel e1000e war jetzt nervig, aber konnte ich auch noch umschiffen.
Welche SSD setzt du ein? Enterprise oder Consumer? ZFS soll ja bei Consumer ssd nicht so toll sein.

 

[sjk]

Hatte lange überlegt und dann doch wieder zur Samsung 990 Pro 2TB gegriffen. Wearout liegt nach ziemlich genau einem Jahr bei gerade mal 2 % (Nur eine Node im Cluster zu haben spart, ich vermute, sehr viel IO). Performance stimmt auch, SSDs sind nie das bottleneck bei uns und IO wait ist quasi nicht existent (ca. 15 VMs/CTs) und <10 User.

Man kann halt abwägen:
Power Loss Prevention mit Kondensatoren: Wir haben eine USV, nutzen keinen Cache in den VM-Harddrives und im absoluten worst case tut uns eine Stunde Datenverlust bei einer Komplett-Wiederherstellung nicht weh. Das ganze PLP Thema ist meines Erachtens sowieso mittlerweile überbewertet. Es hat sich viel getan bei der Speicherfirmware und auch bei Filesystems. M. E. nur noch relevant wenn man write back caches u.ä. nutzt oder das Ausfallrisiko seehr teuer ist.
Stabilere Performance: Günstige SSDs knicken oft bis zur Unbenutzbarkeit ein sobald der (kleine) Cache voll geschrieben ist. Enterprise SSDs sind da ne ganz andere Nummer, die pflügen einfach durch. Die gibts auch optimiert für bestimmte Anwendungsfälle (mehr read, mehr write, random vs sequenzelle Zugriffe) Aber die Dinger aus dem Prosumer-Bereich sind da auch stabil und für das allermeiste völlig ausreichend.
Ausdauer: Naja, Enterprise SSDs sind halt nie fertig. Aber auch hier, Prosumer mit hoher Kapazität (2TB+) haben mittlerweile auch gute TBW Werte. Die 990 Pro 2TB beispielsweise 1.200TB, wir haben nach einem Jahr jetzt 17TB geschrieben. Nach 5 Jahren kommt eh ein neuer Server, und dann wandern die alten Platten bei uns weiter in die PBS.

TLDR: Wenn man überlegen muss, ob Enterprise SSDs den Aufpreis wert sind, dann braucht man die sehr wahrscheinlich nicht.
Kauf von der Differenz lieber eine gute USV und zwei PBS. Sicher die wichtigsten Services stündlich weg, setz den zweiten PBS irgendwo Remote. Riegel den remote PBS in der Firewall so ab, dass er aus dem remote Netz ins lokale kommt, aus dem lokalen Netz aber nur für return traffic erreicht werden kann. Dann pull sync job vom remote PBS auf den lokalen.

 

[TDS2018]

Ich habe damals meine VM's auf XCP-ng installiert und bereue es bis zum heutigen Tag nicht. Proxmox habe ich versucht, aber es kam mir für meine Anwendung etwas zu komplex vor. Oder es lag daran, daß ich das einfachere XCP-NG (das vom XenServer enstand) zuerst in die Finger bekommen habe. Den einzigen Fehler, den ich machte war, das OS auf die gleiche SSD zu installieren, wo ich das SR mit meinen VM's hatte. Jetzt habe ich eine alte 256 GB SSD für das OS und die SR's auf separaten SSD. Demnächst kommt noch ein Controller mit 2x NVME, die ich redundant für meine VM's konfigurieren werde. Dann müßte das erstellen und verschieben der VM's noch schneller gehen. Die Backups mache ich derzeit mit XO (Xen Orchestra), aber demnächst kommt ein LSI MegaRAID 9400-16i zum Einsatz mit 8x SAS 6TB Festplatten, auf die ich mit einer in einer VM installierten TruenNAS Scale ein ZFS Raid10 einrichte. Die 2x E5-2696 v4 schnurren vor sich hin und werden mit Wasserkühlung bei 30C bei Laune gehalten. Es war schon immer mein Wunsch, mich von der Cloud unabhängig zu machen und jetzt habe ich es geschafft

Ach ja, weshalb ich es schreibe, weil wir es hier mit der JTL-Wawi zu tun haben: Mein SQL Express läuft in einer Ubuntu VM ich glaube seit 5 Jahren fehlerfrei. Ich schmunzele auch heute noch darüber, daß JTL diese eigentich simple und wenig anspruchsvolle betreffend der Hardware Lösung nicht verfolgt und immer noch nur im Windows-Stream schwimmt.

 

[ple]

Wearout liegt nach ziemlich genau einem Jahr bei gerade mal 2 % (

Kurze Frage noch, laufen deine Samsung 2TB als ZSF Pool? Angeblich soll ja der io so hoch sein, dass die schnell verschleißen, aber keine Ahnung ob das wirklich so ist. Wenn die dann bei 2 VM nur 5 Jahre halten, dann ist ja alles gut soweit. Dann würden auch neue reinkommen und fertig.
Ich wollte da keine Raketenwissenschaft raus machen, Wenn mal der Betrieb für einen halben Tag ausfällt, dann ist das so. Solange ich Backups in der PBS habe ist die Welt noch in Ordnung

 

[sjk]

Ja genau, ZFS Pool mit ashift=12 und ARC size=10% des RAMs (alles Standard bei neuen Proxmox-Installationen). Dazu hab ich noch die HA daemon services deaktiviert.

ZFS verursacht etwas mehr IO als andere filesystems, aber nicht in dem Ausmass. Wir haben unseren neuen Server ja als Einzelnode aufgesetzt (dank dem neuen Datacenter Manager kein Problem). Im neuen Setup ist die relative Abnutzung etwas geringer, als im alten. Ob das daran liegt, dass kein permanenter Sync mit anderen Nodes stattfindet, oder neueres Proxmox sich sparsamer verhält, oder die neue Hardware anders zusammenspielt, kann ich nicht sagen.

Wenn du dich da bisschen mehr einliest wirst du schnell auf write amplification kommen, das bei CoW-filesystems aus dem Ruder laufen kann. Das liegt meist an komischen Kombinationen von Blockgrößen auf Dateisystemebene oder an CoW-on-CoW, wenn also ZFS auf dem Host sowie nochmal ZFS in 20 VMs darauf läuft, was die copy on write Vorgänge multipliziert.

Ich würde mir da bei nem einfachen Setup keine Gedanken machen (Mirror auf dem Host und raw disks für die VMs). Selbst wenn sich in eurem Setup was anderes herausstellen würde und der wearout durch die Decke ginge, dann machst du mal an nem Abend Backups, den Proxmox Host platt und setzt den neu auf ohne ZFS.

Ich kann es nur empfehlen. Gerade die Snapshots sind super bequem wenn man an was basteln muss.