/ EUR
Sie haben in Ihren Servern schnelle NVMe-Festplatten, aber jede davon ist an eine einzige Maschine gebunden – und wenn der einen der Platz ausgeht und die andere ihn im Überfluss hat, lässt sich das nicht umschichten. NVMe-oF (NVMe over Fabrics) löst genau dieses Problem: Es erlaubt einem Server, über das Netzwerk auf NVMe-Festplatten zuzugreifen, als säßen sie lokal in ihm – mit einer Latenz, die in Mikrosekunden statt Millisekunden gemessen wird.
Kurz gesagt, es ist ein Weg, den schnellen Flash von einem einzelnen Server zu lösen und ihn der gesamten Infrastruktur bereitzustellen. Nachfolgend erklären wir, wie das funktioniert, worin es sich vom gewöhnlichen NVMe unterscheidet, welche Netzwerkvarianten infrage kommen und was es real kostet – ohne die Nachteile schönzureden.
Was verbirgt sich eigentlich hinter der Abkürzung NVMe-oF?
Beginnen wir mit dem, was die meisten Menschen überrascht: NVMe-oF ist kein neues Protokoll. Es ist eine Erweiterung desselben NVMe, das Sie von den SSD-Festplatten im Server kennen, auf ein externes Netzwerk – Fabric genannt. Die Normungsorganisation (NVM Express) definiert es direkt als NVMe, das über einen anderen Transport als PCI Express läuft.
Wie sehr „dasselbe"? Etwa 90 % des NVMe-over-Fabrics-Protokolls sind mit lokalem NVMe identisch – dieselben Namensräume, I/O- und Administrationsbefehle, die Ereignisbehandlung. Der Unterschied läuft auf die Art hinaus, wie die Befehle über das Netzwerk statt über den PCIe-Bus reisen. Dadurch sieht das Betriebssystem eine entfernte Festplatte fast genauso wie eine lokale, was Bereitstellung und Betrieb vereinfacht.
Warum ist das schneller als der alte Netzwerk-Storage?
Hier liegt der Kern der ganzen Sache. Klassischer Netzwerk-Storage über iSCSI hat eine Latenz, die üblicherweise 4–5 Mal höher ist als der direkte Zugriff auf lokalen Speicher. Für eine Datenbank oder eine Virtualisierungsumgebung ist das der Unterschied zwischen „läuft flüssig" und „hakt merklich". NVMe-oF wurde genau dazu entworfen, diese Kluft zu schließen.
Das Ausmaß der Verbesserung beeindruckt. Die Designannahme besagt, dass das Fabric-Netzwerk selbst nicht mehr als 10 µs Latenz hinzufügen soll. Erste Implementierungen erreichten etwa 100 µs, wie vom Host wahrgenommen, und die nächste Generation ging auf 20–25 µs herunter. Unten sieht man diesen Fortschritt neben dem Ausgangspunkt, also iSCSI:
Die Latenz sinkt um eine Größenordnung gegenüber klassischem iSCSI. Richtwerte, auf Basis von Daten von NVM Express.
Wozu ist das real nützlich?
Der größte Nutzen ist organisatorisch, nicht nur technisch. Viele NVMe-Implementierungen setzten auf Festplatten, die über PCIe an einen einzigen Server angebunden waren, wodurch der teure, schnelle Flash in einzelnen Maschinen gefangen und schlecht ausgelastet war – in der Branche spricht man direkt von „Stranded Flash". NVMe-oF erlaubt es, diese Ressourcen zu einem gemeinsamen Pool zusammenzufassen, den viele Server gleichzeitig nutzen.
Wo begegnen wir dem am häufigsten:
- gemeinsame All-Flash-Arrays – schneller Storage als gemeinsame Ressource für viele Hosts, statt Inseln in einzelnen Servern,
- Virtualisierung und Datenbanken – dort, wo niedrige Schreiblatenz und vorhersehbare Leistung zählen,
- HPC- und KI-Umgebungen – wo der Storage-Durchsatz zum Flaschenhals von Training und Berechnungen wird.
Diese Vorteile sind nicht nur Theorie. In HPC-Benchmarks erreichte eine adaptive NVMe-oF-Implementierung bis zu 7 Mal höheren Durchsatz als das klassische Netzwerk-Dateisystem NFS. Und die Skalierbarkeit des Standards reicht weit – ein einzelnes NVMe-Subsystem kann Zehntausende von Ports bereitstellen, was es zum Fundament wirklich großer, gemeinsam genutzter Umgebungen macht. Wenn Sie einen solchen Storage planen, greifen Sie zu All-Flash-Arrays oder Dell PowerStore, und für die Medien selbst – zu NVMe-Festplatten.
Drei Wege zu NVMe-oF: TCP, Fibre Channel und RoCE
NVMe-oF ist nicht an eine einzige Netzwerktechnologie gebunden – und das ist sein großer Vorteil. Sie haben mehrere Transporte zur Auswahl, jeder mit einem anderen Kompromiss zwischen Leistung, Kosten und dem Aufwand der Bereitstellung.
NVMe/TCP läuft auf gewöhnlichen Ethernet-Switches ohne spezielle Konfiguration – die niedrigste Einstiegshürde. Der Preis für diese Einfachheit sind höhere Latenzen und höhere CPU-Auslastung, weil hardwareseitige Entlastungen fehlen. Der Standard entstand übrigens genau dazu, das bestehende Netzwerk zu nutzen, wenn ältere Karten und Switches kein RDMA unterstützen.
FC-NVMe (über Fibre Channel) ist die Wahl dort, wo Sie bereits ein SAN-Netzwerk haben. Bei einer Infrastruktur mit 16GFC oder schneller müssen Sie keine Switches austauschen – es genügt ein Firmware-Update der HBA-Karten, und ein Adapter bedient gleichzeitig SCSI- und NVMe-Verkehr. Die neuere Version des Standards bewältigt die Fehlerbehebung sogar bis zu 30 Mal schneller als frühere Methoden.
RoCE (RDMA über Ethernet) bietet die höchste Leistung, hat aber einen Haken – es erfordert eine komplizierte Konfiguration jedes Switches auf der Strecke (verlustfreies Netzwerk), Karten mit RDMA-Unterstützung und Administratoren, die das beherrschen. Man sieht das an den Nebenläufigkeitszahlen gegenüber TCP:
InfiniBand (RDMA) und RoCE nutzen die Nebenläufigkeit bei Volllast besser als TCP. Daten: NSF-Forschung.
|
Transport |
Leistung |
Bereitstellung |
Für wen |
|---|---|---|---|
|
NVMe/TCP |
gut, höhere Latenz und CPU-Auslastung |
am einfachsten – gewöhnliches Ethernet |
Start ohne Netzwerktausch |
|
FC-NVMe |
hoch, hardwareseitige Offloads |
einfach bei bestehendem SAN (16GFC+) |
Unternehmen mit Fibre-Channel-Netzwerk |
|
RoCE (RDMA) |
höchste, niedrigste Latenz |
komplex – verlustfreies Netzwerk, RDMA-Wissen |
einzelner Schrank, max. Leistung |
Kostet NVMe-oF mehr als gewöhnliches NVMe?
Die ehrliche Antwort: hängt vom Transport ab, und ja – die RDMA-Variante kann merklich mehr kosten. Im direkten Vergleich von 40-Gb/s-Karten kostete eine Karte mit RoCE 420 USD und mit iWARP 760 USD – beide deutlich teurer als Standard-Ethernet-Karten. Switches für RoCE sind ebenfalls teurer, weshalb sich die meisten RDMA-Implementierungen auf einen einzelnen Rack-Schrank beschränken, wo die kurze Distanz den Gewinn aus der niedrigen Latenz maximiert.
Zur Rechnung müssen die versteckten Kosten hinzugerechnet werden – die operative Komplexität. RoCE stützt sich auf einen Flusskontrollmechanismus (PFC), der in Rechenzentrumsnetzen zu Deadlocks und „Stürmen" von Pause-Frames führen kann. Selbst bei den größten Betreibern ist das mitunter eine Fehlerquelle: In einem dokumentierten Fall entstand der Paketverlust in einem RoCE-Netzwerk während eines KI-Trainings aus einem Zusammenspiel falscher Annahmen über Puffer, eines aggressiven Firmware-Updates und plötzlichen Verkehrs. Die Schlussfolgerung ist einfach – der „schnellste" Transport ist mitunter der problematischste, und deshalb sind NVMe/TCP und FC-NVMe für viele Unternehmen ein vernünftigerer Start.
Wenn Sie das von der Hardwareseite aufbauen, wählen wir die passenden Netzwerkkarten, Switches und optischen Module für den gewählten Transport aus – vom einfachen Ethernet bis zum Fibre Channel.
Welche Variante bei Ihnen wählen?
Die Regel, die wir am häufigsten anwenden, ist überraschend einfach. Haben Sie schon ein SAN-Netzwerk? FC-NVMe gibt Ihnen schnellen Storage nahezu ohne Infrastrukturänderung. Wollen Sie mit geringen Kosten starten? NVMe/TCP läuft auf gewöhnlichem Ethernet. Benötigen Sie maximale Leistung in einem Schrank und haben die Kompetenzen? Dann RoCE – im Bewusstsein höherer Kosten und Komplexität.
Die Wahl von Transport, Array und Medien hängt davon ab, was real auf der Infrastruktur laufen soll. Schreiben Sie uns, welche Last Sie planen – Virtualisierung, Datenbanken, KI – und wir wählen All-Flash-Array, NVMe-Festplatten und Netzwerk für dieses Szenario aus. Jede Konfiguration erhalten Sie getestet, einsatzbereit und mit Garantie. Für fertige Systeme werfen Sie einen Blick auf die Arrays Dell PowerVault und PowerStore, und für Berechnungen – auf die Server für KI.
FAQ
Worin unterscheidet sich NVMe-oF vom gewöhnlichen NVMe?
NVMe-oF ist dasselbe NVMe, nur über ein externes Netzwerk (Fabric) statt über den lokalen PCIe-Bus. Etwa 90 % des Protokolls sind identisch – es unterscheidet sich hauptsächlich die Art des Befehlstransports, wodurch der Server auf entfernte Festplatten nahezu wie auf lokale zugreift.
Welche Transporte unterstützt NVMe-oF?
Drei wesentliche: NVMe/TCP (gewöhnliches Ethernet, einfachste Bereitstellung), FC-NVMe (Fibre Channel, gut bei bestehendem SAN) sowie RoCE (RDMA über Ethernet, höchste Leistung um den Preis der Komplexität).
Ist NVMe-oF schneller als iSCSI?
Ja, deutlich. Klassisches iSCSI hat eine Latenz, die üblicherweise 4–5 Mal höher ist als der lokale Zugriff, während neuere NVMe-oF-Implementierungen auf die Größenordnung von 20–25 µs herunterkommen. Das ist ein realer Unterschied für Datenbanken und Virtualisierung.
Kostet NVMe-oF mehr als gewöhnliches NVMe?
Hängt vom Transport ab. NVMe/TCP läuft auf dem bestehenden Netzwerk, sodass die Kosten niedrig sind. Die RDMA-Varianten (RoCE) erfordern teurere Karten und Switches sowie mehr Wissen der Administratoren – hier steigt die Ausgabe.
Wann FC-NVMe statt RoCE wählen?
Wenn Sie bereits ein Fibre-Channel-Netzwerk (16GFC oder schneller) haben – FC-NVMe implementieren Sie ohne Switch-Tausch, und ein Adapter bedient SCSI- und NVMe-Verkehr. RoCE ergibt Sinn bei maximaler Leistung innerhalb eines Schranks.
Wofür eignet sich NVMe-oF am besten?
Für gemeinsame All-Flash-Arrays, latenzempfindliche Virtualisierung und Datenbanken sowie HPC-/KI-Umgebungen. Es löst das Problem des in einzelnen Servern „gefangenen" Flashs, indem es ihn zu einem gemeinsamen Pool zusammenfasst.
Quellen
NVM Express, Inc. – NVM Express over Fabrics Revision 1.1a – https://nvmexpress.org/wp-content/uploads/NVMe-over-Fabrics-1.1a-2021.07.12-Ratified.pdf
NVM Express, Inc. – NVMe over Fabrics Overview – https://nvmexpress.org/wp-content/uploads/NVMe_Over_Fabrics.pdf
NVM Express, Inc. – NVM Express Base Specification, Revision 2.3 – https://nvmexpress.org/wp-content/uploads/NVM-Express-Base-Specification-Revision-2.3-2025.08.01-Ratified.pdf
SNIA – Let's Talk 'Fabrics' (J Metz) – https://www.snia.org/sites/default/files/ESF/Lets-Talk-Fabrics-NVMe-Over-Fabrics.pdf
Patent USA – NVM Express Controller for Remote Access over Ethernet-Type Networks – https://image-ppubs.uspto.gov/dirsearch-public/print/downloadPdf/10503679
Patent USA – Storage Transactions with Predictable Latency – https://image-ppubs.uspto.gov/dirsearch-public/print/downloadPdf/12153962
UNH-IOL – NVMe: Lower Prices, More Features Expand Use Cases – https://www.iol.unh.edu/news/2019/06/04/nvme-lower-prices-more-features-expand-usecases
Kashyap, Lu – NVMe-oAF: Towards Adaptive NVMe-oF (HPDC '22) – https://par.nsf.gov/servlets/purl/10350403
Kashyap i in. – Impact of Commodity Networks on Storage Disaggregation with NVMe-oF (NSF) – https://par.nsf.gov/servlets/purl/10299229
Marvell – FC-NVMe (NVMe over Fibre Channel) White Paper – https://www.marvell.com/content/dam/marvell/en/public-collateral/fibre-channel/marvell-fibre-channel-nvme-over-fabrics-white-paper.pdf
Mittal i in. – Revisiting Network Support for RDMA (UIUC) – https://radhikam.web.illinois.edu/irn.pdf
Meta / Stanford – RDMA over Ethernet for Distributed AI Training at Meta Scale (SIGCOMM) – https://cs.stanford.edu/~keithw/sigcomm2024/sigcomm24-final246-acmpaginated.pdf
