Der Aufbau einer eigenen Umgebung für das Training von KI-Modellen und Machine Learning ist für viele Unternehmen ein natürlicher Schritt in Richtung technologischer Unabhängigkeit. Bei der Planung einer solchen Infrastruktur besteht oft die Versuchung, Kosten zu optimieren, indem man die neuesten GPU-Beschleuniger mit bewährten Servern der vorherigen Generation kombiniert. Doch ist dies immer eine sichere Lösung? Unsere Ingenieure haben den beliebten /dell-poweredge-r750-server und die neueste Karte NVIDIA RTX PRO 6000 Blackwell Max-Q unter die Lupe genommen. Die Testergebnisse waren eine große Überraschung.

Die 15. Generation der Dell-Serverplattform ist mit ihrem Flaggschiff-Vertreter, dem PowerEdge R750, ein äußerst beliebtes und leistungsstarkes Gerät, das in vielen Rechenzentrumsumgebungen nach wie vor hervorragende Arbeit leistet. Auf der anderen Seite ist die neue NVIDIA RTX PRO 6000 Blackwell Max-Q Karte mit ihrem gewaltigen 96 GB vRAM-Puffer derzeit einer der begehrtesten Beschleuniger für die Arbeit mit Large Language Models (LLM) und fortgeschrittener KI.

Betrachtet man die Spezifikationen, erscheint die Kombination dieser beiden Geräte logisch und völlig sicher. Die TDP für die RTX PRO 6000 in der Max-Q-Version beträgt maximal 300 W. Gemäß der offiziellen Dell-Dokumentation (sowie vielen online verfügbaren Angeboten, die den R750 z. B. mit der älteren Ada-Generation kombinieren) sollte dieser Server solche Leistungsanforderungen mit dem offiziellen Dell 12VHPWR-Kabel problemlos bewältigen können.

Um dem System absolut optimale Stromversorgungsbedingungen zu bieten, haben die Techniker von Hardware Direct zwei Konfigurationsvarianten vorbereitet:

1. Anschluss über das offizielle Stromkabel R750 <-> 12VHPWR.
2. Eine Konfiguration mit massiver Leistungsreserve: Hierbei wurde der Strom von 3 Ports am Riser (die jeweils 225 W liefern) genutzt und in einer 3x 8-Pin <-> 12VHPWR-Adapter-Konfiguration gebündelt.

Dies ergab theoretisch einen Leistungsspielraum von 375 W allein auf der Seite der Zusatzstromversorgung.

Trotz der „lehrbuchmäßigen“ Vorbereitung der Plattform hat die Realität im Labor die theoretischen Annahmen widerlegt. In der R750-Testumgebung verhielt sich die RTX PRO 6000 Blackwell Max-Q in beiden Konfigurationen bei verschiedenen Arten von synthetischen Lasten und Trainingsbelastungen instabil.

In Systemen, die für langfristige KI-Berechnungen ausgelegt sind, schließt jegliche Instabilität die Maschine für den produktiven Einsatz aus. Unsere Ingenieure begannen daher mit einer tiefergehenden Analyse des Problems.

Der erste „Verdächtige“ in solchen Situationen ist oft die Generation der PCI-Express-Schnittstelle. Der R750-Server verfügt über PCIe-Gen4-Steckplätze, während die neuesten Karten bereits vollständig für die Gen5-Bandbreite ausgelegt sind.

Unsere Tests haben dieses Szenario jedoch ausgeschlossen. Die Einschränkungen durch PCIe 4.0 haben in diesem Fall keinen entscheidenden Einfluss auf die Stabilität. Man darf nicht vergessen, dass die RTX PRO 6000 über einen riesigen lokalen Datenpuffer in Form von 96 GB vRAM verfügt. In der Praxis bedeutet dies, dass der Grafikprozessor in den meisten Trainingsszenarien die wichtigsten Daten sofort griffbereit hat und der Unterschied in der Durchsatzrate zwischen PCIe 4.0 und 5.0 marginal ist und sicher nicht zum Absturz des Systems führt.

The key to solving the mystery lies in the operating characteristics of modern GPU units, including the Blackwell architecture. While the steady power consumption stays within the declared 300W, working with AI models generates extremely dynamic, microsecond surges in power demand, known as transient spikes.

These rapid load changes turned out to be an impassable barrier. The power engineering in 15th-generation platforms (even with high total PSU wattage and appropriate cabling) is not physically adapted to react so quickly and dynamically to voltage micro-spikes. The motherboard and power distribution system in the R750 simply cannot keep up with the workload characteristics of the latest AI accelerators.

Um unsere These zu beweisen und die optimale Umgebung für die RTX 6000 Blackwell Karte zu finden, haben wir die Tests auf den Dell PowerEdge R760 (16. Generation der Dell-Server) verlagert.

Dieses Gerät verfügt über eine komplett neu gestaltete Stromversorgungsarchitektur, die unter anderem speziell für moderne KI-Beschleuniger entwickelt wurde. Die wichtigsten Unterschiede, die wir in diesem Test eingeführt haben:

• Die Stromkabel führen direkt vom PDB-Anschluss (Power Distribution Board) der Netzteile ab und umgehen so die Engpässe älterer Konstruktionen.
• Wir haben ein spezielles MD9J9-Stromkabel verwendet.
• Dieses Kabel verfügt über eine zusätzliche Signalleitung, die direkt in das Motherboard des Servers eingesteckt wird und so eine intelligente Kommunikation zwischen Netzteil und GPU ermöglicht.

Das Ergebnis? Die Karte verhält sich vorbildlich. Keinerlei Stabilitätsprobleme. Sowohl in Benchmarks als auch bei sehr hohen, lang andauernden Trainingsbelastungen arbeitete die Konfiguration auf der R760-Plattform mit voller Leistung und – was am wichtigsten ist – absolut fehlerfrei.

Aus unseren Tests lässt sich eine sehr wichtige Lehre ziehen: In Zeiten von künstlicher Intelligenz und Blackwell-Architekturen reichen bloße Datenblätter und das Prinzip der „Rückwärtskompatibilität“ nicht aus, um die Stabilität der Infrastruktur zu gewährleisten.

Der theoretisch ideale und leistungsstarke Dell R750-Server kam mit den von der neuen Karte erzeugten Spannungs-Mikrospitzen nicht zurecht. Erst das neue Power Engineering im R760 ermöglichte es, das volle Potenzial des Beschleunigers auszuschöpfen.

Planen Sie den Aufbau oder die Erweiterung einer Infrastruktur für Machine Learning oder KI? Überlassen Sie die Stabilität Ihrer Hardware nicht dem Zufall. Bei Hardware Direct basieren wir auf harten Daten aus unserem Labor. Kontaktieren Sie unser Team – wir beraten Sie und liefern Ihnen Hardware, die von uns geprüft wurde und zu 100 % bereit für die Herausforderungen moderner Berechnungen ist.