NVIDIA Multi-GPU Workstation: KI-Tool Test & Bewertung

Große lokale KI-Modelle brauchen viel Grafikspeicher. Eine Workstation mit 2 oder 4 NVIDIA-Karten ist ein Weg, wenn ein einzelner Rechner im eigenen Unternehmen stehen soll und CUDA Pflicht ist. Gegenüber Mac Studio oder DGX Spark kaufen Sie vor allem GPU-Leistung, zahlen dafür aber mit Strombedarf, Geräusch und mehr Administrationsaufwand.

Wichtigste Funktionen

• Mehr Grafikspeicher für große Modelle: Die RTX PRO 6000 Blackwell Workstation Edition hat 96 GB GDDR7-Speicher mit Fehlerkorrektur. 2 Karten liefern 192 GB, 4 Karten 384 GB Grafikspeicher für große Sprachmodelle, Embedding-Modelle oder parallele Inferenz.
• NVIDIA-Software ohne Sonderwege: PyTorch, TensorFlow, TensorRT und vLLM unterstützen NVIDIA-GPUs direkt. Das senkt das Risiko, dass ein Modell nur mit Anpassungen läuft.
• Modellserver im Unternehmen: Mit vLLM dient die Workstation als interner Server für KI-Modelle. Mehrere Nutzer greifen dann per Schnittstelle oder Weboberfläche auf dieselben Modelle zu.
• Fine-Tuning auf eigener Hardware: LoRA und QLoRA profitieren von mehreren GPUs, weil Trainingsläufe schneller werden und größere Stapelgrößen möglich sind. Stapelgröße heißt, wie viele Beispiele ein Training in einem Schritt verarbeitet. Das ist relevant, wenn Sie eigene Klassifikatoren oder Sprachmodelle mit Unternehmensdaten feinabstimmen.
• PCIe Gen 5 statt NVLink: NVIDIA nennt für die RTX PRO 6000 Blackwell Workstation Edition PCIe Gen 5, DisplayPort 2.1 und 600 W maximale Leistungsaufnahme, aber kein NVLink. Große Modelle werden deshalb über PCIe auf mehrere Karten verteilt. Diese Verteilung funktioniert, ist aber langsamer als ein direkter GPU-Verbund.

Preise und Tarife

NVIDIA nennt für die RTX PRO 6000 Blackwell Workstation Edition keine öffentliche Preisempfehlung. Der Preis entsteht aus Grafikkarten, Gehäuse, Mainboard, CPU, Arbeitsspeicher, Netzteil und Kühlung. Als Orientierung bleibt ein 2-GPU-System bei etwa 25.000 bis 30.000 Euro realistisch, wenn professionelle Karten und eine passende Workstation neu gekauft werden. Ein 4-GPU-System liegt schnell bei 50.000 bis 58.000 Euro. BIZON nennt für einen Z9000 G2 Server mit RTX-PRO-6000-Blackwell-Konfiguration einen Einstieg ab 31.082 Euro, der tatsächliche Preis hängt dort von GPU-Zahl, CPU und Ausbau ab. Die Beträge sind als Netto-Orientierung zu lesen, die Umsatzsteuer kommt beim Kauf in Deutschland hinzu.

Für wen ist eine NVIDIA Multi-GPU Workstation geeignet?

• KI-Teams mit CUDA-Workloads: Wenn Modelle, Frameworks oder interne Skripte auf CUDA setzen, ist eine NVIDIA-Workstation ein verlässlicher lokaler Weg unterhalb eines Servers.
• Unternehmen mit sensiblen Daten und hohem Durchsatz: Die Verarbeitung läuft auf Hardware im eigenen Netzwerk. Das passt, wenn Cloud-GPUs aus Datenschutzgründen oder wegen laufender Kosten nicht gewünscht sind.
• Entwicklungsteams für Fine-Tuning: Wer Modelle regelmäßig feinabstimmt, spart gegenüber gemieteten Cloud-GPUs nur bei hoher Auslastung. Die Workstation lohnt sich vor allem, wenn sie täglich genutzt wird.

DSGVO und Datenschutz

Die Workstation verarbeitet Daten lokal auf eigener Hardware. NVIDIA stellt hier keine Cloud bereit und erhält durch den Betrieb keinen Zugriff auf Eingaben, Dokumente oder Modellausgaben. Datenschutz hängt damit an Ihrer Einrichtung, an Nutzerrechten, Protokollierung, Backups und den Modellen, die Sie einsetzen. Für hohe DSGVO-Anforderungen ist die Einrichtung geeignet, wenn die Workstation im eigenen Netzwerk betrieben wird und keine externen KI-Schnittstellen angebunden sind.

Alternativen zu NVIDIA Multi-GPU Workstation

• NVIDIA DGX Spark: Fertiges NVIDIA-Gerät mit 128 GB Unified Memory. Es ist deutlich einfacher einzurichten, aber kleiner und langsamer als eine Workstation mit mehreren RTX-PRO-6000-Karten.
• NVIDIA RTX PRO 6000: Eine einzelne Blackwell-Workstation-Karte mit 96 GB Grafikspeicher. Das ist der bessere Einstieg, wenn 1 GPU reicht und die spätere Erweiterung offen bleiben soll.
• NVIDIA H200: Rechenzentrums-GPU mit 141 GB HBM3e-Speicher und NVLink-Option. Sie ist für Server oder Cloud-Umgebungen gedacht und passt weniger gut in eine normale Workstation.