NVIDIA H200: KI-Tool Test & Bewertung

Workstation-GPUs wie die RTX PRO 6000 mit 96 GB Speicher decken typische lokale KI-Anwendungen ab. Die H200 gehört in eine andere Klasse. Sie ist Server-Hardware für Unternehmen, die große Modelle mit parallelen Anfragen betreiben, hohe Speicherbandbreite brauchen und Kühlung, Stromversorgung sowie Systemüberwachung im Rechenzentrum mitdenken.

Wichtigste Funktionen

• 141 GB HBM3e-Speicher: Die H200 hat deutlich mehr Grafikspeicher als Workstation-Karten. Das hilft bei großen Sprachmodellen, langen Kontextfenstern und mehreren parallelen Modellinstanzen auf derselben GPU.
• 4,8 TB/s Speicherbandbreite: NVIDIA nennt für die H200 4,8 TB/s. Diese Bandbreite ist bei Inferenz wichtig, weil große Modelle pro Antwort sehr viele Gewichte aus dem Speicher lesen.
• HGX-Systeme mit 4 oder 8 GPUs: In Servern wie NVIDIA HGX H200 arbeiten mehrere H200-GPUs über schnelle interne Verbindungen zusammen. Damit bedienen Unternehmen größere Modelle oder höhere Nutzerzahlen als mit einer einzelnen Karte.
• Multi-Instance GPU: Der Betreiber kann eine H200 in bis zu 7 getrennte GPU-Instanzen aufteilen. Das ist nützlich, wenn mehrere Teams oder Dienste die Hardware teilen sollen.
• CUDA und KI-Software: Gängige Inferenz-Server und KI-Bibliotheken unterstützen H200, weil sie zur etablierten NVIDIA-Plattform gehört. Bestehende CUDA-Setups können deshalb auf H200 wechseln, ohne die Software-Architektur neu aufzubauen.

Preise und Tarife

NVIDIA veröffentlicht für die H200 keinen festen Listenpreis. Die GPU kommt in Servern oder Komplettsystemen, deren Preis von Gehäuse, CPU, Arbeitsspeicher, Netzwerk, Support und Liefervertrag abhängt. Für Beschaffung und Budgetplanung ist deshalb ein Angebot von Dell, HPE, Supermicro, einem Systemhaus oder einem Cloud-Anbieter nötig.

Bei Cloud-Anbietern ist die Preislogik transparenter. CoreWeave nennt für ein NVIDIA HGX H200 System mit 8 GPUs umgerechnet rund 43,38 Euro pro Stunde. Das entspricht rund 5,42 Euro pro GPU-Stunde. Lambda nennt auf seiner GPU-Cloud-Seite H100, B200 und GH200 als sofort buchbare Instanzen, H200 steht dort im Seitentitel, aber nicht in der sichtbaren Preistabelle. Die Cloud-Preise ändern sich schnell, daher ist ein aktueller Angebotsvergleich vor längeren Reservierungen sinnvoll.

Die H200 ist weiterhin leistungsfähig, wird in neuen Projekten aber häufiger gegen Blackwell-Systeme wie B200 oder GB200 gerechnet. Diese Systeme haben mehr Speicher pro GPU und mehr Bandbreite, kosten in der Cloud aber ebenfalls mehr. Alle genannten Beträge sind Nettowerte, die Umsatzsteuer kommt bei einer deutschen Rechnung zusätzlich hinzu.

Für wen ist NVIDIA H200 geeignet?

• Unternehmen mit eigenem KI-Rechenzentrum: Wer große Modelle dauerhaft auf eigener Hardware betreibt, bekommt mit H200 eine etablierte Plattform für Inferenz und Feintuning.
• IT-Dienstleister mit GPU-Angeboten: Anbieter, die KI-Kapazität für Kunden bereitstellen, können H200-Systeme in mandantenfähige Plattformen einbinden und über Kontingente abrechnen.
• Forschung und Entwicklung mit hohen Modellanforderungen: Teams, die große Modelle testen, anpassen oder vergleichen, profitieren vom großen Speicher und vom NVIDIA-Software-Ökosystem.

DSGVO und Datenschutz

Als Hardware im eigenen Rechenzentrum ist die H200 datenschutzfreundlich, weil Verarbeitung und Protokolle auf der eigenen Infrastruktur bleiben. NVIDIA verarbeitet dadurch nicht automatisch Eingaben, Trainingsdaten oder Ausgaben. Die eingesetzte Software, die Benutzerverwaltung, Protokollierung und externe Modell-APIs bestimmen das Datenschutzniveau.

Bei gemieteter H200-Leistung hängt die DSGVO-Bewertung vom Anbieter ab. Serverstandort, Auftragsverarbeitungsvertrag, Unterauftragnehmer und Protokollierung müssen einzeln geprüft werden. Für sensible Daten ist H200 im eigenen Rechenzentrum oder bei einem EU-Anbieter mit belastbarem Vertrag geeignet, eine beliebige US-Cloud-Instanz reicht dafür nicht.

Alternativen zu NVIDIA H200

• NVIDIA DGX Spark: Kompakter Desktop-KI-Rechner mit 128 GB gemeinsamem Speicher. Er ist günstiger und einfacher zu betreiben, erreicht aber nicht die Serverleistung einer H200.
• NVIDIA Multi-GPU Workstation: Workstation mit mehreren RTX PRO 6000 Karten und bis zu 384 GB Grafikspeicher. Sie passt besser in Büroumgebungen, hat aber nicht die gleiche Rechenzentrumsplattform wie HGX H200.
• NVIDIA RTX PRO 6000: Einzelne Workstation-GPU mit 96 GB Speicher. Für lokale Tests und typische Unternehmensanwendungen ist sie einfacher zu beschaffen als eine H200-Serverlösung.