Kaufberatung

Welche Hardware für lokale KI?

Wer lokale KI einführen will, braucht vor dem Modell einen Rechner, und die Auswahl sortiert sich am besten nach dem Kostenrahmen. 4 Klassen vom Arbeitsplatzrechner bis zur Miete, mit dem Speicherbedarf der Modelle als Rechengrundlage. Alle Preise vom 09.08.2026, denn der Markt bewegt sich wegen knapper Speicherbausteine derzeit wöchentlich.

Die Rechengrundlage: Hardware-Anforderungen lokaler KI

Ein Modell muss vollständig in den Grafik- beziehungsweise gemeinsamen Speicher passen, sonst rechnet der Prozessor mit und eine Antwort dauert Minuten statt Sekunden. Der Bedarf hängt an der Modellgröße und der Quantisierung, die Werte hier gelten für die übliche 4-Bit-Stufe samt Reserve für den Kontext.

Modellgröße	Beispiele	Speicherbedarf
7 bis 9 Mrd. Parameter	kleine Assistenz-Modelle	6 bis 8 GB
12 bis 14 Mrd.	Gemma 4 12B	10 bis 12 GB
22 bis 35 Mrd.	Qwen 3.6, Gemma 4 26B MoE	16 bis 24 GB
70 Mrd., dicht	Llama 3.3 70B	40 bis 48 GB
100 bis 120 Mrd., MoE	gpt-oss-120b	64 bis 80 GB

Neben dem Platz zählt das Tempo, und das bestimmt die Speicherbandbreite. Eine RTX PRO 6000 liest mit 1.792 GB/s, ein Mac Studio M3 Ultra mit 819 GB/s, die 128-GB-Geräte mit GB10- oder Strix-Halo-Chip mit 273 GB/s. Dichte Modelle spüren diesen Unterschied deutlich, MoE-Modelle wie Qwen 3.6 oder gpt-oss-120b deutlich weniger, weil sie je Antwort nur einen Teil ihrer Parameter anfassen. Welches Modell zu welcher Aufgabe passt, steht in unserem Vergleich lokaler Sprachmodelle.

Arbeitsplatzrechner mit einer Grafikkarte: 4.300 bis 13.000 Euro

Die lokale KI-Workstation für 1 Nutzer oder einen kleinen Kreis. Modelle bis 35 Mrd. Parameter laufen auf 32 GB flüssig, für 70-Mrd.-Modelle braucht es die 96-GB-Karte.

Gerät	Speicher	Preis (09.08.2026)	Einordnung
NVIDIA RTX 5090 (nur die Karte)	32 GB	ab rund 4.290 €	Straßenpreis. Die UVP von 2.329 € ist Theorie, zu ihr ist die Karte nicht lieferbar.
Kompletter Rechner mit RTX 5090	32 GB, 32 bis 64 GB RAM	ab 5.599 €	Fertig konfiguriert mit Netzteil, Kühlung und Gewährleistung aus einer Hand.
NVIDIA RTX PRO 6000 Blackwell (Karte)	96 GB	ab 12.569 €	Zum Marktstart im März 2025 kostete sie 7.670 €.
RTX 4090 der Vorgängergeneration, neu	24 GB	rund 3.390 €	Teurer als die RTX 5090 bei 8 GB weniger Speicher, keine Empfehlung.

Die Preise dieser Klasse haben sich von allen am weitesten von der Liste entfernt. Die RTX 5090 kostet mindestens 4.250 Euro und damit fast das Doppelte ihrer UVP (ComputerBase, 31.07.2026), die RTX PRO 6000 hat seit ihrem Start um rund 64 % zugelegt. Ursache ist die Knappheit bei Speicherbausteinen, weitere Erhöhungen sind von den Herstellern für August 2026 angekündigt. Ein fertiger Rechner kostet gut 1.300 Euro mehr als die Karte allein und ist die vernünftigere Wahl, wenn kein passender Unterbau mit starkem Netzteil bereitsteht.

Geräte mit gemeinsamem Speicher: 3.200 bis 6.300 Euro

Kompakte Rechner, bei denen sich Prozessor und Grafikeinheit einen großen Speicher teilen. 128 GB fassen auch die großen MoE-Modelle, die auf keine Grafikkarte dieser Preisklasse passen.

Gerät	Speicher	Preis (09.08.2026)	Einordnung
ASUS Ascent GX10 (NVIDIA GB10)	128 GB gemeinsam	ab 3.999 €	Mit 2 TB SSD 4.499 €, mit 4 TB 5.487 €. Breit lieferbar.
GMKtec EVO-X2 (AMD Strix Halo)	128 GB gemeinsam	3.749 €	Mini-PC mit Ryzen AI Max+ 395, in Deutschland lagernd.
Minisforum MS-S1 MAX (Strix Halo)	128 GB gemeinsam	ab 3.244 €	Günstigster Einstieg in die 128-GB-Klasse.
NVIDIA DGX Spark Founders Edition	128 GB gemeinsam	ab 5.399 €	Gleicher GB10-Chip wie der GX10, rund 1.400 € Aufpreis fürs NVIDIA-Logo.
Apple Mac Studio M3 Ultra	96 GB gemeinsam	ab 5.999 €	Dreifache Speicherbandbreite der GB10-Geräte, aber bei 96 GB ist Schluss.

NVIDIA nennt für die GB10-Geräte bis zu 200 Mrd. Parameter in 4-Bit-Quantisierung je Gerät. Den ASUS Ascent GX10 betreiben wir selbst, der Erfahrungsbericht steht im Blog: Lokale KI für sensible Daten mit dem ASUS GX10. Der Framework Desktop mit Strix Halo fehlt in der Tabelle mit Absicht, er war am 09.08.2026 nicht lieferbar und nur gegen Anzahlung vorbestellbar. Beim Mac Studio hat Apple die Ausbaustufen mit 256 und 512 GB im Frühjahr 2026 gestrichen (connect, 07.05.2026), im Konfigurator ist bei 96 GB Schluss.

Server mit mehreren Karten: 35.000 bis 90.000 Euro

Für Teams von 5 bis 20 Leuten, 70-Mrd.-Modelle in höherer Qualitätsstufe oder mehrere Modelle nebeneinander.

System	GPU-Speicher	Preis (09.08.2026)	Einordnung
Workstation mit 2 × RTX PRO 6000	192 GB	ab 35.699 €	Auf Ryzen-Basis. Dieselben Karten auf Threadripper-PRO-Basis kosten 52.799 €.
Workstation mit 4 × RTX PRO 6000	384 GB	ab 88.499 €	Fertig gebaut und getestet. Der Eigenbau läge bei rund 66.000 € netto plus Aufbau.
Bare-Metal-Miete, 1 × RTX PRO 6000	96 GB	1.249 €/Monat netto	Dedizierter Server bei ingate, 36 Monate Laufzeit, mit 4 Karten 2.396 €/Monat netto.

In dieser Klasse entscheidet die Plattformwahl über mehr Geld als die Karten. Dieselben 2 GPUs kosten auf Ryzen-Basis 17.100 Euro weniger als auf Threadripper-PRO-Basis, und die vielen CPU-Kerne der teuren Plattform beschleunigen die Modell-Antworten nicht. Dazu kommt der Betrieb: 4 Karten ziehen unter Last allein 2,4 kW, das gehört in die Kalkulation und in einen Raum mit passender Kühlung. Preise sind Fertigsystem-Angebote deutscher Integratoren, inklusive Mehrwertsteuer, sofern nicht anders vermerkt.

Miete bei europäischen Anbietern: 280 bis 2.500 Euro im Monat

Die Vergleichsgröße zu jedem Kauf, mit denselben Datenschutz-Eigenschaften: Der Server steht in der EU, die Daten bleiben im europäischen Rechtsraum.

Anbieter	GPU	Preis (09.08.2026)	Einordnung
Hetzner GEX44	RTX 4000 SFF Ada, 20 GB	276,44 €/Monat	Brutto, dazu 135,66 € Einrichtung. Reicht für Modelle bis rund 20 GB Bedarf.
Hetzner GEX131	RTX PRO 6000, 96 GB	1.424,79 €/Monat	Brutto, dazu 712,81 € Einrichtung. Standorte in Deutschland und Finnland.
Scaleway (Frankreich)	L4, 24 GB	0,79 €/Std. netto	Stundenweise, gut zum Ausprobieren ohne Vertragsbindung.
OVHcloud (Frankreich)	L40S, 48 GB	1,67 €/Std.	Auch H100 mit 80 GB für 3,33 €/Std. buchbar.
Verda (Finnland)	RTX PRO 6000, 96 GB	rund 1,64 €/Std.	Preisliste in Dollar (1,89 USD), umgerechnet zum EZB-Kurs 1,1535 vom 07.08.2026.

Auch die Mietpreise steigen: Hetzner hat den 96-GB-Server seit der Ankündigung im Dezember 2025 um 34,7 % verteuert (Hetzner, 11.12.2025). Für gelegentliche Last sind die Stundenpreise günstiger, ab rund 20 Stunden am Tag gewinnt die Monatspauschale. Wer kein eigenes Modell betreiben will, sondern nur DSGVO-konformen Zugriff auf fertige Modelle braucht, fährt mit einer Schnittstelle noch günstiger, die Anbieter dafür stehen in unserer Übersicht DSGVO-konforme KI-Anbieter aus Europa.

Häufige Fragen

Kurze Antworten auf die Fragen, mit denen die Hardware-Auswahl meistens beginnt.

01 Welche Grafikkarte für lokale KI?

Am Arbeitsplatz ist die RTX 5090 mit 32 GB der heutige Standard, sie kostet im August 2026 ab rund 4.290 Euro und trägt Modelle bis etwa 35 Milliarden Parameter mit ordentlichem Kontext. Die RTX 4090 der Vorgängergeneration lohnt neu nicht mehr, sie kostet mehr als die 5090 und hat weniger Speicher. Wer 70-Milliarden-Modelle oder große MoE-Modelle einsetzen will, braucht die RTX PRO 6000 mit 96 GB ab 12.569 Euro, Stand 09.08.2026.

02 Läuft lokale KI auch ohne Grafikkarte?

Ja, auf 2 Wegen. Geräte mit gemeinsamem Speicher wie der ASUS Ascent GX10, die Strix-Halo-Mini-PCs oder der Mac Studio haben keine Steckkarte, ihr Speicher steht dem Modell direkt zur Verfügung, 128 GB gibt es ab rund 3.200 Euro. Und wer gar keine eigene Hardware anschaffen will, mietet einen GPU-Server in der EU oder nutzt fertige Modelle über einen europäischen Anbieter per Schnittstelle. Nur auf einem normalen Prozessor ohne eigenen Grafikspeicher laufen lediglich kleine Modelle, und das spürbar langsam.

03 Reicht ein normaler Büro-PC für den Anfang?

Zum Ausprobieren ja. Ein Rechner mit 16 GB Arbeitsspeicher oder ein MacBook mit Apple-Chip führt Modelle mit 7 bis 9 Milliarden Parametern aus, das genügt, um Anwendungsfälle zu testen. Für den Betrieb im Team ist das zu wenig, sobald mehrere Leute gleichzeitig arbeiten oder ein stärkeres Modell gebraucht wird, gehört eine der 4 Klassen dieser Seite her.

04 Kaufen oder mieten?

Die Rechnung am Beispiel der 96-GB-Klasse, Stand 09.08.2026: Ein Jahr Miete bei Hetzner kostet mit Einrichtung rund 17.810 Euro brutto, die Karte allein 12.569 Euro. Nach etwa einem Jahr Dauerbetrieb hat der Kauf die Miete eingeholt, dafür trägt die Miete Strom, Austausch bei Defekt und den Serverraum gleich mit. Mieten passt für Projekte und unklaren Bedarf, kaufen für Dauerlast und für Daten, die den eigenen Serverraum wirklich nicht verlassen sollen.

Datenblätter der einzelnen Geräte stehen in der Kategorie KI-Hardware, die Einrichtung im Unternehmen beschreibt senqo Lokale KI.

Hardware-Frage klären

Schreiben Sie uns, welche Modelle Sie einsetzen wollen und wie viele Leute damit arbeiten. Wir rechnen den Speicherbedarf durch und sagen Ihnen, welche Klasse reicht und welche Geld verbrennt.