Kaufberatung, Preise vom 09.08.2026
Welche Hardware lokale KI braucht
Die Rechnung geht über den Grafikspeicher, denn ein Modell muss ganz hineinpassen. Reicht er nicht, rechnet der Hauptprozessor mit und eine Antwort dauert Minuten statt Sekunden.
30 Minuten über deine Hardware
So viel Grafikspeicher braucht ein Modell
6 bis 8 GB
Kleine Assistenz-Modelle mit 7 bis 9 Mrd. Parametern.
10 bis 12 GB
Modelle bis 14 Mrd. Parameter, etwa Gemma 4 12B.
16 bis 24 GB
Qwen3.6-27B und Gemma 4 26B-A4B, also 22 bis 35 Mrd. Parameter.
56 bis 64 GB
Laguna S 2.1 und Mistral Small 4 mit 110 bis 120 Mrd. Parametern.
4 Klassen und was sie kosten
Arbeitsplatzrechner mit einer Grafikkarte
4.300 bis 13.000 Euro.
Für 1 Person oder einen kleinen Kreis. Die NVIDIA RTX 5090 hat 32 GB, die NVIDIA RTX PRO 6000 hat 96 GB und liegt am oberen Ende der Spanne.
Gerät mit gemeinsamem Speicher
3.200 bis 6.300 Euro.
128 GB fassen auch die großen Modelle, die auf keine Grafikkarte dieser Preisklasse passen. Dafür liest der Speicher mit 273 GB/s statt mit 1.792 GB/s wie die RTX 5090.
Server mit mehreren Karten
35.000 bis 90.000 Euro.
Für Teams von 5 bis 20 Leuten oder mehrere Modelle nebeneinander. 4 Karten ziehen unter Last 2,4 kW und brauchen einen Raum mit passender Kühlung.
Miete bei einem Anbieter in der EU
280 bis 2.500 Euro im Monat.
Der Server steht in der EU. Ab rund 20 Stunden Last am Tag gewinnt die Monatspauschale gegen den Stundenpreis.
Die Werte oben gelten für die 4-Bit-Stufe. Dabei wird ein Modell verkleinert, indem jeder seiner Zahlenwerte gröber gespeichert wird; es braucht dann rund ein Viertel des Speichers und antwortet fast so gut. Der Markt bewegt sich wegen knapper Speicherbausteine derzeit wöchentlich.
Häufige Fragen
Läuft lokale KI auch ohne Grafikkarte?
Ja. Geräte mit gemeinsamem Speicher haben keine Steckkarte, 128 GB gibt es ab rund 3.200 Euro. Auf einem Rechner mit 16 GB Arbeitsspeicher laufen die kleinen Modelle zum Ausprobieren, für mehrere Leute gleichzeitig reicht er nicht.
Kaufen oder mieten?
In der 96-GB-Klasse kostet ein Jahr Miete mit Einrichtung rund 17.810 Euro brutto, die Karte allein 12.569 Euro brutto. Nach etwa einem Jahr Dauerbetrieb hat der Kauf die Miete eingeholt.
Wir rechnen den Speicherbedarf durch
Schreib uns, welche Modelle ihr einsetzen wollt und wie viele Leute damit arbeiten.