KI-Modelle im Vergleich
Welche Sprachmodelle lassen sich heute DSGVO-konform im eigenen Unternehmen betreiben? Wir vergleichen die besten offenen Modelle, die lokal oder bei einem europäischen Hoster laufen. Sortierbar nach Leistung, Programmierung, Datenschutz und Lizenz.
24 Modelle bewertet · Stand: 17. Juli 2026 · Herstellerunabhängig
Die lokalen Modelle im Vergleich (Open-Weight)
Spalten mit dem Pfeil-Symbol lassen sich sortieren. Klicken Sie auf die Überschrift, ein zweiter Klick dreht die Reihenfolge um. Ein Klick auf den Modellnamen führt zur ausführlichen Modellseite. Standardmäßig sortiert nach Gesamtbewertung.
| # | Modell | Bewertung | Leistung | Coding | DSGVO / EU | Lizenz | Kontext | Lokal ab |
|---|---|---|---|---|---|---|---|---|
| GLM-5.2 Zhipu AI (Z.ai) · CN 744 Mrd. · 40 Mrd. aktiv | 94 % | 95 % | 92 % | 88 % | MIT | 1 Mio. Token | Mehrere RTX PRO 6000 (96 GB), Mac Studio oder H200 | |
| DeepSeek V4 Pro DeepSeek · CN 1,6 Bio. · 49 Mrd. aktiv | 92 % | 95 % | 93 % | 82 % | MIT | 1 Mio. Token | Mehrere RTX PRO 6000, Rechenzentrum (H200/B200) | |
| Kimi K3 Moonshot AI · CN 2,8 Bio. · ~50 Mrd. aktiv | 90 % | 96 % | 95 % | 79 % | Modified MIT | 1 Mio. Token | Rechenzentrum (mehrere B200/H200, 2,8 Bio. Parameter) | |
| Kimi K2.6 Moonshot AI · CN 1 Bio. · 32 Mrd. aktiv | 89 % | 91 % | 90 % | 85 % | Modified MIT | 256K Token | Mehrere RTX PRO 6000, Mac Studio (512 GB) oder H200 | |
| Inkling Thinking Machines Lab · US 975 Mrd. · 41 Mrd. aktiv | 88 % | 89 % | 88 % | 80 % | Apache 2.0 | 1 Mio. Token | Rechenzentrum (NVFP4 rund 600 GB, bf16 rund 2 TB VRAM, mehrere B200) | |
| Mistral Medium 3.5 Mistral AI · FR 128 Mrd. · dicht | 88 % | 80 % | 80 % | 100 % | Modified MIT | 256K Token | 1–2× RTX PRO 6000 (96 GB, FP8) oder H100 | |
| GLM-5.1 Zhipu AI (Z.ai) · CN 754 Mrd. · 40 Mrd. aktiv | 88 % | 87 % | 86 % | 84 % | MIT | 203K Token | Mehrere RTX PRO 6000 (96 GB), Mac Studio oder H200 | |
| Kimi K2.7-Code Moonshot AI · CN 1 Bio. · 32 Mrd. aktiv | 87 % | 89 % | 94 % | 82 % | Modified MIT | 256K Token | Mehrere RTX PRO 6000, Mac Studio oder H200 | |
| Qwen 3.5 Alibaba (Qwen) · CN 397 Mrd. · 17 Mrd. aktiv | 87 % | 85 % | 84 % | 84 % | Apache 2.0 | 256K Token | Mehrere RTX PRO 6000 (96 GB) oder Mac Studio (512 GB) | |
| Gemma 4 31B Google · US 31 Mrd. · dicht | 86 % | 82 % | 72 % | 86 % | Apache 2.0 | 256K Token | Eine GPU (24 GB, RTX 4090) | |
| Agents-A1 InternScience (Shanghai AI Lab) · CN 35 Mrd. · 3 Mrd. aktiv | 85 % | 81 % | 76 % | 85 % | Apache 2.0 | 256K Token | Workstation mit ~40 GB Speicher oder Mac mit viel Unified Memory (M5 Max); Q4 auch auf einer 24-GB-GPU | |
| Qwen3.6-27B Alibaba (Qwen) · CN 27 Mrd. · dicht | 85 % | 82 % | 85 % | 84 % | Apache 2.0 | 256K Token | Eine GPU (ab 24 GB, RTX 4090, Q4) | |
| Qwen3.6-35B-A3B Alibaba (Qwen) · CN 35 Mrd. · 3 Mrd. aktiv | 84 % | 78 % | 74 % | 88 % | Apache 2.0 | 256K Token | Eine GPU (ab 24 GB, RTX 4090, Q4) | |
| Gemma 4 26B-A4B Google · US 25 Mrd. · 3,8 Mrd. aktiv | 84 % | 79 % | 70 % | 86 % | Apache 2.0 | 256K Token | Eine GPU (Consumer, läuft dank 3,8 Mrd. aktiv schnell) | |
| MiniMax M3 MiniMax · CN 428 Mrd. · 23 Mrd. aktiv | 83 % | 90 % | 88 % | 80 % | MiniMax Community License | 1 Mio. Token | Mehrere RTX PRO 6000, Mac Studio oder B300/H200 | |
| gpt-oss-120b OpenAI · US 117 Mrd. · 5,1 Mrd. aktiv | 82 % | 72 % | 70 % | 92 % | Apache 2.0 | 128K Token | Eine RTX PRO 6000 (96 GB) oder H100, MXFP4 | |
| Mistral Small 4 Mistral AI · FR 119 Mrd. · 6,5 Mrd. aktiv | 82 % | 68 % | 66 % | 100 % | Apache 2.0 | 256K Token | 1–2 GPUs (RTX PRO 6000, FP8/4-Bit) | |
| GLM-4.7 Flash Zhipu AI (Z.ai) · CN 30 Mrd. · 3 Mrd. aktiv | 82 % | 76 % | 82 % | 84 % | MIT | 200K Token | Eine GPU (ab 18 GB, RTX 4090/3090, 4-Bit) | |
| Nemotron 3 Super NVIDIA · US 120 Mrd. · 12 Mrd. aktiv | 82 % | 85 % | 82 % | 78 % | NVIDIA Nemotron Open Model License | 1 Mio. Token | Eine RTX PRO 6000 (96 GB, FP8) oder H100 | |
| North Mini Code Cohere · CA 30 Mrd. · 3 Mrd. aktiv | 82 % | 74 % | 80 % | 86 % | Apache 2.0 | 256K Token | Eine GPU (3 Mrd. aktiv, ab 24 GB) | |
| Nemotron-Cascade 2 NVIDIA · US 30 Mrd. · 3 Mrd. aktiv | 81 % | 82 % | 85 % | 78 % | NVIDIA Nemotron Open Model License | 1 Mio. Token | Eine GPU (ab 24 GB, RTX 4090, quantisiert) | |
| IBM Granite 4.1 IBM · US 8 Mrd. · dicht | 79 % | 68 % | 64 % | 90 % | Apache 2.0 | 512K Token | Eine GPU (8B ab 16 GB; 30B ~30 GB FP8) | |
| VibeThinker-3B Weibo AI · CN 3 Mrd. · dicht | 74 % | 60 % | 78 % | 86 % | MIT | 64K Token | Eine GPU (ab 6 GB; INT4 ~1,7 GB) | |
| gpt-oss-20b OpenAI · US 21 Mrd. · 3,6 Mrd. aktiv | 73 % | 56 % | 58 % | 90 % | Apache 2.0 | 128K Token | Eine Consumer-GPU (16–24 GB, RTX 4090) |
Kein Modell gefunden.
Die Prozentwerte sind eine redaktionelle Einschätzung von gewusst:KI auf Basis dokumentierter Benchmarks und Modellkarten, Stand 17. Juli 2026. Die zugrunde liegenden Benchmark-Zahlen sind bei den meisten Modellen Hersteller-Angaben, Details stehen auf der jeweiligen Modellseite. Mehr zur Methodik unter Wie wir bewerten.
Wo die Modelle stark sind
Neben der Gesamtnote zeigen wir für jedes Modell ein Fähigkeitsprofil aus sechs Säulen. So sehen Sie auf einen Blick, welches Modell in welchem Bereich führt. Jede Säule reicht von 0 bis 100. Wie die Säulen entstehen
| Modell | Programmierung | Mathematik & Logik | Wissen | Deutsch & Sprache | Agentik & Werkzeuge | Langer Kontext |
|---|---|---|---|---|---|---|
| GLM-5.2 CN | 91 | 98 | 92 | 82* | 90 | 88* |
| DeepSeek V4 Pro CN | 94 | 92* | 95 | 84* | 88* | 92 |
| Kimi K3 CN | 93 | 92* | 94 | 84* | 93 | 90* |
| Kimi K2.6 CN | 87 | 88* | 91 | 84* | 89 | 82* |
| Inkling US | 86 | 96 | 80 | 78* | 90 | 86* |
| Mistral Medium 3.5 FR | 82 | 78* | 82* | 90* | 90 | 80* |
| GLM-5.1 CN | 84 | 95 | 86 | 80* | 72 | 78* |
| Kimi K2.7-Code CN | 92 | 82* | 80* | 82* | 88 | 82* |
| Qwen 3.5 CN | 84 | 86* | 93 | 88* | 80* | 82* |
| Gemma 4 31B US | 76 | 89 | 89 | 90* | 70* | 80* |
| Agents-A1 CN | 78 | 82* | 84 | 78* | 85 | 82* |
| Qwen3.6-27B CN | 85 | 94 | 90 | 88* | 68 | 82* |
| Qwen3.6-35B-A3B CN | 78 | 93 | 90 | 87* | 72* | 82* |
| Gemma 4 26B-A4B US | 73 | 88 | 86 | 90* | 68* | 78* |
| MiniMax M3 CN | 87 | 82* | 80* | 82* | 86 | 86* |
| gpt-oss-120b US | 70 | 72* | 82 | 78* | 70* | 68* |
| Mistral Small 4 FR | 66* | 68* | 74* | 88* | 70* | 78* |
| GLM-4.7 Flash CN | 76 | 92 | 76 | 78* | 72* | 74* |
| Nemotron 3 Super US | 80* | 80* | 78* | 76* | 92 | 88* |
| North Mini Code CA | 80* | 66* | 72* | 76* | 82* | 82* |
| Nemotron-Cascade 2 US | 84 | 94 | 76* | 74* | 72* | 96 |
| IBM Granite 4.1 US | 64* | 62* | 70* | 76* | 82 | 84* |
| VibeThinker-3B CN | 80 | 94 | 64 | 55* | 55* | 48* |
| gpt-oss-20b US | 58* | 60* | 74 | 70* | 58* | 60* |
Säulen mit dem Pfeil-Symbol lassen sich sortieren, ein Klick auf die Überschrift ordnet die Matrix danach. Umrandet ist je Säule der Spitzenwert. Ein * markiert eine redaktionelle Einschätzung, weil für diese Säule bei diesem Modell kein vergleichbarer Benchmark vorlag. Mehr dazu unter Wie wir bewerten.
Modelle direkt vergleichen
Wählen Sie bis zu drei Modelle, um ihre Fähigkeitsprofile übereinanderzulegen. So sehen Sie auf einen Blick, wo eines dem anderen voraus ist.
| Säule |
|---|
* redaktionelle Einschätzung, kein belegter Benchmark. Zur Methodik
Lokale KI ist 2026 keine Notlösung mehr
Vor zwei Jahren bedeutete lokale KI Verzicht. Wer seine Daten nicht an einen US-Anbieter geben wollte, bekam ein spürbar schwächeres Modell. Das hat sich gedreht. Mit GLM-5.2 steht heute ein offenes Modell an der Spitze, das bei Programmieraufgaben mit den teuersten kommerziellen Modellen mithält. Die Gewichte sind frei verfügbar, die Lizenz erlaubt die kommerzielle Nutzung.
Für ein Unternehmen, das mit personenbezogenen Daten arbeitet, ist das die eigentliche Nachricht. Ein offenes Modell verarbeitet Ihre Daten dort, wo Sie es betreiben. Auf Ihrem eigenen Server bleibt die Verarbeitung im Unternehmen, kein externer Anbieter greift darauf zu. Das macht den Unterschied zwischen einem Datenschutz-Problem und einer sauberen Lösung, unabhängig davon, aus welchem Land das Modell stammt.
Eine Einordnung gehört dazu. Die stärksten Modelle stammen derzeit aus chinesischen Laboren, von DeepSeek, Moonshot, Zhipu, Alibaba und MiniMax. Datenschutzrechtlich zählt nicht die Herkunft des Modells, sondern der Ort der Verarbeitung. Wer die öffentliche API dieser Anbieter nutzt, schickt Daten nach China. Wer dasselbe Modell lokal oder bei einem europäischen Hoster betreibt, tut das nicht. Genau diese Unterscheidung führt die Tabelle in der Spalte DSGVO- und EU-Eignung.
Wie wir bewerten
Die Gesamtbewertung fasst drei Dimensionen zu einer Prozentzahl zusammen. Wir legen die Gewichtung offen, damit Sie die Note einordnen können. Reine Benchmark-Leistung ist nur ein Teil. Für ein Unternehmen zählt genauso, ob sich ein Modell rechtssicher betreiben und frei nutzen lässt.
Leistung
55 %Aggregierte Stärke aus dokumentierten Benchmarks für Programmierung (SWE-bench, LiveCodeBench), Reasoning (GPQA Diamond, AIME) und Wissen. Als unabhängige Orientierung gleichen wir diese Einschätzung grob mit dem Arena-Elo von arena.ai ab, übernehmen es aber nicht eins zu eins. Die Benchmark-Zahlen selbst sind bei den meisten Modellen Hersteller-Angaben, nur für einzelne wie gpt-oss und Kimi K2.6 liegt eine unabhängige Einordnung durch Artificial Analysis vor. Auf jeder Modellseite ist das ausgewiesen.
DSGVO- und EU-Eignung
30 %Lässt sich das Modell ohne Datenabfluss in ein Drittland betreiben? Lokal erfüllt das jedes offene Modell. Zusätzlich bewerten wir die belegte Verfügbarkeit bei europäischen Hostern und die Herkunft des Anbieters. Europäische Modelle bekommen hier einen Vorsprung, weil sie die Lieferkette unabhängiger machen.
Lizenz-Offenheit
15 %Wie frei dürfen Sie das Modell kommerziell nutzen, anpassen und weitergeben? Apache 2.0 und MIT erlauben das ohne Auflagen und bekommen die volle Wertung. Lizenzen mit Umsatzklauseln oder Attributionspflicht wie bei Mistral Medium 3.5 oder MiniMax M3 werden niedriger gewertet.
Der Hardware-Aufwand fließt bewusst nicht in die Note ein, sondern steht als eigene Spalte. Ein Modell, das ein Rechenzentrum braucht, ist nicht schlechter als eines für eine einzelne Grafikkarte. Es passt nur zu einem anderen Budget. Sortieren Sie die Tabelle nach der Spalte Lokal ab, wenn die Hardware für Sie der entscheidende Punkt ist.
Das Fähigkeitsprofil aus sechs Säulen
Die Gesamtnote sagt, wie gut ein Modell insgesamt zum Unternehmenseinsatz passt. Sie sagt nicht, wofür es besonders taugt. Dafür zeigen wir zusätzlich ein Fähigkeitsprofil aus sechs Säulen. Es ist unabhängig von der Gesamtnote und ändert diese nicht. Jede Säule stützt sich auf etablierte, öffentlich dokumentierte Benchmarks:
Programmierung
Code schreiben und debuggen, ganze Repositories über viele Schritte bearbeiten.
Benchmarks: SWE-bench, LiveCodeBench, Terminal-Bench
Mathematik & Logik
mehrstufiges Rechnen und logisches Schließen mit prüfbarer Lösung.
Benchmarks: AIME, HMMT, IMO/ICPC
Wissen
Fach- und Allgemeinwissen über viele Domänen hinweg.
Benchmarks: MMLU-Pro, GPQA Diamond
Deutsch & Sprache
Sprachverständnis und Mehrsprachigkeit, mit Blick auf Deutsch.
Benchmarks: MMMLU, Belebele (meist redaktionell, da selten berichtet)
Agentik & Werkzeuge
Werkzeuge selbständig aufrufen und mehrstufige Abläufe steuern.
Benchmarks: Terminal-Bench, τ-bench, BFCL, PinchBench
Langer Kontext
nutzbare Leistung über sehr lange Eingaben, nicht nur die Fenstergröße.
Benchmarks: NIAH, MRCR, RULER
Damit sich Benchmarks mit unterschiedlichen Skalen vergleichen lassen, rechnen wir jeden Rohwert baseline-korrigiert auf 0 bis 100 um, nach der Methode des HuggingFace Open LLM Leaderboards v2. Die Baseline ist die Ratewahrscheinlichkeit eines Benchmarks: Bei einer Multiple-Choice-Aufgabe mit vier Optionen liegt sie bei 25 %, ein Wert darunter zählt als 0. So ist ein 30-%-Ergebnis bei reinem Raten nichts wert, ein 30-%-Ergebnis bei einer generativen Aufgabe dagegen echt. Die Formel:
Wert = ( Rohwert − Baseline ) ÷ ( Maximum − Baseline ) × 100
Liegen für eine Säule mehrere Benchmarks vor, mitteln wir die normalisierten Werte. Ein solcher Wert ist im Profil als belegt gekennzeichnet. Fehlt für eine Säule ein vergleichbarer Benchmark, steht dort eine redaktionelle Einschätzung, im Radar mit einem Sternchen markiert. Das betrifft vor allem die Säule Deutsch und Sprache: Deutschsprachige Suiten wie MMMLU-DE oder Belebele werden von den Herstellern bislang kaum berichtet, weshalb wir die Deutsch-Stärke aus der dokumentierten Sprachabdeckung und dem Gesamtbild einordnen, statt eine Zahl vorzutäuschen. Wie bei den Benchmarks der Tabelle gilt: Die meisten Rohwerte sind Hersteller-Angaben ohne unabhängige Verifikation. Für eine belastbare Entscheidung ersetzt das Profil keinen eigenen Test im konkreten Anwendungsfall.
Welche Hardware wirklich realistisch ist
In der Spalte "Lokal ab" nennen wir die nötige Hardware-Klasse. Für die meisten Unternehmen ist eine finanzierbare Workstation der Maßstab. Rechenzentrums-Karten wie H100, A100 oder B200 sind teuer und selten praktikabel. Sie sind nur in Ausnahmefällen nötig, etwa bei sehr hohem Durchsatz mit vielen gleichzeitigen Anfragen.
NVIDIA RTX PRO 6000
96 GB, der realistische Standard
Die stärkste Einzelkarte für lokale KI, mit vollem CUDA-Ökosystem. Eine Karte trägt die meisten mittelgroßen Modelle, zwei bis drei davon auch die größeren, allerdings mit sehr starker Quantisierung. Für ein Unternehmen die naheliegende, planbare Anschaffung.
Apple Mac Studio M3 Ultra
bis 512 GB, für die größten Modelle
Durch das große Unified Memory laufen selbst Modelle mit über 200 Milliarden Parametern ohne starke Quantisierung, ganz ohne Server. Bei den größten Modellen fällt die Geschwindigkeit allerdings stark ab, die Antworten kommen dann spürbar langsam, für viele produktive Anwendungen zu langsam.
NVIDIA DGX Spark
128 GB, kompakter Desktop
Ein kompakter Desktop-Rechner mit GB10-Superchip und gemeinsamem Speicher aus CPU und GPU. Bringt CUDA und server-ähnliche Leistung auf den Schreibtisch, geeignet für kleinere und mittlere Modelle.
Wer keine eigene Hardware anschaffen will, nutzt dieselben Modelle über einen europäischen Hoster und zahlt je Anfrage. Bei der Auswahl der passenden Hardware und der Modellgröße dazu unterstützen wir gerne.
Zwei Wege zur DSGVO-konformen KI
Selbst betreiben
Sie betreiben das Modell auf eigener Hardware, im Serverraum oder auf einer Workstation. Die Verarbeitung bleibt vollständig im Unternehmen. Das ist die strengste Form der Datensouveränität und ab dauerhaft hoher Nutzung auch wirtschaftlich, weil keine Kosten je Anfrage anfallen.
Für den Einstieg eignen sich Modelle, die auf einer einzelnen Grafikkarte laufen, etwa Qwen3.6-27B, Gemma 4 31B oder gpt-oss-20b. Wer mehr Leistung braucht, plant eine Workstation-Karte wie die RTX PRO 6000 mit 96 GB ein, für die größten Modelle mehrere davon oder einen Mac Studio.
Bei einem EU-Hoster nutzen
Sie nutzen das Modell über eine API, gehostet in der EU. Anbieter wie IONOS in Deutschland, OVHcloud und Scaleway in Frankreich oder Nebius in den Niederlanden übernehmen den Betrieb. Sie zahlen je Anfrage und brauchen keine eigene Hardware.
Die Auswahl wächst, hinkt bei den allerneuesten Modellen aber noch hinterher. Breit verfügbar ist gpt-oss-120b. GLM-5.2 läuft bei Scaleway, Kimi K2.6 bei Nebius. Ein Blick in den aktuellen Katalog des Anbieters lohnt sich vor der Entscheidung.
Welcher Weg passt, hängt von Datenmenge, Nutzungsintensität und vorhandenem Know-how ab. Wir helfen bei der Auswahl und beim Aufbau. Ein Überblick über die passenden Werkzeuge steht in unserer Übersicht zur lokalen Inferenz und der KI-Hardware.
Häufige Fragen zu lokalen KI-Modellen
Antworten auf die wichtigsten Fragen rund um offene Modelle und Datenschutz
Welches lokale KI-Modell ist aktuell das beste?
Nach unserer Bewertung führt GLM-5.2 von Zhipu AI (Z.ai) das Feld an. Es liefert die stärksten dokumentierten Werte bei Programmierung und Reasoning und steht unter einer freien Lizenz. Welches Modell für Sie das richtige ist, hängt aber stark von Ihrer Hardware ab. Ein Modell wie Qwen3.6-27B läuft auf einer einzelnen Grafikkarte, GLM-5.2 braucht eine Workstation oder einen Server. Sortieren Sie die Tabelle nach der Spalte Lokal ab, wenn die Hardware für Sie entscheidend ist.
Sind chinesische KI-Modelle wie GLM, Qwen oder Kimi DSGVO-konform?
Die Frage zielt nicht auf das Modell, sondern auf den Betriebsort. Ein offenes Modell aus China ist keine Datenschutzfrage, solange Sie es auf eigener Hardware oder bei einem europäischen Hoster betreiben. Dann bleibt die Verarbeitung in Ihrer Infrastruktur. Problematisch wird es nur bei der öffentlichen Cloud-API der Anbieter, weil dabei Daten über chinesische Server laufen. Einzelne dieser Modelle sind bereits bei europäischen Hostern verfügbar, etwa GLM-5.2 bei Scaleway und Kimi K2.6 bei Nebius.
Stimmen die Benchmark-Werte in der Tabelle?
Wir geben die dokumentierten Werte an und kennzeichnen ihre Herkunft. Bei den meisten Modellen stammen die Benchmark-Zahlen vom Hersteller selbst, eine unabhängige Verifikation liegt oft noch nicht vor. Nur für einzelne Modelle wie gpt-oss und Kimi K2.6 gibt es eine unabhängige Einordnung durch Artificial Analysis. Auf der jeweiligen Modellseite weisen wir das aus. Für eine belastbare Entscheidung empfehlen wir einen eigenen Test im konkreten Anwendungsfall.
Was brauche ich, um ein KI-Modell lokal zu betreiben?
Das hängt vom Modell ab. Kleinere Modelle wie Qwen3.6-27B, Gemma 4 31B oder gpt-oss-20b laufen auf einer einzelnen Grafikkarte und sind der realistische Einstieg. Mittelgroße Modelle wie gpt-oss-120b laufen auf einer Workstation-Karte wie der RTX PRO 6000 mit 96 GB, die für die meisten Unternehmen finanzierbar ist. Die großen Modelle wie GLM-5.2, DeepSeek V4 Pro oder MiniMax M3 brauchen mehrere solcher Karten, einen Mac Studio mit viel Unified Memory oder einen Server. Rechenzentrums-GPUs wie H100, A100 oder B200 sind nur in Ausnahmefällen nötig. In unserer Tabelle steht zu jedem Modell die nötige Hardware-Klasse.
Lohnt es sich, die größten Modelle selbst zu betreiben?
Meist nicht. Die schwersten Modelle wie DeepSeek V4 Pro oder Kimi K2.6 lassen sich auf eigener Hardware betreiben, aber nur mit sehr großem Aufwand. Nötig sind mehrere Server- oder Workstation-Grafikkarten, dazu hohe Anschaffungs- und Stromkosten und laufende Wartung. Für die meisten Unternehmen rechnet sich das nicht. Selbst das in unserer Bewertung führende GLM-5.2 braucht bereits eine Workstation. Die erste Frage ist deshalb, ob man ein solches Modell überhaupt braucht. Häufig deckt ein kleineres Modell den konkreten Anwendungsfall vollständig ab. Wenn es tatsächlich eines der größten Modelle sein muss, ist der praktikable Weg fast immer ein europäischer Hoster.
Kann ich diese Modelle bei einem deutschen oder europäischen Hoster nutzen?
Ja, und das ist für viele Unternehmen der einfachste Weg. Anbieter wie IONOS in Deutschland, OVHcloud und Scaleway in Frankreich oder Nebius in den Niederlanden stellen offene Modelle über eine API bereit, gehostet in der EU. Am breitesten verfügbar ist gpt-oss-120b, das bei allen vier genannten Hostern läuft. Die Auswahl wächst, hinkt bei den allerneuesten Modellen aber noch etwas hinterher.
Was bedeutet die Prozent-Bewertung?
Die Bewertung ist eine redaktionelle Einschätzung von gewusst:KI. Sie setzt sich aus drei Teilen zusammen: Leistung zu 55 % auf Basis dokumentierter Benchmarks und grob abgeglichen mit dem Arena-Elo von arena.ai, DSGVO- und EU-Eignung zu 30 % und Lizenz-Offenheit zu 15 %. Der Hardware-Aufwand fließt bewusst nicht in die Note ein, sondern steht als eigene Spalte. Sie können die Tabelle nach jeder Spalte sortieren und so die für Sie wichtige Eigenschaft nach oben holen.
Offene KI-Modelle für Unternehmen, ehrlich verglichen
Die Auswahl an offenen Sprachmodellen ist 2026 groß geworden, und die Qualität reicht inzwischen an die kommerziellen Spitzenmodelle heran. Für Unternehmen mit Datenschutz-Anforderungen ist das die wichtigste Entwicklung der letzten Jahre. Wer bisher zwischen einem starken Modell in der US-Cloud und einer schwachen lokalen Lösung wählen musste, hat diese Wahl nicht mehr. Modelle wie GLM-5.2, DeepSeek V4 Pro oder Mistral Medium 3.5 liefern hohe Qualität und laufen vollständig unter eigener Kontrolle.
Unser Vergleich konzentriert sich auf Modelle mit offenen Gewichten, weil sich nur diese lokal oder bei einem europäischen Hoster betreiben lassen. Cloud-Dienste wie ChatGPT oder Gemini bewerten wir an anderer Stelle, in unserer KI-Tools-Datenbank. Hier geht es um die Frage, welches Modell Sie selbst in die Hand nehmen können, ohne Ihre Daten aus dem Unternehmen zu geben.
Die Tabelle aktualisieren wir, wenn neue Modelle erscheinen oder sich die Benchmark-Lage verschiebt. Das Tempo ist hoch, allein im April und Juni 2026 kamen mit GLM-5.2, Qwen 3.6, Gemma 4 und MiniMax M3 mehrere der stärksten offenen Modelle hinzu. Wenn Ihnen eine Information veraltet erscheint oder ein Modell fehlt, freuen wir uns über eine kurze Nachricht an hallo@gewusst-ki.de.
Sie überlegen, lokale KI im eigenen Unternehmen aufzubauen? Wir begleiten die Auswahl des Modells, die Hardware-Planung und den Betrieb. Einen Einstieg bietet unser Workshop zu lokaler KI oder ein direktes Gespräch.