Lokale LLMs im Vergleich: Qwen 3.6, Gemma 4, GPT-OSS und GLM für Unternehmen

Ein Modell auf eigener Hardware war bis 2025 die Notlösung für die Fälle, in denen ChatGPT aus Datenschutzgründen ausschied, und man bezahlte sie mit spürbar schlechteren Antworten. Diese Rechnung geht nicht mehr auf. Im April 2026 hat GLM-5.1 von Z.ai bei seinem Erscheinen den SWE-bench Pro angeführt, einen Test mit echten Programmieraufgaben, und dort Claude Opus 4.6, GPT-5.4 und Gemini 3.1 Pro hinter sich gelassen. Seine Gewichte stehen unter MIT-Lizenz zum Herunterladen bereit.

LLM ist die Abkürzung für Large Language Model. Gemeint ist das Programm, das hinter ChatGPT oder Claude die Antworten schreibt. Lokal heißt, dass dieses Programm auf einem Rechner im Unternehmen rechnet und nicht bei einem Anbieter im Internet.

Für den Betrieb im Unternehmen zerfällt das Feld der offenen Modelle in 2 Gruppen, und die Grenze zieht die Hardware. Qwen 3.6 von Alibaba, Gemma 4 von Google, GPT-OSS-120B von OpenAI und GLM-4.7 Flash von Z.ai laufen auf einer Workstation oder einem kleinen Server, und diese 4 richten wir unseren Kunden am häufigsten ein. GLM-5.1, DeepSeek V4 und Kimi K2.6 sind seit dem Frühjahr 2026 ebenfalls offen lizenziert, verlangen aber einen Server mit 8 oder mehr Grafikkarten.

3 der 4 Modelle rechnen nur mit einem Bruchteil ihrer Parameter

Die Liste offener Modelle wird jeden Monat länger. Llama, Mistral, DeepSeek, Nemotron, Phi, dazu die Familien, die es nie über eine Ankündigung hinaus schaffen. Brauchbar sind die meisten, vorn liegt kaum eines.

Möglich gemacht hat den Sprung der letzten 2 Jahre eine Bauform namens Mixture-of-Experts, kurz MoE. Ein Modell dieser Bauart teilt seine Parameter in Gruppen auf und schaltet pro Anfrage nur wenige davon ein. Qwen3.6-35B-A3B wählt aus 256 solchen Gruppen aus und rechnet mit 3 der insgesamt 35 Milliarden Parameter. Das übrige Wissen bleibt im Modell, es wird bei einer einzelnen Anfrage nur nicht angefasst. Modelle, für die vor 2 Jahren ein Rechenzentrum nötig gewesen wäre, laufen deshalb heute auf einem Arbeitsplatzrechner mit einer Grafikkarte. Nur Gemma 4 in der Variante 31B geht diesen Weg nicht und rechnet mit allen Parametern gleichzeitig.

Alle 4 Familien stehen unter Apache 2.0 oder MIT. Du darfst sie im Unternehmen einsetzen, verändern und weitergeben, laufende Gebühren fallen nicht an.

Qwen 3.6 verarbeitet 262.000 Token in einem Durchgang

Alibaba hat Qwen 3.6 im April 2026 veröffentlicht. Offen verfügbar ist die Variante 35B-A3B mit 35 Milliarden Parametern, von denen 3 Milliarden pro Anfrage arbeiten. Die stärkere Qwen 3.6 Plus bleibt der hauseigenen Cloud vorbehalten.

262.000 Token sind rund 200 Seiten Text, also eine komplette Vertragssammlung oder die Dokumentation eines mittleren Projekts am Stück. Mit dem Verfahren YaRN dehnt sich dieses Fenster auf etwa 1 Million Token.

Qwen 3.6 verarbeitet Text, Bilder und Videos im selben Modell. Es schreibt Entwürfe, wertet gescannte Belege aus und liest die Fotos von einer Baustelle. Beim Programmieren löst es auf SWE-bench Verified 73,4 % der Aufgaben. Dieser Test legt einem Modell echte Fehlerberichte aus GitHub-Projekten vor und prüft, ob die eingereichte Korrektur die mitgelieferten Tests besteht. Weil pro Anfrage nur 3 der 35 Milliarden Parameter rechnen, kommt die Antwort schnell genug für flüssiges Arbeiten, auch auf einem Arbeitsplatzrechner mit einer einzelnen Grafikkarte.

Eine weitere Eigenschaft nennt Alibaba Thinking Preservation. Das Modell behält seine Zwischenschritte über mehrere Aufrufe hinweg. Ein Assistent, der erst eine Datei liest, daraus einen Entwurf schreibt und ihn danach in eine Mail setzt, verliert dabei den Faden nicht.

Im Mai 2026 hat Alibaba Qwen 3.7 in den Varianten Max und Plus vorgestellt, beide nur über die Alibaba-Cloud erreichbar. Die offenen Fassungen in den Formaten 27B und 35B-A3B sind angekündigt und bisher nicht erschienen. Für den Betrieb im eigenen Unternehmen bleibt deshalb Qwen 3.6-35B-A3B die Wahl.

Gemma 4 steht auf Platz 3 der Arena-Rangliste für offene Modelle

Google hat Gemma 4 im April 2026 veröffentlicht, erstmals unter Apache 2.0. Die Familie hat 2 große Varianten. Das 26B MoE mit 3,8 Milliarden aktiven Parametern ist auf Tempo ausgelegt und läuft auf Grafikkarten aus dem Handel. Das 31B Dense rechnet mit allen Parametern und zieht die genaueren Schlüsse.

Auf der Rangliste von Arena AI bewerten Nutzer die Antworten zweier Modelle nebeneinander, ohne zu wissen, welches sie gerade lesen. Dort steht das 31B Dense unter den offenen Modellen auf Platz 3 mit einem ELO-Wert von 1452, das 26B MoE auf Platz 6 mit 1441. Beide gehen auf dieselbe Forschung zurück wie Gemini 3, verarbeiten neben Text auch Bilder und nehmen 256.000 Token entgegen.

Gemma 4 beherrscht über 140 Sprachen und trifft im Deutschen den Ton besser als die Modelle aus China. Wo der Text selbst das Ergebnis ist, in der Antwort an einen Kunden oder im Schriftsatz einer Kanzlei, spart das eine Runde Nacharbeit. Beim Rechnen erreicht das 31B Dense 89,2 % auf AIME 2026, einem Aufgabensatz aus der Mathematik-Olympiade, und 84,3 % auf GPQA Diamond, dessen Fragen aus Physik, Chemie und Biologie auf Promotionsniveau stammen.

Das 31B Dense nimmt außerdem eigenes Material besonders gut an. Nachtrainieren heißt, einem fertigen Modell so lange zusätzliche Beispiele vorzulegen, bis es deren Sprache übernimmt. Eine Steuerkanzlei bekommt damit ein Modell, das ihre Begriffe kennt, eine Klinik eines, das die medizinische Terminologie beherrscht, und dafür braucht es keine eigene Forschungsabteilung.

Beide Varianten rufen Funktionen im Zielsystem auf und geben ihre Antwort auf Wunsch als JSON aus, also in einem Format, das ein anderes Programm ohne Nacharbeit weiterverarbeitet. Damit arbeiten sie auch in Abläufen mit, die das Modell über mehrere Schritte selbst erledigt. Das 26B MoE taugt als Assistent für den laufenden Tag, das 31B Dense übernimmt, wenn eine Analyse ansteht, die Durchsicht von Programmcode oder eine Aufgabe über mehrere Denkschritte.

Bei GPT-OSS-120B stellst du ein, wie lange das Modell nachdenkt

OpenAI hat im August 2025 sein erstes frei verfügbares Modell herausgegeben. GPT-OSS-120B ist auf logisches Denken und auf Rechenaufgaben ausgelegt und gehört dort zu den stärksten offenen Modellen.

Die Denktiefe stellst du selbst ein. Eine Routinefrage bekommt die kurze Stufe, die Prüfung einer Kalkulation die lange. Das spart Rechenzeit an den Stellen, an denen sie niemand braucht.

Das Modell spielt seine Stärke bei Aufgaben aus, die mehrere Schritte hintereinander verlangen. Eine Kalkulation nachrechnen, einen Datensatz auswerten, in einem Vertrag die Stelle finden, an der 2 Klauseln einander widersprechen. Wo andere Modelle im zweiten oder dritten Schritt anfangen zu raten, rechnet GPT-OSS weiter.

Bilder und Videos verarbeitet GPT-OSS nicht. Nach Angaben von OpenAI ist das Absicht, das Modell sei auf genaues Denken ausgelegt. Wer Belege scannen oder Fotos auswerten will, stellt ein zweites Modell daneben. Für kreative Texte und für Bildanalyse sind Qwen 3.6 und Gemma 4 ohnehin die bessere Wahl.

GLM-5.1 hat als erstes offenes Modell den SWE-bench Pro angeführt

Z.ai, früher Zhipu AI, richtet die GLM-Familie ganz auf Software-Entwicklung aus. Für den Betrieb auf einer einzelnen Grafikkarte gibt es GLM-4.7 Flash mit 30 Milliarden Parametern, von denen 3 Milliarden rechnen. Ab 24 GB Grafikspeicher läuft es, etwa auf einer NVIDIA RTX 4090.

Auf SWE-bench Verified löst GLM-4.7 Flash 59,2 % der Aufgaben und liegt damit hinter Qwen 3.6. Seine Vorteile liegen woanders. Das Modell behält seinen Gedankengang über mehrere Nachrichten hinweg, sodass man bei einer längeren Fehlersuche nicht nach jedem Versuch den ganzen Zusammenhang neu erklärt. Es denkt und arbeitet außerdem gleichzeitig, statt erst einen vollständigen Plan aufzuschreiben und ihn danach am Stück umzusetzen. Das kommt der Art näher, wie Entwickler tatsächlich vorgehen.

Das Flaggschiff GLM-5.1 hat 754 Milliarden Parameter, davon 40 Milliarden aktiv, nimmt 200.000 Token entgegen und steht seit April 2026 unter MIT-Lizenz auf Hugging Face. Bei seinem Erscheinen führte es den SWE-bench Pro an, den härteren der beiden Praxistests. Vorher hatte kein offen verfügbares Modell die kommerzielle Spitze auf diesem Test geschlagen. Inzwischen ist sie mit Claude Opus 5 weitergezogen, doch der Abstand zwischen offen und kommerziell ist kleiner als je zuvor.

Der Eigenbetrieb kostet Platz. Der Download umfasst rund 1,5 TB, und die Gewichte verteilen sich auf mehrere Grafikkarten. Wer das Modell erst einmal ausprobieren will, erreicht es über den Coding Plan von Z.ai ab rund 9 Euro im Monat.

Rechenaufgaben löst die GLM-Familie ebenfalls zuverlässig, gebaut ist sie aber für Software. Für allgemeine Texte, für Übersetzungen und für die Auswertung von Dokumenten sind Qwen 3.6 und Gemma 4 die bessere Wahl.

3 offene Modelle, die einen Server mit 8 Grafikkarten verlangen

GLM-5.1 ist nicht allein geblieben. Innerhalb weniger Wochen kamen DeepSeek V4 und Kimi K2.6 dazu, beide offen lizenziert und beide zu groß für eine Workstation.

DeepSeek hat V4 im April 2026 unter MIT-Lizenz veröffentlicht, in 2 Varianten. V4-Pro hat 1,6 Billionen Parameter, davon 49 Milliarden aktiv, V4-Flash 284 Milliarden mit 13 Milliarden aktiv. Beide nehmen bis zu 1 Million Token in einem Durchgang entgegen, ein Vielfaches dessen, was die Workstation-Modelle schaffen. V4-Pro war das erste offene Modell, das beim Programmieren und beim logischen Denken in Schlagdistanz zu Claude Opus 4.7 und GPT-5.5 kam, zu einem Bruchteil der Kosten.

Kimi K2.6 von Moonshot AI ist für Arbeit über viele Schritte gebaut, also für Aufgaben, die das Modell ohne Zwischenfrage bis zum Ende bringt. Es hat 1 Billion Parameter, davon 32 Milliarden aktiv, nimmt 256.000 Token entgegen und erreicht auf SWE-bench Pro 58,6 %. Damit liegt es unter den offenen Modellen derzeit vorn. Die Gewichte stehen unter einer leicht angepassten MIT-Lizenz bereit.

Diese Modelle kommen in Frage, sobald ein Unternehmen die passenden Server betreibt. Wer sie ohne eigene Hardware ausprobieren will, nutzt die Cloud des jeweiligen Anbieters, und dafür gilt der Vorbehalt weiter unten unter Datenschutz.

Die 4 lokalen LLMs nebeneinander

Welches lokale LLM passt zu welcher Arbeit?

In unseren Projekten läuft meistens ein einziges Modell. Welches es wird, entscheidet sich an den Aufgaben, die im Unternehmen tatsächlich anfallen.

Qwen 3.6 deckt davon den größten Teil ab. Texte, Zusammenfassungen, Übersetzungen, die Auswertung von Bildern und das Programmieren liegen alle zwischen solide und sehr gut, schwach ist das Modell bei nichts davon. Wer nur ein Modell einrichten will, richtet dieses ein.

Gemma 4 lohnt sich dort, wo deutsche Texte den Hauptteil der Arbeit ausmachen, also in der Kundenkommunikation, in Berichten und in juristischen Schriftstücken. Das 31B Dense nimmt zusätzlich eigenes Vokabular an. Das schnellere 26B MoE reicht für einen einzelnen Arbeitsplatz.

GPT-OSS-120B nehmen wir, wenn mehrstufige Auswertungen anstehen. Ein Steuerberater lässt damit Jahresabschlüsse auf Plausibilität prüfen, und weil sich die Denktiefe einstellen lässt, kostet die Routinefrage zwischendurch trotzdem keine Minuten.

Für Software-Entwicklung ist GLM-4.7 Flash die lokale Wahl. Fremden Code versteht das Modell besser, als es neuen schreibt, und genau darauf kommt es bei der Fehlersuche und beim Arbeiten über mehrere Dateien hinweg an. Wer die Server-Hardware dafür hat, nimmt GLM-5.1.

Unternehmen mit eigener Server-Infrastruktur haben mit GLM-5.1, DeepSeek V4 und Kimi K2.6 offene Modelle auf dem Niveau der kommerziellen Spitze zur Verfügung. Für den Einstieg und für den einzelnen Arbeitsplatz bleiben die 4 kompakten die pragmatische Wahl.

Eine Grafikkarte für einen Nutzer, 4 für ein Team

Für einen einzelnen Nutzer reicht eine Workstation mit einer NVIDIA RTX 4090 oder RTX A6000, also 24 bis 48 GB Grafikspeicher, dazu mindestens 64 GB Arbeitsspeicher und eine schnelle SSD. Darauf laufen Qwen 3.6, Gemma 4 26B MoE und GLM-4.7 Flash flüssig.

Ein Team von 5 bis 20 Leuten braucht einen eigenen Server mit 2 bis 4 NVIDIA RTX 6000 zu je 48 GB und mindestens 96 GB Arbeitsspeicher. Darauf laufen auch die größeren Modelle wie GPT-OSS-120B und Gemma 4 31B Dense, und mehrere Anfragen kommen gleichzeitig durch.

Zum Ausprobieren genügt ein Apple Mac Studio mit 96 GB oder mehr gemeinsamem Speicher. Für den täglichen Betrieb mit mehreren Nutzern empfehlen wir Server mit NVIDIA-Karten, weil sie in derselben Zeit deutlich mehr Anfragen beantworten.

Die Modelle der offenen Oberklasse sind eine eigene Größenordnung. GLM-5.1, DeepSeek V4-Pro und Kimi K2.6 belegen je nach Quantisierung, also je nachdem wie stark die Gewichte für den Betrieb verkleinert werden, mehrere hundert Gigabyte bis über ein Terabyte. Der Eigenbetrieb verlangt einen Server mit 8 oder mehr Grafikkarten und lohnt im Mittelstand erst, wenn eine Aufgabe ansteht, die kein kleineres Modell erledigt.

Mit der Wahl des Modells ist die Arbeit nicht getan. Jemand muss den Server aufsetzen, die Zugänge fürs Team einrichten und beim nächsten Modellwechsel wissen, welche Datei wohin gehört. Diesen Teil übernehmen wir mit senqo Lokale KI, und welche der 4 Familien es wird, klären wir in einer Beratung an deinen eigenen Aufgaben.

In unseren Projekten ist Datenschutz der Grund für den lokalen Betrieb

Kaum ein Unternehmen ruft uns an, weil es ein Sprachmodell haben möchte. Der Anlass ist fast immer ein Bestand, der das Unternehmen nicht verlassen darf, also Mandantenakten, Patientendaten oder Konstruktionszeichnungen.

Alle 4 Familien stehen unter Apache 2.0 oder MIT und dürfen ohne Auflagen auf eigener Hardware laufen. Laufende Lizenzgebühren fallen nicht an, die Kosten sind Hardware und Strom. Wie sich ein solcher Betrieb einrichten und im Alltag halten lässt, beschreiben wir auf Lokale KI ohne Cloud.

Für die 3 großen offenen Modelle gilt eine Einschränkung. GLM-5.1, DeepSeek V4 und Kimi K2.6 sind auch über die Cloud ihrer Anbieter erreichbar, und dort rechnen sie auf Servern in China. Für personenbezogene Daten kommt dieser Weg nach DSGVO nicht in Frage. Wer die Modelle trotzdem einsetzen will, lädt die offenen Gewichte herunter und betreibt sie selbst. Bei kleineren Anforderungen erledigt GLM-4.7 Flash die Arbeit auf einer einzelnen Grafikkarte.

Die Messwerte stammen bis auf wenige Ausnahmen von den Herstellern selbst, und niemand hat die 4 Familien bisher unabhängig nebeneinander nachgemessen. Wir probieren deshalb in jedem Projekt an den echten Dokumenten des Unternehmens aus, welches Modell die Arbeit besser erledigt. Manchmal ist es nicht das mit dem höheren Wert in der Tabelle.