Lokale KI: Was ist das und was bringt sie im Unternehmen?

Die Personalabteilung formuliert eine Kündigung, der Vertrieb bereitet ein Angebot mit Kalkulationsdaten vor, die Buchhaltung wertet Quartalsberichte aus. Überall könnte eine KI Arbeit abnehmen. Bei ChatGPT oder Google Gemini gehen diese Texte allerdings an Server in den USA, und in den Gesprächen, die wir führen, ist das Thema an dieser Stelle meistens erst einmal erledigt.

Was bedeutet lokale KI?

Ein Sprachmodell läuft auf einem Server oder einer Workstation im eigenen Unternehmen. Es wird einmal heruntergeladen, dort betrieben und steht danach allen Mitarbeitern zur Verfügung. Kein externer Anbieter ist daran beteiligt.

Technisch sind es dieselben Sprachmodelle, die auch hinter ChatGPT und Claude stecken. Der Unterschied liegt darin, dass viele Hersteller ihre Modelle als offene Gewichte veröffentlichen. Unternehmen laden sie kostenlos herunter und betreiben sie auf eigener Hardware.

Warum das Thema gerade jetzt aufkommt

Die offenen Modelle sind 2026 so weit, dass sie für die üblichen Aufgaben im Unternehmen reichen. Gleichzeitig gilt die KI-Verordnung ab dem 02.08.2026 in weiten Teilen, und die Bundesnetzagentur ist in Deutschland die zuständige Aufsicht. Wer personenbezogene Daten mit KI verarbeitet, muss belegen können, wo das passiert.

Beim lokalen Betrieb ist dieser Beleg kurz. Es gibt keinen Dritten, keinen Server in den USA und keinen Zugriff nach dem US CLOUD Act. Im Gesundheitswesen, in Kanzleien, in der Steuerberatung und in der Produktion ist das häufig die einzige Fassung, die rechtlich hält. Den ausführlichen Vergleich beider Wege gibt es im Artikel Lokale KI vs. Cloud-KI.

Welche Modelle dafür taugen

Alle 3 arbeiten mit einer Expertenaufteilung, im Fach Mixture-of-Experts genannt. Das Modell teilt seine Parameter in Gruppen auf und schaltet pro Anfrage nur wenige davon ein. Deshalb laufen Modelle mit 35 bis 120 Milliarden Parametern heute auf Hardware, die vor 2 Jahren für diese Größe nicht gereicht hätte.

Was ein Unternehmen dafür braucht

Für erste Versuche reicht ein Arbeitsplatzrechner mit einer RTX 5090 und 32 GB Grafikspeicher. Greifen mehrere Abteilungen gleichzeitig zu, kommt ein Gerät mit 128 GB gemeinsamem Speicher dazu oder ein Server mit einer professionellen Karte. Mistral Small 4 braucht verkleinert rund 60 GB, Nemotron 3 Super in FP8 eine Karte mit 96 GB. Dem stehen bei 30 Beschäftigten rund 7.700 Euro im Jahr an Cloud-Lizenzen gegenüber, und zwar jedes Jahr wieder. Welche Geräte in welcher Klasse liegen, steht in der Kaufberatung.

Auf der Softwareseite hat sich Open WebUI durchgesetzt. Es bringt die Oberfläche im Browser mit, dazu Nutzerverwaltung, Rechte, das Hochladen von Dokumenten und die Anbindung an euer Firmenwissen. Im Hintergrund führt Ollama die Modelle auf der Hardware aus.

Die Auswahl des Modells, das Auslegen der Hardware und die Anbindung an die vorhandenen Systeme brauchen Erfahrung. Diesen Teil übernehmen wir mit senqo Lokale KI und richten den Betrieb so ein, dass eure IT ihn ohne uns weiterführt. Ob sich der Aufwand für deinen Fall lohnt, klären wir vorher in einer Beratung.

Wofür Unternehmen sie einsetzen

Am ehesten dort, wo empfindliche Daten im Spiel sind. Mails formulieren, Angebote schreiben, aus Stichpunkten ein Protokoll machen, Berichte entwerfen. Das Modell kennt dabei den Zusammenhang im Unternehmen, weil es die eigenen Dokumente mitlesen kann.

Beim Prüfen von Verträgen, beim Auswerten von Rechnungen und beim Durchsuchen technischer Unterlagen kommt hinzu, dass Modelle wie Qwen3.6 und Mistral Small 4 auch gescannte PDF-Dateien und Bilder verstehen.

Mit RAG, ausgeschrieben Retrieval Augmented Generation, verbindest du das Sprachmodell mit dem Firmenwissen. Die Leute stellen dann ihre Frage und bekommen die Antwort aus den eigenen Unterlagen, mit Angabe der Fundstelle.

Für Zahlenarbeit reicht oft schon ein kleineres Modell. CSV-Dateien auswerten, eine Kalkulation nachrechnen, Auffälligkeiten in einer Tabelle finden.

Welche Einsatzmöglichkeiten es sonst gibt, steht im Artikel KI-Tools im Überblick. Wer direkt mit dem Wissenssystem anfangen will, liest den Praxisguide zum RAG-System.

Was lokale KI nicht kann

Bei langen Analysen, bei fein abgestuften Texten in Fremdsprachen und bei kreativer Arbeit auf hohem Niveau liefern GPT-5.6 und Claude Opus 5 weiterhin die besseren Ergebnisse. Der Abstand wird kleiner, verschwunden ist er nicht.

Dazu kommt, dass der Betrieb Arbeit macht. Modellauswahl, Auslegung der Hardware, Anbindung an die vorhandenen Systeme und die Updates laufen nicht nebenher. Ohne jemanden, der sich zuständig fühlt, steht die Maschine nach einem halben Jahr ungenutzt im Serverraum.

Der Einstieg, Schritt für Schritt

1. Sieh nach, wo empfindliche Daten anfallen, bei denen eine KI Arbeit abnehmen würde, etwa beim Prüfen von Verträgen, beim Schreiben von Angeboten oder im internen Wissensmanagement.
2. Lass ein einzelnes Team damit an echten Aufgaben arbeiten. Dabei zeigt sich innerhalb weniger Tage, wo es hilft und wo nicht.
3. Beschaff die Hardware nach dem, was dieser Testlauf ergeben hat, und stell die KI danach den übrigen Abteilungen bereit.
4. Schul die Leute. Ohne eine Einweisung in Möglichkeiten und Grenzen bleibt auch das beste Modell liegen.

Den technischen Einstieg auf der Softwareseite beschreibt der Artikel Ollama in Unternehmen. Wie eine fertige Lösung aussieht, steht auf der Seite Lokale KI ohne Cloud. Alle hier genannten Werkzeuge und Modelle stehen mit Preisen, Lizenzen und Bewertung in der KI-Tools-Datenbank.

Ein Punkt bleibt offen, und der lässt sich vorher nicht ausrechnen. Ob die lokale KI im Alltag benutzt wird, entscheidet sich nicht an der Grafikkarte, sondern daran, ob jemand im Unternehmen erreichbar ist, wenn sie am Dienstagmorgen eine falsche Antwort gibt.