Ollama in Unternehmen: Lokale KI ohne Datenabfluss

Ein Sprachmodell auf einem Rechner im Unternehmen besteht aus 2 Teilen, der Modelldatei mit den Gewichten und einem Programm, das sie ausführt. Ollama ist dieses Programm. Nach der Installation lädt ein einzelner Befehl das Modell herunter und startet es. Danach beantwortet der Rechner Fragen, auch wenn das Netzwerkkabel gezogen ist.

Für Kanzleien mit Mandantenakten, Praxen mit Patientendaten und Fertigungsbetriebe mit Konstruktionszeichnungen entscheidet genau dieser Punkt. ChatGPT, Claude und Gemini rechnen auf Servern ihrer Anbieter, und was dort eingegeben wird, regelt der Vertrag mit dem Anbieter.

Ollama läuft im Hintergrund und wartet auf Anfragen

Ollama startet einen Dienst auf dem Rechner, an den sich andere Programme wenden. Ein Chat-Fenster im Browser, eine Auswertung in Dify, ein eigenes Skript, alle sprechen dieselbe Schnittstelle an. Die Modelldatei liegt auf der Festplatte und wird von dort geladen.

# Modell herunterladen und direkt starten
ollama run qwen3.5

# Ollama als Server starten, etwa für Open WebUI oder Dify
ollama serve

# Alle heruntergeladenen Modelle anzeigen
ollama list

Das war die Einrichtung. Der Aufwand liegt danach, bei der Frage, welches Modell die Arbeit erledigt und auf welcher Hardware es rechnet.

4 offene Modelle, die im Unternehmen ihre Arbeit tun

Qwen3.6-35B-A3B von Alibaba deckt den größten Teil der Aufgaben ab. Von 35 Milliarden Parametern rechnen pro Anfrage nur 3 Milliarden, weil das Modell seine Parameter in Gruppen aufteilt und je Anfrage nur wenige davon einschaltet. Es läuft auf einer Grafikkarte mit 24 GB, wertet neben Text auch Bilder und Videos aus und steht unter Apache 2.0, ist also ohne Gebühren im Unternehmen einsetzbar. Wer keine eigene Hardware hat, erreicht es bei Scaleway in Frankreich.

Nemotron 3 Super von NVIDIA ist auf Abläufe ausgelegt, die das Modell über mehrere Schritte selbst plant und abarbeitet. 120 Milliarden Parameter insgesamt, 12 Milliarden je Anfrage aktiv. Auf PinchBench, einem Test für solche mehrstufigen Abläufe, erreicht es nach Angaben von NVIDIA 85,6 % und liegt damit unter den offenen Modellen vorn. Die Lizenz stammt von NVIDIA selbst und ist enger gefasst als Apache 2.0 oder MIT.

Gemma 4 31B von Google rechnet mit allen Parametern gleichzeitig und passt trotzdem auf eine 24-GB-Karte. Es versteht Bild und Video, beherrscht über 140 Sprachen und trifft im Deutschen den Ton besser als die Modelle aus China. Wo der geschriebene Text selbst das Ergebnis ist, in der Antwort an einen Kunden oder im Schriftsatz, spart das eine Runde Nacharbeit.

Mistral Small 4 von Mistral AI kommt aus Frankreich und steht ebenfalls unter Apache 2.0. Von 119 Milliarden Parametern arbeiten 6,5 Milliarden je Anfrage, komprimiert belegt das Modell rund 60 GB. Es kommt in Frage, wenn die europäische Herkunft im Unternehmen ein Argument ist.

Die Werte für den Speicher gelten für komprimierte Fassungen, bei denen die Gewichte für den Betrieb verkleinert werden. Wer das Modell in voller Genauigkeit fahren will, rechnet mit dem Doppelten.

Was bleibt im Unternehmen, wenn das Modell dort rechnet?

Die Eingaben. Bilanzen, Kundendaten und Kalkulationen werden auf dem Rechner verarbeitet, auf dem das Modell liegt, und niemand außerhalb bekommt sie zu sehen. Ein Auftragsverarbeitungsvertrag entfällt, ebenso die Frage, was in den Nutzungsbedingungen eines amerikanischen Anbieters im nächsten Jahr steht.

Die Kosten verschieben sich von der laufenden Rechnung zur einmaligen Anschaffung. Cloud-Anbieter rechnen je Anfrage oder je Nutzer und Monat ab, Ollama ist quelloffen und kostenlos, die Ausgaben stecken in der Hardware und im Strom.

Dazu kommt die Anbindung an das eigene Material. Ein Modell aus dem Netz kennt die interne Wartungsvorschrift nicht, und über ein RAG-System bekommt es Lesezugriff darauf, ohne dass die Dokumente den Rechner verlassen.

Aus 3.000 PDFs wird eine Antwort mit Seitenzahl

Der häufigste Anlass für lokale KI in unseren Projekten ist ein gewachsener Dokumentenbestand. Handbücher, technische Zeichnungen, Wartungsprotokolle, Mail-Archive. Das Wissen liegt vor, aber wer die Vorschrift zu einer bestimmten Anlage sucht, findet mit der Suche des Dateiservers nur Dateinamen und Schlagworte.

RAG ist die Abkürzung für Retrieval Augmented Generation, ein zweistufiges Verfahren. Zuerst durchsucht ein Programm die Dokumente nach den Textstellen, die zur Frage passen. Diese Stellen bekommt das Sprachmodell zusammen mit der Frage vorgelegt, und daraus schreibt es die Antwort. Weil beide Schritte auf demselben Rechner laufen, bleiben die Dokumente dort, wo sie liegen.

Fragt ein Monteur nach der Störung an einer Presse, sucht das System in den hinterlegten Handbüchern, formuliert die Antwort und nennt die Fundstelle, etwa "Wartungshandbuch 2023, Seite 14". Wie das im Detail funktioniert, steht im Artikel RAG AI: Wie du der KI dein Firmenwissen beibringst, den Aufbau beschreibt der Praxisguide zum RAG-System.

Ohne Oberfläche arbeitet niemand damit

Ollama selbst ist ein Dienst ohne Fenster. Damit im Unternehmen jemand damit arbeitet, kommt eine Oberfläche davor.

Open WebUI ist die naheliegende Wahl für den Anfang. Es sieht aus wie ChatGPT, läuft aber auf dem eigenen Server. Mehrere Leute arbeiten gleichzeitig damit, Chats bleiben gespeichert, das Modell wechselst du per Klick.

AnythingLLM und Dify gehen darüber hinaus. Dort lädst du Dokumente hoch, baust eigene Wissenssammlungen auf und richtest Abläufe ein, die mehrere Schritte hintereinander abarbeiten. Wer das Modell als Baustein in einem Prozess braucht und nicht als Chatfenster, fängt gleich dort an.

Ein Gerät für alle statt einer Karte je Arbeitsplatz

Ein eigenes Rechenzentrum braucht dafür niemand. Ein Arbeitsplatzrechner mit einer NVIDIA RTX 5090 hat 32 GB Grafikspeicher und kostet fertig konfiguriert ab 5.599 Euro. Darauf laufen Gemma 4 31B und Qwen3.6-35B-A3B flüssig, mit genug Platz für lange Dokumente.

Sollen mehrere Abteilungen gleichzeitig zugreifen, führt der Weg über Geräte mit gemeinsamem Speicher. Der ASUS Ascent GX10 mit 128 GB beginnt bei 3.999 Euro, der baugleiche NVIDIA DGX Spark bei 5.399 Euro, ein Mac Studio M3 Ultra mit 96 GB bei 5.999 Euro. Alle Preise Stand August 2026. Ab dieser Klasse laufen auch Mistral Small 4 und Laguna S 2.1 samt der Suchstrecke, die ein RAG-System dazu braucht.

Bei Apple teilen sich Hauptprozessor und Grafikeinheit denselben Speicher, und zwar mit hoher Bandbreite. Sprachmodelle lesen bei jeder Antwort große Teile ihrer Gewichte, deshalb zahlt sich das aus.

Diese Geräte stehen nicht an jedem Schreibtisch. Ein Gerät ist der interne KI-Server, auf den das Team über das eigene Netz zugreift, so wie auf einen Drucker oder ein Netzlaufwerk.

Woran der Einstieg meistens scheitert

Zu klein gewählte Modelle sind der häufigste Grund für Enttäuschung. Wer an der Hardware spart und ein Modell mit 3 Milliarden Parametern einsetzt, wo eines mit 14 Milliarden gebraucht würde, bekommt Antworten, die niemand übernehmen will.

Ebenso oft fehlt die Aufgabe. Ollama ohne einen Vorgang zu installieren, den es erledigen soll, führt zu einem Dienst, der auf einem Server läuft und den niemand aufruft. Erst der Vorgang, dann das Werkzeug.

Wer die Leute nicht einbezieht, bekommt ein Werkzeug, das keiner benutzt. Ein Modell, das im Haus steht, aber niemand weiß, wofür es taugt und was es nicht kann, verschwindet nach 3 Wochen aus dem Alltag.

Und die Erwartung an das Ergebnis muss stimmen. Die offenen Modelle sind gut geworden, in einzelnen Bereichen liegen GPT-5.6 und Claude Opus 5 weiter vorn. Wer die beste verfügbare Antwort braucht und keine Datenschutzauflagen hat, ist mit einem Cloud-Dienst schneller am Ziel.

Wo Ollama aufhört

Für den täglichen Betrieb mit mehreren Nutzern gehören ein Server, die Zugänge fürs Team und ein Weg dazu, wie beim nächsten Modellwechsel alles wieder an seinen Platz kommt. Diesen Teil übernehmen wir mit senqo Lokale KI. Wer im Team zuerst das Grundverständnis aufbauen will, fängt beim KI-Grundlagen-Workshop an.