AnythingLLM: KI-Tool Test & Bewertung

Für den Chat mit eigenen Dokumenten brauchen Sie sonst eine Vektordatenbank und ein passendes Embedding-Modell, die Sie erst einrichten und miteinander verbinden müssen. AnythingLLM überspringt das. LanceDB ist eingebaut, Sie installieren die Desktop-App oder starten einen Docker-Container, laden Ihre Dokumente hoch und chatten sofort. Mit Version 1.15 vom 25. Juni 2026 diktiert und überarbeitet die Anwendung Text auch in Word, im Browser oder im Mailprogramm. Das Projekt hat auf GitHub über 64.000 Sterne.

Wichtigste Funktionen

• Eingebaute Vektordatenbank: LanceDB steckt direkt in der Anwendung. Sie brauchen keine separate Chroma-, Weaviate- oder Pinecone-Instanz, die Sie zusätzlich warten müssten.
• Model Router: Seit Version 1.13 legen Sie Regeln fest, welches Modell eine Anfrage bearbeitet. Eine kurze Rückfrage geht an ein lokales Modell, eine Vertragsanalyse an ein starkes Cloud-Modell, und zwar im selben Chatverlauf. Als Auslöser dienen Stichwörter, die Länge der Anfrage, die Uhrzeit oder angehängte Bilder.
• Magic-Funktionen: Ein Tastenkürzel diktiert Text an der Cursorposition, ein zweites wendet KI-Aktionen wie Zusammenfassen oder Übersetzen auf markierten Text an, dazu kommt eine Autovervollständigung beim Tippen. Das funktioniert in jeder Anwendung unter Windows und macOS, Linux unterstützt AnythingLLM dafür nicht.
• Meeting-Assistent: AnythingLLM zeichnet Besprechungen auf und transkribiert sie mit NVIDIA Parakeet auf Ihrem Rechner. Seit Juni 2026 rechnen dabei auch Intel- und AMD-Grafikkarten mit, und eine Sprechererkennung ordnet die Wortbeiträge den Teilnehmern zu. Das Transkript werten Sie anschließend per Chat aus oder leiten Aufgaben daraus ab.
• Agenten und geplante Aufgaben: Das Model Context Protocol ist als Kernfunktion integriert, Sie hängen MCP-Server an und geben Agenten damit Zugriff auf externe Werkzeuge. Seit April 2026 gibt es fertige Anbindungen an Gmail, Outlook und Google Kalender. Wiederkehrende Läufe wie ein Morgenbriefing planen Sie über einen grafischen Cron-Builder, und der Assistent merkt sich Angaben aus früheren Gesprächen für spätere Antworten.
• Chat-Widget und Mehrbenutzerbetrieb: Ein Chatbot auf Ihrer Webseite antwortet auf Basis Ihrer eigenen Dokumente, ohne dass Sie eine externe KI-API einbinden müssen. Intern arbeiten mehrere Personen mit getrennten Arbeitsbereichen und eigenen Berechtigungen auf derselben Installation.

Preise und Tarife

Die Desktop-App für Windows, macOS und Linux und die Docker-Version für den Server sind kostenlos, die MIT-Lizenz erlaubt den kommerziellen Einsatz ohne Einschränkung. Seit Juni 2026 gibt es mit AnythingLLM Pro erstmals ein Bezahlangebot für die Desktop-App. Die Magic-Funktionen bleiben auch ohne Konto nutzbar, haben in der Gratisfassung aber ein Tageskontingent, das die Pro-Lizenz aufhebt. Den Preis dieser Lizenz führt Mintplex Labs weder auf der Preisseite noch in der Dokumentation auf, er wird erst im Bestellvorgang sichtbar. Wer die gehostete Cloud-Version möchte, zahlt im Basic-Tarif rund 43 Euro im Monat (50 USD) und im Pro-Tarif rund 85 Euro (99 USD), jeweils für eine eigene Instanz mit eigener Subdomain und mitgebrachtem API-Schlüssel. Der Enterprise-Tarif mit Installation im eigenen Rechenzentrum, Anmeldung über SSO und rollenbasierten Rechten wird individuell verhandelt. Laufende Kosten entstehen darüber hinaus durch die genutzten Modelle, bei Anbietern wie Claude, ChatGPT oder Gemini pro Anfrage, bei lokalen Modellen über die Hardware.

Für wen ist AnythingLLM geeignet?

• Unternehmen mit eigenen Dokumenten: Interne Handbücher, Verträge oder Produktinformationen machen Sie mit AnythingLLM per Chat zugänglich, ohne selbst ein RAG-System zu bauen. Die Desktop-App installieren Sie wie jedes andere Programm, für den Betrieb auf einem Server brauchen Sie Docker und jemanden, der den Container betreut. Danach laden Sie Ihre Dokumente hoch, wählen ein Modell und fragen im Chat ab.
• Kanzleien, Steuerberatungen und Arztpraxen: Über den Model Router legen Sie fest, welche Anfrage ein lokales Modell bearbeitet und welche an ein Cloud-Modell gehen darf. Allgemeine Aufgaben übernimmt dann ein starkes Cloud-Modell, Mandanten- und Patientenakten leitet die Regel an das lokale Modell.
• Entwickler und Agenturen: Das Chat-Widget und die MCP-Integration machen AnythingLLM zur Basis für Kundenprojekte. Einen KI-Chatbot für eine Unternehmenswebseite richten Sie damit ohne eigene Entwicklung ein.

DSGVO und Datenschutz

AnythingLLM betreiben Sie vollständig selbst, als Desktop-App oder als Docker-Container auf einem eigenen Server, mit lokalen Modellen und der eingebauten Vektordatenbank. Die gesamte Verarbeitung bleibt dann auf Ihrer Hardware. Sobald Sie ein Cloud-Modell einbinden, gehen Anfragen und Dokumentinhalte an die API des jeweiligen Anbieters, und dessen Bedingungen zur Speicherung und zum Training gelten. Nach eigener Dokumentation erhebt AnythingLLM anonyme Nutzungsdaten und keine personenbezogenen Daten, diese Übermittlung schalten Sie in den Einstellungen ab. Der Meeting-Assistent transkribiert mit NVIDIA Parakeet auf dem Gerät, unabhängig vom eingestellten Sprachmodell, und für die Magic-Funktionen gilt dasselbe, solange Sie dort kein Cloud-Modell hinterlegen. Die gehostete Cloud-Version betreibt das US-Unternehmen Mintplex Labs. Für Daten mit hohem Schutzbedarf passt deshalb die selbst betriebene Fassung. Der Enterprise-Tarif sieht dafür die Installation im eigenen Rechenzentrum vor.

Alternativen zu AnythingLLM

• R2R: Produktionsreife RAG-Engine mit erweiterten Such- und Agenten-Funktionen, für anspruchsvollere technische Umgebungen geeignet.
• Open WebUI: Oberfläche für lokale Modelle mit RAG-Funktion und größerer Community, aber ohne die eingebaute Vektordatenbank von AnythingLLM.
• ChromaDB: Reine Vektordatenbank als Baustein für eigene RAG-Anwendungen, erfordert mehr Eigenentwicklung.