AnythingLLM im Test

Für den Chat mit eigenen Dokumenten brauchst du sonst eine Vektordatenbank und ein passendes Embedding-Modell, die du erst einrichten und miteinander verbinden musst. AnythingLLM überspringt das. LanceDB ist eingebaut, du installierst die Desktop-App oder startest einen Docker-Container, lädst deine Dokumente hoch und chattest sofort. Mit Version 1.15 vom 25. Juni 2026 diktiert und überarbeitet die Anwendung Text auch in Word, im Browser oder im Mailprogramm. Das Projekt hat auf GitHub über 64.000 Sterne.

Wichtigste Funktionen

• Eingebaute Vektordatenbank: LanceDB steckt direkt in der Anwendung. Du brauchst keine separate Chroma-, Weaviate- oder Pinecone-Instanz, die du zusätzlich warten müsstest.
• Model Router: Seit Version 1.13 legst du Regeln fest, welches Modell eine Anfrage bearbeitet. Eine kurze Rückfrage geht an ein lokales Modell, eine Vertragsanalyse an ein starkes Cloud-Modell, und zwar im selben Chatverlauf. Als Auslöser dienen Stichwörter, die Länge der Anfrage, die Uhrzeit oder angehängte Bilder.
• Magic-Funktionen: Ein Tastenkürzel diktiert Text an der Cursorposition, ein zweites wendet KI-Aktionen wie Zusammenfassen oder Übersetzen auf markierten Text an, dazu kommt eine Autovervollständigung beim Tippen. Das funktioniert in jeder Anwendung unter Windows und macOS, Linux unterstützt AnythingLLM dafür nicht.
• Meeting-Assistent: AnythingLLM zeichnet Besprechungen auf und transkribiert sie mit NVIDIA Parakeet auf deinem Rechner. Seit Juni 2026 rechnen dabei auch Intel- und AMD-Grafikkarten mit, und eine Sprechererkennung ordnet die Wortbeiträge den Teilnehmern zu. Das Transkript wertest du anschließend per Chat aus oder leitest Aufgaben daraus ab.
• Agenten und geplante Aufgaben: Das Model Context Protocol ist als Kernfunktion integriert, du hängst MCP-Server an und gibst Agenten damit Zugriff auf externe Werkzeuge. Seit April 2026 gibt es fertige Anbindungen an Gmail, Outlook und Google Kalender. Wiederkehrende Läufe wie ein Morgenbriefing planst du über einen grafischen Cron-Builder, und der Assistent merkt sich Angaben aus früheren Gesprächen für spätere Antworten.
• Chat-Widget und Mehrbenutzerbetrieb: Ein Chatbot auf deiner Webseite antwortet auf Basis deiner eigenen Dokumente, ohne dass du eine externe KI-API einbinden musst. Intern arbeiten mehrere Personen mit getrennten Arbeitsbereichen und eigenen Berechtigungen auf derselben Installation.

Preise und Tarife

Die Desktop-App für Windows, macOS und Linux und die Docker-Version für den Server sind kostenlos, die MIT-Lizenz erlaubt den kommerziellen Einsatz ohne Einschränkung. Seit Juni 2026 gibt es mit AnythingLLM Pro erstmals ein Bezahlangebot für die Desktop-App. Die Magic-Funktionen bleiben auch ohne Konto nutzbar, haben in der Gratisfassung aber ein Tageskontingent, das die Pro-Lizenz aufhebt. Den Preis dieser Lizenz führt Mintplex Labs weder auf der Preisseite noch in der Dokumentation auf, er wird erst im Bestellvorgang sichtbar. Wer die gehostete Cloud-Version möchte, zahlt im Basic-Tarif rund 43 Euro im Monat (50 USD) und im Pro-Tarif rund 85 Euro (99 USD), jeweils für eine eigene Instanz mit eigener Subdomain und mitgebrachtem API-Schlüssel. Der Unternehmenstarif mit Installation im eigenen Rechenzentrum, Anmeldung über SSO und rollenbasierten Rechten wird individuell verhandelt. Laufende Kosten entstehen darüber hinaus durch die genutzten Modelle, bei Anbietern wie Claude, ChatGPT oder Gemini pro Anfrage, bei lokalen Modellen über die Hardware.

Für wen ist AnythingLLM geeignet?

• Unternehmen mit eigenen Dokumenten: Interne Handbücher, Verträge oder Produktinformationen machst du mit AnythingLLM per Chat zugänglich, ohne selbst ein RAG-System zu bauen. Die Desktop-App installierst du wie jedes andere Programm, für den Betrieb auf einem Server brauchst du Docker und jemanden, der den Container betreut. Danach lädst du deine Dokumente hoch, wählst ein Modell und fragst im Chat ab.
• Kanzleien, Steuerberatungen und Arztpraxen: Über den Model Router legst du fest, welche Anfrage ein lokales Modell bearbeitet und welche an ein Cloud-Modell gehen darf. Allgemeine Aufgaben übernimmt dann ein starkes Cloud-Modell, Mandanten- und Patientenakten leitet die Regel an das lokale Modell.
• Entwickler und Agenturen: Das Chat-Widget und die MCP-Integration machen AnythingLLM zur Basis für Kundenprojekte. Einen KI-Chatbot für eine Unternehmenswebseite richtest du damit ohne eigene Entwicklung ein.

DSGVO und Datenschutz

AnythingLLM betreibst du vollständig selbst, als Desktop-App oder als Docker-Container auf einem eigenen Server, mit lokalen Modellen und der eingebauten Vektordatenbank. Die gesamte Verarbeitung bleibt dann auf deiner Hardware. Sobald du ein Cloud-Modell einbindest, gehen Anfragen und Dokumentinhalte an die API des jeweiligen Anbieters, und dessen Bedingungen zur Speicherung und zum Training gelten. Nach eigener Dokumentation erhebt AnythingLLM anonyme Nutzungsdaten und keine personenbezogenen Daten, diese Übermittlung schaltest du in den Einstellungen ab. Der Meeting-Assistent transkribiert mit NVIDIA Parakeet auf dem Gerät, unabhängig vom eingestellten Sprachmodell, und für die Magic-Funktionen gilt dasselbe, solange du dort kein Cloud-Modell hinterlegst. Die gehostete Cloud-Version betreibt das US-Unternehmen Mintplex Labs. Für Daten mit hohem Schutzbedarf passt deshalb die selbst betriebene Fassung. Der Unternehmenstarif sieht dafür die Installation im eigenen Rechenzentrum vor.

Alternativen zu AnythingLLM

• R2R: Produktionsreife RAG-Engine mit erweiterten Such- und Agenten-Funktionen, für anspruchsvollere technische Umgebungen geeignet.
• Open WebUI: Oberfläche für lokale Modelle mit RAG-Funktion und größerer Community, aber ohne die eingebaute Vektordatenbank von AnythingLLM.
• ChromaDB: Reine Vektordatenbank als Baustein für eigene RAG-Anwendungen, erfordert mehr Eigenentwicklung.