RAG-Tools im Vergleich: R2R, Haystack oder RAGFlow?

Du willst ein RAG-System aufbauen, also eine KI, die Fragen aus deinen eigenen Dokumenten beantwortet. Der Gedanke ist schnell gefasst, und dann steht die Frage im Raum, mit welchem Werkzeug.

R2R, Haystack und RAGFlow gehören zu den meistgenutzten quelloffenen Lösungen. Alle 3 sind kostenlos, alle 3 lösen dieselbe Aufgabe, und sie tun es auf sehr verschiedene Weise. Der Unterschied liegt darin, wie viel fertig mitkommt und wie viel du selbst zusammensetzt.

Was ein RAG-System macht

RAG ist die Abkürzung für Retrieval Augmented Generation. Statt einem Modell alles beizubringen, gibst du ihm Zugriff auf deine Dokumente. Kommt eine Frage herein, sucht das System die passenden Textstellen und legt sie dem Modell zusammen mit der Frage vor. Die Antwort entsteht damit aus deinen Unterlagen und nicht aus dem, was das Modell für wahrscheinlich hält.

Wie das im Einzelnen abläuft, steht in RAG AI: Wie du der KI dein Firmenwissen beibringst. Alle 3 Werkzeuge hier übernehmen dieselben Schritte, also Dokumente einlesen, aufbereiten, durchsuchbar machen und antworten.

RAGFlow kommt mit fertiger Oberfläche

RAGFlow von InfiniFlow ist als einziges der 3 ein fertiges Produkt. Es bringt eine vollständige Oberfläche im Browser mit, in der du Dokumente hochlädst, die Wissenssammlung verwaltest und den Chat ausprobierst, ohne eine Zeile Code.

Seine Stärke liegt im Umgang mit Dokumenten. Wo andere Werkzeuge einen Text in gleich große Stücke schneiden, erkennt RAGFlow die Gliederung, also Überschriften, Tabellen und Absätze. Und es zeigt bei jeder Antwort, aus welcher Stelle welchen Dokuments sie stammt.

Version 0.24.0 vom Februar 2026 hat Anbindungen an Zendesk, Bitbucket und Seafile gebracht sowie ein besseres Gedächtnis über mehrere Fragen hinweg. Mit rund 75.000 Sternen auf GitHub ist RAGFlow das mit Abstand bekannteste der 3.

Es passt zu Unternehmen, die anfangen wollen, ohne vorher einen Entwickler einzuplanen. Der Betrieb auf dem eigenen Server ist unter Apache 2.0 kostenlos, du brauchst dafür 4 Prozessorkerne, 16 GB Arbeitsspeicher und 50 GB Platz. Kosten entstehen erst durch das Sprachmodell dahinter, entweder bei einem Anbieter oder als Strom für das lokale Modell über Ollama.

Haystack ist ein Baukasten

Haystack von deepset liefert kein fertiges Produkt, sondern die Einzelteile. Du setzt deine Strecke selbst zusammen, von der Aufbereitung der Dokumente über die Suche bis zur Anbindung des Modells. Das ist mehr Arbeit, und dafür bestimmst du jeden Schritt selbst.

Haystack spricht mit fast jedem Dienst und jeder Datenbank, die in Frage kommen, also OpenAI, Anthropic, Mistral, Hugging Face, Weaviate, Pinecone und Elasticsearch. Wer heute mit einem Modell anfängt und in einem Jahr wechselt, ändert eine Zeile statt des ganzen Systems.

Version 2.25.2 vom 5. März 2026 hat Werkzeugkataloge für Agenten hinzugefügt, die sich zur Laufzeit ändern lassen, dazu eine bessere Unterstützung für Textvorlagen in Agenten-Anweisungen. Die deepset Cloud hat einen kostenlosen Einstieg mit einer Strecke und begrenztem Speicher, für größere Umgebungen nennt deepset Konditionen auf Anfrage.

Haystack passt zu Teams mit einem Entwickler, die jede Komponente selbst bestimmen wollen oder sich an kein Modell und keine Datenbank binden möchten. Der Baukasten kostet nichts, der Aufbau und die Pflege der eigenen Strecke kosten Arbeitszeit.

R2R ist eine Schnittstelle für eigene Software

R2R von SciPhi ist von Grund auf als Schnittstelle gebaut. Deine Anwendung schickt eine Anfrage und bekommt eine Antwort, alles andere läuft im Hintergrund.

Dabei geht R2R über Suchen und Antworten hinaus. Es legt aus deinen Dokumenten selbständig einen Wissensgraphen an, hält also fest, welche Personen, Produkte, Projekte und Begriffe miteinander zu tun haben. Bei einer einfachen Frage bringt das wenig. Sobald eine Antwort aus mehreren Dokumenten zusammengesetzt werden muss, liefert R2R damit deutlich bessere Ergebnisse als eine reine Ähnlichkeitssuche.

Dazu kommt die Deep Research API. Statt eine Frage in einem Zug zu beantworten, plant R2R mehrere Suchschritte, sammelt aus verschiedenen Quellen und fasst am Ende zusammen. Das dauert länger und ist für Recherchen gedacht, nicht für den Chat zwischendurch.

R2R steht unter Apache 2.0, der Betrieb auf dem eigenen Server ist kostenlos. SciPhi betreibt zusätzlich eine Fassung in der Cloud, für die derzeit keine öffentlichen Preise vorliegen. Das Werkzeug richtet sich an Entwickler, die RAG in eine eigene Anwendung einbauen, und an alle, die Wissensgraphen oder mehrstufige Recherchen brauchen.

Der direkte Vergleich

Welches Werkzeug zu welcher Lage passt

Soll jemand aus dem Team in den eigenen Dokumenten suchen können, ohne dass vorher wochenlang gebaut wird, nimmst du RAGFlow. Es ist einsatzbereit, sobald es läuft, und das ist der Fall für die meisten mittelständischen Unternehmen ohne eigene Entwicklung.

Soll dein System mit wechselnden Modellen und Datenbanken arbeiten und dir niemand die Kombination vorschreiben, nimmst du Haystack. Das setzt einen Entwickler voraus, der die Strecke aufbaut und pflegt.

Baust du selbst Software oder einen Agenten, der Dokumente durchsuchen soll, nimmst du R2R. Besonders dann, wenn die Zusammenhänge zwischen Dokumenten zählen, wie in der Rechtsberatung, in der Forschung und im Wissensmanagement.

Was keines der 3 löst

Sieh dir deshalb vor der Auswahl den eigenen Bestand an. Liegen die Dokumente gegliedert vor, sind sie aktuell, ist klar, welche Fassung gilt? Diese halbe Stunde entscheidet mehr über das Ergebnis als die Wahl zwischen den 3 Werkzeugen.

Alle 3 laufen mit lokalen Modellen

Keines der 3 zwingt dich in die Cloud. Über Ollama als lokalen Modellserver arbeiten alle mit einem Modell auf der eigenen Hardware. Für Unternehmen mit sensiblen Unterlagen ist das der entscheidende Punkt, denn die Dokumente bleiben im Unternehmen, und je Anfrage fällt keine Abrechnung an. Wie dieser Betrieb aussieht, steht in Ollama im Unternehmen.

Fazit

Der Unterschied zwischen den 3 liegt nicht im Preis, denn auf dem eigenen Server kostet keines etwas. Er liegt darin, wie viel Arbeit vor dem ersten Ergebnis steht und wie viel Kontrolle du danach hast. RAGFlow nimmt dir die meiste Arbeit ab und gibt dir die wenigsten Stellschrauben, Haystack umgekehrt. R2R liegt dazwischen und lohnt sich, sobald aus dem RAG-System ein Baustein in eigener Software wird.

Wer sich nicht entscheiden kann, fängt mit RAGFlow an. Der Bestand, den du dafür aufbereitest, ist der eigentliche Wert, und der wandert später ohne Verlust in jedes andere Werkzeug.