Haystack im Test

Die EU-Kommission hat ihre interne KI-Plattform AI@EC auf Haystack aufgebaut. Sie läuft auf Rechnern der Kommission selbst. 68 Personen aus 29 Generaldirektionen haben darauf nach Angaben von deepset 316 Pipelines gebaut, die produktiv laufen oder zum Ausrollen bereitstehen, und ein eigenes Gremium prüft jedes Vorhaben gegen die EU-Datenschutzverordnung EUDPR und die KI-Verordnung.

Wichtigste Funktionen

• Pipelines aus einzelnen Bausteinen: Eine Haystack-Anwendung setzt sich aus Dokumentenspeicher, Retriever für die Suche, Ranker für die Reihenfolge der Treffer, Prompt Builder und Sprachmodell zusammen, und diese Bausteine verbindest du im Code ausdrücklich miteinander. Jeder Schritt bleibt einzeln prüfbar und austauschbar. Version 3.0 hat die bis dahin getrennten Klassen für synchrone und asynchrone Ausführung zu einer einzigen zusammengeführt.
• Eingriffspunkte in Agentenläufe: Ein Agent ruft an 6 Stellen eigenen Code auf, unter anderem vor dem Modellaufruf sowie vor und nach jedem Werkzeugeinsatz. So hältst du den Agenten an, bis ein Mensch eine heikle Aktion freigibt, etwa das Verschicken einer Mail oder das Schreiben in ein Fachsystem.
• Kostenkontrolle pro Agentenlauf: Der Agent gibt Schrittzahl, Tokenverbrauch und Werkzeugaufrufe direkt aus. Aus diesen Zahlen baust du eine Budgetregel, die einen Lauf stoppt, bevor er teuer wird. deepset hat dieses Vorgehen zum Start von 3.0 als eigenes Rezept veröffentlicht.
• Mitgelieferte Agenten und durchsuchbare Werkzeugkataloge: Das Agent Pack enthält fertig gebaute Agenten, darunter einen für mehrstufige Recherche und einen für anspruchsvolle RAG-Abläufe. Das SkillToolset zeigt einem Agenten nur die Werkzeuge, die er gerade braucht, statt den ganzen Katalog in jeden Modellaufruf zu packen. Bei großen Werkzeugsammlungen sinkt dadurch der Tokenverbrauch.
• Breite Modellunterstützung: Haystack bindet OpenAI, Anthropic, Mistral, Cohere, Hugging Face, jeden OpenAI-kompatiblen Endpunkt und lokale Modelle ein. Ein Anbieterwechsel betrifft nur diesen einen Baustein, die übrige Pipeline bleibt unverändert. Das hält die Anbieterbindung gering.
• Geprüftes Laden gespeicherter Pipelines: Beim Einlesen einer abgelegten Pipeline lässt Haystack 3.0 nur freigegebene Module zu und blockiert gefährliche Aufrufe wie eval und exec. Das zählt, sobald Pipeline-Definitionen aus fremder Hand kommen. Zugleich sind 30 Komponenten in eigene Integrationspakete gewandert, eine Standardinstallation bringt dadurch merklich weniger Abhängigkeiten mit.

Preise und Tarife

Haystack kostet nichts. Es steht unter Apache 2.0, du installierst es mit pip install haystack-ai und darfst es ohne Auflagen kommerziell nutzen. Kosten entstehen erst im Betrieb, also durch Server und Grafikkarte für lokale Modelle oder durch die Gebühren des Modellanbieters, sobald du eine externe API einbindest.

Darüber liegen 2 kommerzielle Angebote. Haystack Enterprise Starter bringt geprüfte Pipeline-Vorlagen, Ausrollanleitungen für AWS, Azure, Google Cloud und den eigenen Serverraum, bis zu 4 Stunden Fernberatung im Monat, E-Mail-Support durch die Kernentwickler sowie verlängerten Versionssupport für bis zu 6 Monate. Die Haystack Enterprise Platform, bis Dezember 2025 unter dem Namen deepset AI Platform geführt, ergänzt Betrieb, Auswertung und Überwachung produktiver Anwendungen und läuft wahlweise als verwaltete Cloud oder auf eurer eigenen Hardware bis hin zum abgeschotteten Netz. Einen Listenpreis nennt deepset für keines der beiden Angebote und vereinbart die Kosten im Gespräch, gestaffelt nach Unternehmensgröße. Auch der Eintrag im AWS Marketplace führt nur auf ein individuelles Vertragsangebot.

Was deepset in einem solchen Angebot aufruft, sind Nettobeträge, zu denen die Umsatzsteuer noch hinzukommt.

Für wen ist Haystack geeignet?

• Behörden und Verwaltungen mit EU-Auflagen: Ein Vorhaben im Kreis Borken hat die Bearbeitung von Pflegeanträgen nach Angaben von deepset um ein Drittel verkürzt. Zusammen mit AI@EC zeigt das, dass mit Haystack gebaute Anwendungen die Datenschutzprüfung im öffentlichen Sektor bestehen.
• Entwicklungsteams, die aus einem Prototyp ein Produktivsystem machen: In der offenen Pipeline-Architektur testet und verbessert ihr jeden Schritt getrennt. Bei wachsendem Dokumentenbestand grenzt ihr die Ursache einer schlechten Antwort so auf einen einzelnen Schritt ein.
• Python-erfahrene Teams ohne Bedarf an einer grafischen Oberfläche: Haystack richtet sich an Entwickler. Mit Python-Kenntnissen und API-Erfahrung kommt ihr schnell zu einem tragfähigen RAG-System und seid dabei freier als mit einer Klick-Oberfläche.

DSGVO und Datenschutz

Verantwortlich für Haystack ist die deepset GmbH in der Zinnowitzer Straße 1 in Berlin, ein zweiter Standort liegt in New York. Haystack selbst überträgt nichts an deepset. Wohin Daten fließen, entscheidet allein die Pipeline, die du baust. Bindest du OpenAI oder Anthropic ein, gelten deren Bedingungen. Mit lokalen Modellen bleibt die gesamte Verarbeitung auf eurer eigenen Hardware, und AI@EC zeigt, dass dieser Weg auch in großem Maßstab funktioniert.

Für die gehostete Haystack Enterprise Platform führt deepset SOC 2 Type II, ISO 27001, HIPAA und CSA STAR Level 1 auf, veröffentlicht aber weder eine Rechenzentrumsregion noch einen einsehbaren Auftragsverarbeitungsvertrag. In der Datenschutzerklärung stehen weder Auftragsverarbeiter noch Standardvertragsklauseln, für die Webseite erwähnt sie jedoch Google Analytics samt Speicherung in den USA. Für ein grünes Datenschutz-Kennzeichen reicht das nicht, auch wenn der Anbieter in Deutschland sitzt. Vor Vertragsschluss lässt du dir Auftragsverarbeitungsvertrag und Serverstandort schriftlich geben. Im Selbstbetrieb mit lokalen Modellen erfüllt ihr die technischen Anforderungen der DSGVO dagegen selbst, ohne einen weiteren Auftragsverarbeiter einzuschalten.

Alternativen zu Haystack

• R2R: Bringt mehr ab Werk mit, darunter Graphen-RAG und eine eingebaute Nutzerverwaltung. Bei eigenen Pipelines ist R2R weniger beweglich als Haystack und dafür schneller einsatzbereit.
• Langflow: Grafischer Baukasten für RAG-Abläufe unter MIT-Lizenz, aktiv gepflegt. Die Einstiegshürde liegt deutlich niedriger als bei Haystack, die Kontrolle über die einzelnen Schritte ist geringer. Seit Flowise eingestellt wird, ist Langflow unter den grafischen Baukästen die naheliegende Wahl.
• LangChain: Hat von allen die meisten fertigen Integrationen. LangChain schiebt mehr Abstraktionsschichten zwischen dich und das Modell als Haystack und schleppt dabei einiges an Ballast mit, liefert für Standardfälle aber die größere Beispielsammlung aus der Community.