Crawl4AI: KI-Tool Test & Bewertung

Wer Webinhalte für KI-Anwendungen aufbereitet, landet schnell bei der Frage, ob jede Seite durch einen kostenpflichtigen Dienst laufen muss. Crawl4AI beantwortet sie mit einer Python-Bibliothek, die auf dem eigenen Rechner arbeitet und keinen API-Schlüssel verlangt. Der erste Crawl kommt mit 9 Zeilen Python aus.

Im Juni 2026 hat Version 0.9.0 den mitgelieferten Docker-Server umgebaut. Er verlangt jetzt ab Werk ein Token und lauscht ohne Token nur lokal, Anfragen mit eigenem Browser-Code weist er ab. Firmen, die den Server im Firmennetz betreiben, starten damit von einem abgesicherten Standardzustand aus.

Wichtigste Funktionen

• Markdown für Sprachmodelle: Crawl4AI wirft Navigation, Werbung und Fußzeilen aus dem HTML und gibt strukturiertes Markdown zurück, das direkt in eine RAG-Pipeline (KI-Antworten aus eigenen Dokumenten) oder als Kontext an ein Sprachmodell geht. Die Links einer Seite hängt es auf Wunsch als nummerierte Quellliste an.
• Drei Wege zur Datenextraktion: CSS-Selektoren und XPath greifen regelbasiert zu, ohne dass ein einziger Modellaufruf anfällt. Für unstrukturierte Seiten übernimmt ein Sprachmodell die Extraktion nach vorgegebenem Schema. Semantic Chunking gruppiert Inhalte nach thematischer Ähnlichkeit. Die CSS-Schemata erzeugt die kostenlose Chrome-Erweiterung Crawl4AI Assistant per Klick auf die Seitenelemente.
• Adaptives Crawling: Statt einer Website blind bis zur letzten Seite zu folgen, misst der AdaptiveCrawler laufend, wie gut die gesammelten Seiten eine Frage abdecken, wie stimmig sie zueinander sind und ab wann nichts Neues mehr dazukommt. Er hört von selbst auf, sobald die Frage beantwortet ist. Bei großen Portalen spart das Rechenzeit und Modellkosten.
• MCP-Zugang für KI-Agenten: Der Docker-Server stellt seine Werkzeuge über das Model Context Protocol bereit, per Server-Sent-Events oder WebSocket. Ein Agent wie Claude Code holt sich damit Markdown, HTML, Screenshots oder PDFs einer Seite selbst, ohne dass Sie dafür Code schreiben.
• Browser-Steuerung über Playwright: Crawl4AI startet einen echten Chromium. Damit kommen auch Seiten durch, die ihre Inhalte per JavaScript nachladen, endlos weiterscrollen oder mit Bot-Erkennung arbeiten. Sitzungen und Proxys nutzen Sie mehrfach, für hartnäckige Fälle gibt es einen getarnten Browser-Modus.
• Abgesicherter Server für den Eigenbetrieb: Der Docker-Container bringt eine FastAPI-Schnittstelle, ein Überwachungs-Dashboard und eine Testoberfläche mit. Seit 0.9.0 sind Authentifizierung, TLS-Prüfung und ein passwortgeschütztes Redis Standard, und der Server nimmt weder Hook-Code noch Browser-Startparameter über das Netz entgegen. Vorher waren dort mehrere kritische Lücken offen, die das Projekt im Lauf des Juni 2026 mit den Vorgängerversionen geschlossen hat.

Preise und Tarife

Crawl4AI ist unter Apache-2.0 kostenlos, ohne Credits, Registrierung oder Ratenbegrenzung durch einen Dienstleister. Kosten entstehen an zwei anderen Stellen, nämlich beim Rechner oder Server, auf dem die Crawls laufen, und bei den Modellaufrufen, falls Sie die LLM-gestützte Extraktion nutzen. Der regelbasierte Weg über CSS und XPath kommt ganz ohne solche Aufrufe aus.

Eine gehostete Variante läuft seit Sommer 2026 unter api.crawl4ai.com in geschlossener Beta, ausgewiesen mit rund 0,86 Euro je 1.000 Seiten (0,001 USD pro Seite). Das passende SDK liegt seit dem 28.06.2026 auf PyPI. Für Vorrang beim Support oder einen direkten Kontakt zu den Entwicklern gibt es GitHub Sponsors mit Stufen von rund 4,30 Euro, 43 Euro, 430 Euro und 1.720 Euro im Monat (5, 50, 500 und 2.000 USD). Die Beträge in diesem Abschnitt sind Nettopreise, die Umsatzsteuer kommt jeweils noch dazu.

Für wen ist Crawl4AI geeignet?

• Entwicklerteams, die eine RAG-Pipeline aufbauen: Crawl4AI liefert den Eingabetext für die Embedding-Modelle, ohne dass jemand HTML von Hand nachbearbeitet. Wie so eine Pipeline im Ganzen aussieht, steht im Artikel RAG-System aufsetzen: Die beste Konfiguration mit wenig Aufwand.
• Organisationen, die Crawls im Firmennetz halten müssen: Der Docker-Server läuft hinter der eigenen Firewall, seit 0.9.0 mit Token-Pflicht und ohne offenen Port nach außen. Für Kanzleien, Behörden oder Industriebetriebe, die interne Portale und Intranetseiten durchsuchbar machen wollen, ist das die Grundvoraussetzung.
• Teams mit hohem Seitenvolumen: Ein Credit-Modell oder eine fremde Ratenbegrenzung bremst hier niemanden. Sie skalieren über Ihre eigene Hardware, und bei regelbasierter Extraktion zahlen Sie keinen Cent pro Seite.

DSGVO und Datenschutz

Die Bibliothek selbst arbeitet ohne Anbindung an einen Dienst. Alles läuft auf dem Rechner oder Server, den Sie betreiben, und die Apache-2.0-Lizenz erlaubt den kommerziellen Einsatz ohne Auflagen.

Nach draußen schickt die LLM-gestützte Extraktion Seiteninhalte an den Anbieter, den Sie konfigurieren. Mit einem lokalen Modell umgehen Sie das. Dazu kommt seit Sommer 2026 die gehostete Cloud-Variante, betrieben vom Projektgründer aus Singapur. Ihr fehlen ein ausgewiesener EU-Serverstandort und ein öffentlich einsehbarer Auftragsverarbeitungsvertrag.

Deshalb führen wir Crawl4AI nicht mehr als DSGVO-konform. Beim Betrieb im eigenen Rechenzentrum mit regelbasierter Extraktion oder einem lokalen Modell ist die Lage datenschutzrechtlich unkritisch. Für die Cloud brauchen Sie eine eigene Prüfung samt Vertrag und Drittlandbewertung. Davon unabhängig bleibt das automatisierte Auslesen fremder Seiten eine rechtliche Frage für sich, denn die Nutzungsbedingungen der gecrawlten Seite gelten weiter.

Alternativen zu Crawl4AI

• Firecrawl: Wenn Sie den Betrieb abgeben wollen, ist Firecrawl die naheliegende Wahl. Es übernimmt dieselbe Aufgabe als fertige API mit MCP-Anbindung, kostet ab rund 14 Euro im Monat und steht unter AGPL-3.0, deren Auflagen beim Eigenbetrieb strenger sind als bei Apache-2.0.
• Jina Reader: Für einzelne Seiten ist das der schnellste Weg, weil Sie nur r.jina.ai/ vor die URL setzen. Eine Einrichtung entfällt, dafür haben Sie keine Kontrolle über Browser, Proxys oder Crawl-Tiefe.
• R2R: R2R setzt eine Stufe später an. Wenn Sie neben der Beschaffung auch Suche und Antwortgenerierung brauchen, bekommen Sie hier ein vollständiges RAG-System, das die Markdown-Ausgabe von Crawl4AI als Eingabe nimmt.