Portkey: KI-Tool Test & Bewertung

Wer LLM-Anwendungen nur ausprobiert, braucht kein Gateway. Wer sie aber produktiv betreibt, merkt schnell, dass Kosten unkontrolliert laufen, Fehler schwer zu finden sind und verschiedene Modelle sich schlecht vergleichen lassen. Portkey setzt genau hier an. Als Schicht zwischen Anwendung und LLM-Anbieter fängt es jede Anfrage ab, protokolliert sie, leitet sie weiter und schaltet auf Wunsch auf ein Ausweichmodell um, wenn ein Modell nicht antwortet.

Wichtigste Funktionen

• Open-Source Gateway: Das Kern-Gateway steht unter MIT-Lizenz auf GitHub und lässt sich mit einem Befehl starten: npx @portkey-ai/gateway. Es funktioniert als direkter Ersatz für OpenAI-kompatible APIs.
• Monitoring: Kennzahlen zu Latenz, Kosten, Token-Nutzung und Fehlerquoten auf einen Blick. Welche Modelle laufen gut, welche sind teuer, welche schlagen fehl?
• Nachverfolgung (Tracing): Vollständige Protokolle jeder Anfrage von der Eingabe bis zur Antwort. Besonders hilfreich beim Suchen von Fehlern in mehrstufigen Agenten-Workflows, bei denen ein Fehler tief in einer Verarbeitungskette steckt.
• Schutzregeln (Guardrails): Automatische Filterung unerwünschter Prompt-Inhalte oder Antworten. Schutz gegen Manipulationsversuche und unerwünschte Ausgaben, bevor sie die Nutzer erreichen.
• Caching: Intelligentes Caching reduziert Kosten bei wiederkehrenden Anfragen. Im Pro-Plan ist auch semantisches Caching verfügbar, das ähnliche Anfragen zusammenfasst.
• A/B-Testing und Fallbacks: Verschiedene Modelle oder Prompts im Produktivbetrieb testen. Automatischer Fallback auf alternatives Modell bei Ausfällen.

Preise und Tarife

• Dev (kostenlos): 10.000 Anfragen pro Monat, einheitlicher API-Zugriff auf über 250 Modelle, grundlegendes Monitoring, automatische Ausweichmodelle und Lastverteilung.
• Pro (rund 42,60 Euro/Monat, 49 USD, Festpreis): erweitertes Monitoring mit Alarmen und Kosten-Dashboard, semantisches Caching, unbegrenzte Prompt-Vorlagen, Nutzerzugriffskontrolle.
• Enterprise (individuell): dedizierter Support, erweiterte Sicherheits-Features, Betrieb im eigenen Rechenzentrum, SSO.

Das selbst gehostete Gateway ist ohne Limit kostenlos nutzbar, die Monitoring-Oberfläche und das Dashboard sind dann nicht enthalten.

Für wen ist Portkey geeignet?

• Unternehmen mit produktiven LLM-Anwendungen: Wer KI-Features in Produktion betreibt und wissen will, was sie kosten, wie zuverlässig sie funktionieren und wo Fehler auftreten.
• Security-Teams in regulierten Branchen: Guardrails, Audit-Logs und Compliance-Reports sind für Branchen wie Gesundheitswesen, Finanzdienstleister und Kanzleien relevant. Portkey ist ISO 27001, SOC 2, GDPR und HIPAA zertifiziert.
• DevOps und Platform Engineers: Wer eine interne KI-Plattform für mehrere Teams aufbaut, braucht Zugriffskontrollen, Monitoring und einen zentralen API-Endpunkt.

DSGVO und Datenschutz

Portkey ist nach ISO 27001, SOC 2, GDPR und HIPAA zertifiziert. Das Open-Source-Gateway lässt sich vollständig auf eigener Infrastruktur betreiben, so dass Anfragen und Antworten das eigene Netz nicht verlassen. Die Cloud-Plattform wird von einem US-Unternehmen betrieben; durch die Zertifizierungen und die Self-Hosting-Option ist ein DSGVO-konformer Einsatz aber möglich. Für sensible Daten empfiehlt sich die Self-hosted-Variante.

Alternativen zu Portkey

• LiteLLM: Open-Source-Alternative mit sehr ähnlichem Funktionsumfang. Stärker auf Entwickler ausgerichtet, weniger auf Monitoring für große Organisationen.
• OpenRouter: einfacherer Aggregator für viele LLM-Anbieter hinter einer API. Kein Self-Hosting, keine Nachverfolgung, aber deutlich schneller eingerichtet.
• Langfuse: Open-Source-Monitoring speziell für LLM-Anwendungen, besonders stark bei LangChain-basierten Projekten.