Portkey – KI-Tool Test & Bewertung

Wer LLM-Anwendungen nur ausprobiert, braucht kein Gateway. Wer sie aber produktiv betreibt, merkt schnell: Kosten laufen unkontrolliert, Fehler sind schwer zu debuggen, verschiedene Modelle lassen sich schlecht vergleichen. Portkey setzt genau hier an. Als Schicht zwischen Anwendung und LLM-Anbieter fängt es jede Anfrage ab, protokolliert sie, leitet sie weiter und gibt auf Wunsch Fallbacks aus, wenn ein Modell nicht antwortet.

Wichtigste Funktionen

• Open-Source Gateway: Das Kern-Gateway steht unter MIT-Lizenz auf GitHub und lässt sich mit einem Befehl starten: npx @portkey-ai/gateway. Es funktioniert als Drop-in-Ersatz für OpenAI-kompatible APIs.
• Observability: Metriken zu Latenz, Kosten, Token-Nutzung und Fehlerquoten auf einen Blick. Welche Modelle performen, welche sind teuer, welche schlagen fehl?
• Tracing: Vollständige Request-Logs von der Eingabe bis zur Antwort. Besonders hilfreich beim Debuggen von mehrstufigen Agentic Workflows, bei denen ein Fehler tief in einer Chain steckt.
• Guardrails: Automatische Filterung von unerwünschten Prompt-Inhalten oder Antworten. Schutz gegen Jailbreaks und unerwünschte Ausgaben vor dem Erreichen der Nutzer.
• Caching: Intelligentes Caching reduziert Kosten bei wiederkehrenden Anfragen. Im Pro-Plan ist auch semantisches Caching verfügbar, das ähnliche Anfragen zusammenfasst.
• A/B-Testing und Fallbacks: Verschiedene Modelle oder Prompts im Produktivbetrieb testen. Automatischer Fallback auf alternatives Modell bei Ausfällen.

Preise und Tarife

• Dev (kostenlos): 10.000 Anfragen pro Monat, einheitlicher API-Zugriff auf 250+ Modelle, grundlegendes Observability, automatische Fallbacks und Load Balancing.
• Pro ($49/Monat, Festpreis): Erweitertes Observability mit Alerts und FinOps-Dashboard, semantisches Caching, unbegrenzte Prompt-Templates, Nutzerzugriffskontrolle.
• Enterprise (individuell): Dedizierter Support, erweiterte Sicherheits-Features, On-Premise-Optionen, SSO.

Das Self-hosted Gateway ist ohne Limits kostenlos nutzbar; Beobachtbarkeits-Features und Dashboard sind dann nicht enthalten.

Für wen ist Portkey geeignet?

• Unternehmen mit produktiven LLM-Anwendungen: Wer KI-Features in Produktion betreibt und wissen will, was sie kosten, wie zuverlässig sie funktionieren und wo Fehler auftreten.
• Security-Teams in regulierten Branchen: Guardrails, Audit-Logs und Compliance-Reports sind für Branchen wie Gesundheitswesen, Finanzdienstleister und Kanzleien relevant. Portkey ist ISO 27001, SOC 2, GDPR und HIPAA zertifiziert.
• DevOps und Platform Engineers: Wer eine interne KI-Plattform für mehrere Teams aufbaut, braucht Zugriffskontrollen, Monitoring und einen zentralen API-Endpunkt.

DSGVO und Datenschutz

Portkey ist nach ISO 27001, SOC 2, GDPR und HIPAA zertifiziert. Das Open-Source-Gateway lässt sich vollständig auf eigener Infrastruktur betreiben, so dass Anfragen und Antworten das eigene Netz nicht verlassen. Die Cloud-Plattform wird von einem US-Unternehmen betrieben; durch die Zertifizierungen und die Self-Hosting-Option ist ein DSGVO-konformer Einsatz aber möglich. Für sensible Daten empfiehlt sich die Self-hosted-Variante.

Alternativen zu Portkey

• LiteLLM:Open-Source-Alternative mit sehr ähnlichem Funktionsumfang. Stärker auf Entwickler ausgerichtet, weniger auf Enterprise-Observability.
• OpenRouter:Einfacherer Aggregator für viele LLM-Anbieter hinter einer API. Kein Self-Hosting, kein Tracing, aber deutlich schneller eingerichtet.
• Langfuse:Open-Source-Observability speziell für LLM-Anwendungen, besonders stark bei LangChain-basierten Projekten.