LiteLLM
✓ geprüft, Sync 2026-08-20LiteLLM is an LLM Gateway (OpenAI Proxy) designed to manage authentication, load balancing, and spend tracking across 100+ LLMs, all while maintaining the OpenAI format. It simplif….
Was es tut.
LiteLLM ist ein LLM-Gateway (OpenAI-Proxy), das entwickelt wurde, um Authentifizierung, Load Balancing und Spend-Tracking über 100+ LLMs zu verwalten, während das OpenAI-Format beibehalten wird. Es vereinfacht den Prozess der Verwendung von LLM-APIs von verschiedenen Anbietern wie OpenAI, Azure, Cohere, Anthropic, Replicate und Google. LiteLLM bietet konsistente Outputs und Ausnahmen für alle LLM-APIs zusammen mit Logging und Fehlerverfolgung für alle Modelle. Es bietet Funktionen wie Kostenverfolgung, Batches-API, Guardrails, Modellzugang, Budgets, LLM-Beobachtbarkeit, Rate-Limiting, Prompt-Management, S3-Logging und Pass-Through-Endpunkte.
Funktionen
- LLM-Gateway für 100+ LLMs
- OpenAI-kompatible API
- Kostenverfolgung und Budgetmanagement
- LLM-Fallbacks
- Load Balancing
- Rate Limiting
- Prompt-Management
- Logging und Fehlerverfolgung