LiteLLM
LiteLLM-Ausgaben, direkt neben Ihrer Cloud-Rechnung.
Cloud Intelligence™ erfasst die Ausgaben, die Ihr selbst gehosteter LiteLLM-Proxy bei jedem Aufruf misst – aufgeschlüsselt nach Provider, Modell, Virtual Key, Team, Feature und Endkunde. Direkt neben Ihren übrigen AI- und Cloud-Ausgaben.
Open-Source-Exporter · Liest niemals Prompts oder Responses · Abfrage alle 5 Minuten
LiteLLM · OctoberWas wir importieren
LiteLLM-Daten in den Dimensionen, mit denen Sie bereits arbeiten.
Jeder Modellaufruf wird auf Standard-Dimensionen von Cloud Analytics abgebildet – plus Labels für Provider, Modell, Virtual Key, Team, Feature, Kunde und Tag.
LiteLLManthropicclaude-sonnet-5Was Sie damit erreichen
Von Gateway-Logs zur fundierten Entscheidung
Kosten pro Feature
Aufschlüsselung nach Feature, Kunde, Virtual Key, Team oder Tag.
Feature-Tag-Abdeckung
Sehen Sie, welcher Anteil der Ausgaben ein Feature-Label trägt.
Provider im Vergleich
Tokens und geschätzte Kosten pro Upstream-Provider, direkt nebeneinander.
GenAI Intelligence
LiteLLM neben Ihren anderen AI-Providern in einem Dashboard.
Budgets und Alerts
Leitplanken für Gateway-Ausgaben, bevor die Provider-Rechnungen eintreffen.
Allocations
Ordnen Sie LiteLLM-Ausgaben Teams und Kunden zu – per Key oder Label.
In Minuten startklar
LiteLLM in drei Schritten verbinden
API-Token erstellen.
In Ihrem Profil, mit dem Scope DataHubAdmin. Wird nur einmal angezeigt.
Exporter starten.
Ein kleiner Container neben Ihrem Proxy. Ihr LiteLLM-Admin-Key bleibt lokal.
Ausgaben in Minuten.
Events erscheinen etwa 15 Minuten nach dem Export in Cloud Analytics.
Open Source, Apache-2.0. Sie können den Exporter jederzeit stoppen.
Kostenlos startenFrequently asked
questions
Wie funktioniert die LiteLLM-Integration?
Sie betreiben den quelloffenen litellm-datahub-exporter neben Ihrem Proxy. Er fragt die Spend-APIs Ihres Proxys ab und sendet Events an die DataHub-API – wir benötigen also keinen Netzwerkzugriff auf Ihre Umgebung.
Was brauche ich, bevor ich starte?
Einen selbst gehosteten LiteLLM-Proxy ab Version 1.65 mit aktiviertem Spend-Logging, eine DataHub-Subscription in Ihrem Tarif und ein API-Token mit dem Scope DataHubAdmin. Bei Proxys der 1.65-Generation betreiben Sie den Exporter im Daily-Modus.
Sind die Kosten ein Rechnungswert?
Nein. LiteLLM schätzt die Kosten anhand seiner Modell-Preisliste und der gemeldeten Tokens – betrachten Sie sie daher als Showback. Jedes Event trägt das Label cost_basis: estimated, und Sie können die Werte mit unseren Anthropic- und OpenAI-Integrationen abgleichen.
Wie aktuell sind die Daten, und wie viel Historie kann ich importieren?
Der Exporter fragt standardmäßig alle fünf Minuten ab, und Events erscheinen etwa 15 Minuten nach dem Versand. Setzen Sie BACKFILL_DAYS beim ersten Start; die Historie ist durch Ihre Spend-Log-Aufbewahrung und das Zwei-Jahres-Fenster von DataHub begrenzt.
Wie ordne ich Ausgaben Features und Kunden zu?
Setzen Sie den OpenAI-Parameter user für den Kunden und übergeben Sie ein Feature in spend_logs_metadata. Team und Virtual Key stammen aus dem LiteLLM-Key, Tags aus den LiteLLM-Request-Tags.
Sieht der Exporter meine Prompts?
Nein. Der Exporter liest oder überträgt niemals Prompt- oder Response-Inhalte, und Ihr LiteLLM-Admin-Key verlässt niemals Ihr Netzwerk.
LiteLLM verbinden. Wissen, was jeder Modellaufruf kostet.
Open-Source-Exporter. Ausgaben in Minuten sichtbar.