LiteLLM
La spesa LiteLLM, accanto alla fattura cloud.
Cloud Intelligence™ importa la spesa che il suo proxy LiteLLM self-hosted misura a ogni chiamata, etichettata per provider, modello, virtual key, team, funzionalità e cliente finale. Accanto al resto della sua spesa AI e cloud.
Exporter open-source · Non legge mai prompt o risposte · Polling ogni 5 minuti
LiteLLM · Octobercosa importiamo
I dati LiteLLM, nelle dimensioni che già utilizza.
Ogni chiamata al modello viene mappata sulle dimensioni standard di Cloud Analytics, con etichette per provider, modello, virtual key, team, funzionalità, cliente e tag.
LiteLLManthropicclaude-sonnet-5cosa può fare con questi dati
Dai log del gateway a una decisione
Costi per funzionalità
Segmenti la spesa per funzionalità, cliente, virtual key, team o tag.
Copertura dei tag di funzionalità
Veda quanta parte della spesa è associata a un'etichetta di funzionalità.
Provider a confronto
Token e costi stimati per ogni provider upstream, fianco a fianco.
GenAI Intelligence
LiteLLM accanto agli altri suoi provider AI, in un'unica dashboard.
Budget e avvisi
Soglie di controllo sulla spesa del gateway prima che arrivino le fatture dei provider.
Allocazioni
Attribuisca la spesa LiteLLM a team e clienti, per chiave o etichetta.
operativo in pochi minuti
Colleghi LiteLLM in tre passaggi
Crei un token API.
Dal suo profilo, con lo scope DataHubAdmin. Viene mostrato una sola volta.
Esegua l'exporter.
Un piccolo container accanto al suo proxy. La sua admin key LiteLLM resta in locale.
Spesa visibile in pochi minuti.
Gli eventi compaiono in Cloud Analytics circa 15 minuti dopo l'export.
Open source, licenza Apache-2.0. Può interrompere l'exporter in qualsiasi momento.
Inizia gratisFrequently asked
questions
Come funziona l'integrazione LiteLLM?
Esegue il litellm-datahub-exporter open-source accanto al suo proxy. L'exporter interroga le API di spesa del proxy e invia gli eventi alla DataHub API: non ci serve quindi alcun accesso di rete al suo ambiente.
Di cosa ho bisogno prima di iniziare?
Un proxy LiteLLM self-hosted, versione 1.65 o successiva, con il logging della spesa abilitato, una sottoscrizione DataHub inclusa nel suo piano e un token API con lo scope DataHubAdmin. Sui proxy della generazione v1.65, esegua l'exporter in modalità giornaliera.
Il costo corrisponde a un importo fatturato?
No. LiteLLM stima il costo a partire dalla sua mappa dei prezzi dei modelli e dai token riportati, quindi va considerato come showback. Ogni evento include l'etichetta cost_basis: estimated e può riconciliare i dati con le nostre integrazioni Anthropic e OpenAI.
Quanto sono aggiornati i dati e quanto storico posso importare?
Per impostazione predefinita l'exporter effettua il polling ogni cinque minuti e gli eventi compaiono circa 15 minuti dopo l'invio. Imposti BACKFILL_DAYS alla prima esecuzione; lo storico è limitato dalla retention dei suoi spend log e dalla finestra di due anni di DataHub.
Come attribuisco la spesa a funzionalità e clienti?
Imposti il parametro user di OpenAI per il cliente e passi una funzionalità in spend_logs_metadata. Team e virtual key derivano dalla chiave LiteLLM, mentre i tag provengono dai tag di richiesta di LiteLLM.
L'exporter vede i miei prompt?
No. L'exporter non legge né trasmette mai il contenuto di prompt o risposte, e la sua admin key LiteLLM non esce mai dalla sua rete.
Colleghi LiteLLM. Scopra quanto costa ogni chiamata al modello.
Exporter open source. Spesa visibile in pochi minuti.