LiteLLM
Gastos do LiteLLM, ao lado da sua fatura de nuvem.
O Cloud Intelligence™ importa os gastos que seu proxy LiteLLM self-hosted registra a cada chamada, com rótulos por provedor, modelo, chave virtual, time, feature e cliente final. Bem ao lado do restante dos seus gastos de IA e nuvem.
Exporter open source · Nunca lê prompts nem respostas · Consulta a cada 5 minutos
LiteLLM · Octobero que importamos
Dados do LiteLLM, nas dimensões que você já usa.
Cada chamada de modelo é mapeada para as dimensões padrão do Cloud Analytics, além de rótulos por provedor, modelo, chave virtual, time, feature, cliente e tag.
LiteLLManthropicclaude-sonnet-5o que você pode fazer com isso
Dos logs do gateway a uma decisão
Custo por feature
Segmente por feature, cliente, chave virtual, time ou tag.
Cobertura de tags de feature
Veja quanto do gasto carrega um rótulo de feature.
Provedor vs. provedor
Tokens e custo estimado por provedor upstream, lado a lado.
GenAI Intelligence
LiteLLM ao lado dos seus outros provedores de IA em um só dashboard.
Orçamentos e alertas
Guardrails sobre os gastos do gateway antes que as faturas dos provedores cheguem.
Alocações
Atribua gastos do LiteLLM a times e clientes, por chave ou rótulo.
no ar em minutos
Conecte o LiteLLM em três passos
Crie um token de API.
No seu perfil, com o escopo DataHubAdmin. Ele é exibido apenas uma vez.
Execute o exporter.
Um pequeno container ao lado do seu proxy. Sua chave de admin do LiteLLM permanece local.
Gastos em minutos.
Os eventos aparecem no Cloud Analytics cerca de 15 minutos após a exportação.
Open source, Apache-2.0. Pare o exporter quando quiser.
Comece grátisFrequently asked
questions
Como funciona a integração com o LiteLLM?
Você executa o litellm-datahub-exporter, que é open source, ao lado do seu proxy. Ele consulta as APIs de gastos do proxy e envia os eventos para a API do DataHub, então não precisamos de nenhum acesso de rede ao seu ambiente.
Do que eu preciso antes de começar?
Um proxy LiteLLM self-hosted, versão 1.65 ou posterior, com registro de gastos ativado, uma assinatura do DataHub no seu plano e um token de API com o escopo DataHubAdmin. Em proxies da geração v1.65, execute o exporter em modo diário.
O custo é um valor de fatura?
Não. O LiteLLM estima o custo com base no próprio mapa de preços de modelos e nos tokens reportados, então trate-o como showback. Cada evento carrega um rótulo cost_basis: estimated, e você pode reconciliar com nossas integrações com Anthropic e OpenAI.
Com que frequência os dados são atualizados e quanto histórico posso importar?
Por padrão, o exporter consulta a cada cinco minutos, e os eventos aparecem cerca de 15 minutos após serem enviados. Defina BACKFILL_DAYS na primeira execução; o histórico é limitado pela retenção dos seus logs de gastos e pela janela de dois anos do DataHub.
Como atribuo gastos a features e clientes?
Defina o parâmetro user da OpenAI para o cliente e informe uma feature em spend_logs_metadata. O time e a chave virtual vêm da chave do LiteLLM, e as tags vêm das tags de requisição do LiteLLM.
O exporter vê meus prompts?
Não. O exporter nunca lê nem transmite o conteúdo de prompts ou respostas, e sua chave de admin do LiteLLM nunca sai da sua rede.
Conecte o LiteLLM. Saiba quanto custa cada chamada de modelo.
Exporter open source. Gastos em minutos.