LiteLLM
El gasto de LiteLLM, junto a tu factura de la nube.
Cloud Intelligence™ importa el gasto que tu proxy LiteLLM autoalojado registra en cada llamada, etiquetado por proveedor, modelo, clave virtual, equipo, funcionalidad y cliente final. Justo al lado del resto de tu gasto en IA y en la nube.
Exportador open source · Nunca lee prompts ni respuestas · Consulta cada 5 minutos
LiteLLM · Octoberqué importamos
Los datos de LiteLLM, en las dimensiones que ya usas.
Cada llamada a un modelo se asigna a dimensiones estándar de Cloud Analytics, además de etiquetas por proveedor, modelo, clave virtual, equipo, funcionalidad, cliente y tag.
LiteLLManthropicclaude-sonnet-5qué puedes hacer con esto
De los logs del gateway a una decisión
Costo por funcionalidad
Desglosa por funcionalidad, cliente, clave virtual, equipo o tag.
Cobertura de tags de funcionalidad
Mira qué parte del gasto lleva una etiqueta de funcionalidad.
Proveedor vs. proveedor
Tokens y costo estimado por proveedor upstream, lado a lado.
GenAI Intelligence
LiteLLM junto a tus otros proveedores de IA en un solo dashboard.
Presupuestos y alertas
Pon límites al gasto del gateway antes de que lleguen las facturas del proveedor.
Asignaciones
Asigna el gasto de LiteLLM a equipos y clientes, por clave o etiqueta.
en marcha en minutos
Conecta LiteLLM en tres pasos
Crea un token de API.
Desde tu perfil, con el scope DataHubAdmin. Se muestra una sola vez.
Ejecuta el exportador.
Un contenedor pequeño junto a tu proxy. Tu clave de administrador de LiteLLM nunca sale de tu entorno.
Gasto visible en minutos.
Los eventos aparecen en Cloud Analytics unos 15 minutos después de la exportación.
Open source, Apache-2.0. Detén el exportador cuando quieras.
Empieza gratisFrequently asked
questions
¿Cómo funciona la integración con LiteLLM?
Ejecutas el exportador open source litellm-datahub-exporter junto a tu proxy. Este consulta las APIs de gasto de tu proxy y envía los eventos a la API de DataHub, por lo que no necesitamos ningún acceso de red a tu entorno.
¿Qué necesito antes de empezar?
Un proxy LiteLLM autoalojado, versión 1.65 o posterior, con el registro de gasto habilitado; una suscripción a DataHub incluida en tu plan y un token de API con el scope DataHubAdmin. En proxies de la generación v1.65, ejecuta el exportador en modo diario.
¿El costo es un dato de factura?
No. LiteLLM estima el costo a partir de su mapa de precios de modelos y los tokens reportados, así que trátalo como showback. Cada evento lleva una etiqueta cost_basis: estimated, y puedes conciliarlo con nuestras integraciones de Anthropic y OpenAI.
¿Qué tan actuales son los datos y cuánto historial puedo importar?
Por defecto, el exportador consulta cada cinco minutos y los eventos aparecen unos 15 minutos después de enviarse. Configura BACKFILL_DAYS en la primera ejecución; el historial está limitado por la retención de tus logs de gasto y la ventana de dos años de DataHub.
¿Cómo atribuyo el gasto a funcionalidades y clientes?
Configura el parámetro user de OpenAI para el cliente y pasa la funcionalidad en spend_logs_metadata. El equipo y la clave virtual provienen de la clave de LiteLLM, y los tags, de los tags de solicitud de LiteLLM.
¿El exportador ve mis prompts?
No. El exportador nunca lee ni transmite el contenido de los prompts ni de las respuestas, y tu clave de administrador de LiteLLM nunca sale de tu red.
Conecta LiteLLM. Conoce el costo de cada llamada a un modelo.
Exportador open source. Gasto visible en minutos.