LiteLLM
LiteLLMの支出を、クラウド請求と並べて。
Cloud Intelligence™は、セルフホストのLiteLLMプロキシが計測するすべての呼び出しの支出を取り込み、プロバイダー、モデル、仮想キー、チーム、機能、エンドカスタマー別にラベル付けします。その他のAI・クラウド支出のすぐ隣で確認できます。
オープンソースのエクスポーター · プロンプトやレスポンスは一切読み取りません · 5分ごとにポーリング
LiteLLM · Octoberインポートされるデータ
LiteLLMのデータを、使い慣れたディメンションで。
すべてのモデル呼び出しが標準のCloud Analyticsディメンションにマッピングされ、プロバイダー、モデル、仮想キー、チーム、機能、顧客、タグのラベルが付与されます。
LiteLLManthropicclaude-sonnet-5できること
ゲートウェイのログを、意思決定に変える
機能別コスト
機能、顧客、仮想キー、チーム、タグ別に支出を分析できます。
機能タグのカバレッジ
機能ラベルが付いた支出の割合をひと目で把握できます。
プロバイダー比較
アップストリームのプロバイダーごとのトークン数と推定コストを並べて比較。
GenAI Intelligence
LiteLLMを他のAIプロバイダーと並べて、1つのダッシュボードで確認。
予算とアラート
プロバイダーの請求書が届く前に、ゲートウェイ支出にガードレールを。
アロケーション
キーやラベル単位で、LiteLLMの支出をチームや顧客に割り当てられます。
数分で稼働
3ステップでLiteLLMを接続
APIトークンを作成。
プロフィール画面で、DataHubAdminスコープを指定して作成します。表示されるのは一度だけです。
エクスポーターを実行。
プロキシの隣に小さなコンテナを1つ起動するだけ。LiteLLMの管理キーはローカルに留まります。
数分で支出を可視化。
エクスポートから約15分後に、Cloud Analyticsにイベントが表示されます。
オープンソース(Apache-2.0)。エクスポーターはいつでも停止できます。
無料で始めるFrequently asked
questions
LiteLLM連携はどのように機能しますか?
オープンソースのlitellm-datahub-exporterをプロキシの隣で実行します。プロキシの支出APIをポーリングし、イベントをDataHub APIにプッシュする仕組みのため、お客様の環境へのネットワークアクセスは一切不要です。
始める前に何が必要ですか?
支出ログを有効化したセルフホストのLiteLLMプロキシ(バージョン1.65以降)、ご利用プランに含まれるDataHubサブスクリプション、DataHubAdminスコープ付きのAPIトークンが必要です。v1.65世代のプロキシでは、エクスポーターをデイリーモードで実行してください。
表示されるコストは請求書上の金額ですか?
いいえ。LiteLLMはモデル価格マップと報告されたトークン数からコストを推定するため、ショーバック(参考値)としてご利用ください。すべてのイベントにcost_basis: estimatedラベルが付与されており、AnthropicおよびOpenAI連携と突き合わせて照合できます。
データの鮮度と、インポートできる履歴の期間は?
エクスポーターはデフォルトで5分ごとにポーリングし、送信から約15分後にイベントが表示されます。初回実行時にBACKFILL_DAYSを設定してください。取り込める履歴は、支出ログの保持期間とDataHubの2年間の保存期間の範囲内となります。
支出を機能や顧客に紐付けるには?
顧客にはOpenAIのuserパラメータを設定し、機能はspend_logs_metadataで渡します。チームと仮想キーはLiteLLMのキーから、タグはLiteLLMのリクエストタグから取得されます。
エクスポーターはプロンプトを読み取りますか?
いいえ。エクスポーターがプロンプトやレスポンスの内容を読み取ったり送信したりすることは一切なく、LiteLLMの管理キーがお客様のネットワークの外に出ることもありません。