AIインフラストラクチャ
複数のAIモデルプロバイダーへの単一ゲートウェイ
アプリケーションから多数のAIモデルプロバイダーへの接続を一本化し、自動フェイルオーバー、正確な利用量計測、請求の一元化を実現するインフラストラクチャ。
クライアントの要望により、クライアント名と製品名は伏せています。
課題
複数のモデルプロバイダーを利用して開発するチームは、個別の統合、キー、請求書、障害に対応しなければなりませんでした。モデルを変えるにはコードの変更が必要で、1つのプロバイダーの障害で機能が停止することもありました。
構築したもの
アプリケーションは標準インターフェースを通じて一度接続するだけです。ゲートウェイは各リクエストを選択されたプロバイダー向けに変換し、コスト、速度、可用性に応じてルートを選び、プロバイダーに障害が発生すると自動で切り替え、請求のために利用量を正確に計測します。
主な機能
-
01
多数のプロバイダーに対応する単一の標準インターフェース
-
02
スマートルーティングと自動フェイルオーバー
-
03
正確な利用量計測
-
04
支出上限と利用状況レポートを備えたアクセスキー
成果
モデルの変更は設定の変更で済み、プロバイダーの障害で製品が中断することはなくなり、財務部門はAI支出を一元的に把握できます。