AI基盤とLLMOps
LLMOps
本番の言語モデルは、自社で制御できず、利用量に応じて課金され、こちらのリリース周期と無関係に振る舞いが変わる依存先です。私たちは、それを管理可能にするデプロイ、評価、監視、コスト統制を作ります。
事業上の課題
品質は静かにずれ、誰も見ていない
従来の監視が答えるのは、サービスが応答したかであって、その答えが良かったかではありません。だから品質は見えないまま劣化します。提供元がモデルを更新する、プロンプトの変更が副作用を生む、検索対象が古くなる。最初の兆候はたいてい顧客からの苦情です。コストも同じように失敗し、原因となった機能に紐づかないまま、驚くような請求書として届きます。
私たちの取り組み
品質とコストを一級の指標として計測する
評価スイートをデプロイのパイプラインに組み込み、プロンプトやモデルの変更がリリース前に採点され、その後も継続的に採点されるようにします。プロンプトはコードと同様にバージョン管理します。トレースは入力、取得した文脈、ツール呼び出し、出力を記録するので、どの回答も再構成できます。コストは機能ごと・チームごとに帰属させ、日常的なトラフィックは安価なモデルに送り、必要なものだけ上位に回すルーティングを組みます。
LLMOps
提供できること
-
LLMのデプロイ
-
LLMの監視
-
評価パイプライン
-
プロンプト管理
-
可観測性
-
ルーティング
-
コスト監視
代表的なユースケース
代表的なユースケース
- 評価のゲートを設け、採点なしにプロンプト変更をリリースできないようにする。
- 推論の支出を、それを生んだ機能とチームに帰属させる。
- 提供元がモデルを更新した後の品質低下を検知する。
- 日常的なトラフィックを小さなモデルに回し、必要時のみ上位に回してコストを下げる。
進め方
進め方
-
評価
制約を確定する。所在、応答時間、費用、そしてすでに動いているもの。
-
設計
提供事業者の選択を後戻り可能に保つゲートウェイ、ルーティング、キャッシュ、フェイルオーバーを設計する。
-
計装
トラフィックが来る前に、可観測性、評価、コスト按分を組み込む。
-
運用
合意したサービス水準のもとで運用し、容量と費用を定期的に見直す。
テクノロジー
テクノロジー
- Kubernetes
- Terraform
- vLLM
- Ollama
- LiteLLM
- OpenTelemetry
- Prometheus
- Grafana
- AWS
- Microsoft Azure
セキュリティとガバナンス
セキュリティとガバナンス
どこでデータを処理してよいかは前提ではなく設定です。所在や分離が求められる場合、モデルは自社のクラウドテナントや自社機器上で動かせます。ゲートウェイを通るトラフィックは認証され、チームに紐づけられ、記録されます。それが監査証跡とコストモデルの両方を成り立たせます。
協業モデル
協業モデル
AIプロジェクト
定義されたAIソリューションの設計と提供について、私たちが責任を負います。
専任AIチーム
お客様の技術スタックと提供モデルに合わせて構築される、長期の専任エンジニアリング体制。
マネージドAI
本番のAIシステムを、私たちが運用・監視し、継続的に改善します。
TeamExtension.aiを選ぶ理由
評価をリリースのゲートとして扱います
多くのチームは公開前に一度だけ評価し、以後は苦情に頼ります。ラベル付き集合に対する継続的な評価は、品質を知っていることと願っていることの違いです。モデルの更新を恐ろしい出来事ではなく日常にする唯一の方法でもあります。
主なお客様
よくあるご質問