AIセキュリティ
AIセキュリティ・コンサルティング
プロンプトインジェクション、モデル出力を通じたデータ持ち出し、ツールの悪用、汚染された検索対象は、既存のWeb脆弱性の変種ではありません。私たちはAIシステムに特化して脅威モデリングを行い、見つかったものを封じ込めるアーキテクチャと統制を設計します。
事業上の課題
信頼境界は動いたのに、誰も引き直していない
従来のアプリケーションでは、データと指示は別物です。言語モデルを中心に作られたシステムでは同じ経路で届くため、モデルが読む内容はすべて指示になりえます。この一点だけで、セキュリティモデル全体の前提が崩れます。文書、Webページ、メール、サポートのチケットが、モデルが従う指示を運びうるのです。そこにツールとシステムアクセスが加わると、結果は誤答ではなく操作になります。
私たちの取り組み
脅威をモデル化し、設計で制約する
攻撃者が何を狙い何を得るかを見極め、モデルの振る舞いに関わらず被害の上限が定まるように設計します。具体的には、最小権限のツール範囲、検証されたツール呼び出し、取得内容を信頼できないデータとして扱うこと、影響のある操作への承認ゲート、モデルの文が別システムに届く箇所での出力統制です。何を記録すべきかも定めます。検知のない封じ込めは、統制の半分だからです。
AIセキュリティ・コンサルティング
提供できること
-
AIの脅威モデリング
-
LLMセキュリティアーキテクチャ
-
エージェントのセキュリティアーキテクチャ
-
AIリスク評価
-
プロンプトインジェクションのリスク
-
情報漏えいの評価
-
AIサプライチェーンのリスク
-
セキュアなAIアーキテクチャ
代表的なユースケース
代表的なユースケース
- AIアプリケーションを本番に出す前に脅威モデリングを行う。
- 他チームが拠り所にできる、安全な参照アーキテクチャを定める。
- 誰もレビューしていないシステムアクセスを持つ既存のアシスタントを評価する。
- 供給者のAI機能を承認する前に、何を証跡として示すべきかを定義する。
進め方
進め方
-
脅威モデル
攻撃者が何を狙い、そこに到達して何を得るのかを明らかにする。
-
検証
既知文字列のチェックリストではなく、現実的な悪用に対する敵対的検証。
-
報告
再現手順、深刻度、修正方法を添えた指摘を、悪用しやすさの順に並べる。
-
再検証
修正が有効であることを確認し、再発が見えるようテストを残す。
テクノロジー
テクノロジー
- OWASP LLM Top 10
- MITRE ATLAS
- Garak
- Burp Suite
- ISO/IEC 27001
セキュリティとガバナンス
セキュリティとガバナンス
検証は書面で承認を受け、合意した対象に限定し、別段の決定がない限り本番以外の環境で実施します。指摘は機密として扱い、他の誰よりも先にお客様へ開示します。報告書と、残すよう依頼された回帰テスト以外は、契約期間を超えて保持しません。
協業モデル
協業モデル
AIアドバイザリー
経験豊富なコンサルタントが戦略、アーキテクチャ、評価、変革の助言を提供します。
AIプロジェクト
定義されたAIソリューションの設計と提供について、私たちが責任を負います。
マネージドAI
本番のAIシステムを、私たちが運用・監視し、継続的に改善します。
TeamExtension.aiを選ぶ理由
持続する統制はアーキテクチャだけ
フィルタやガードレールは持つ価値がありますが、いずれ回避されます。持ちこたえる統制はアーキテクチャ上のものです。システムが何に到達してよいか、そこで何ができるか、何に人を要するか。私たちはこの前提から設計します。だから私たちの提言は、検知ルールよりも権限と境界の話が中心になります。
主なお客様
よくあるご質問