AIセキュリティ
AIレッドチーミング
現実的な悪用の筋書きに対する、体系立てた敵対的試験です。動機のある攻撃者、悪意ある利用者、あるいは不注意な利用者が、そのシステムに何をさせられるのかを確かめます。
事業上の課題
リリース前に誰も攻撃していなかった
システムは、本来の使われ方に沿って試験されます。実際の利用者はテスト計画よりずっと創意に富み、一部は敵対的です。顧客に向くものでは、本当に敵対的な最初のやり取りは本番で、公開の場で、スクリーンショット付きで起こります。
私たちの取り組み
プロンプトではなく目的をもって攻撃する
単語リストではなく目的に沿って作業します。利用者が到達すべきでないデータを取り出す、権限の外で動作させる、評判を損なう出力を生ませる、資源の乱用でコストを膨らませる。成功はいずれも正確な経路とともに文書化するので、再現でき修正できます。地味な失敗も試験します。負荷時の劣化、ツールがエラーを返したときの挙動です。巧妙な攻撃よりも、そちらのほうが多くの事故を引き起こすからです。
AIレッドチーミング
提供できること
-
敵対的AI試験
-
エージェントのレッドチーミング
-
LLMのレッドチーミング
-
悪用シナリオ試験
-
AI攻撃シミュレーション
代表的なユースケース
代表的なユースケース
- 顧客向けアシスタントを公開前に評価する。
- 本番システムへの書き込み権限を持つエージェントを試験する。
- 取締役会や規制当局に向けて、独立した保証を提供する。
- 一度きりの演習ではなく、継続的な試験の周期を確立する。
進め方
進め方
-
脅威モデル
攻撃者が何を狙い、そこに到達して何を得るのかを明らかにする。
-
検証
既知文字列のチェックリストではなく、現実的な悪用に対する敵対的検証。
-
報告
再現手順、深刻度、修正方法を添えた指摘を、悪用しやすさの順に並べる。
-
再検証
修正が有効であることを確認し、再発が見えるようテストを残す。
テクノロジー
テクノロジー
- OWASP LLM Top 10
- MITRE ATLAS
- Garak
- Burp Suite
- ISO/IEC 27001
セキュリティとガバナンス
セキュリティとガバナンス
検証は書面で承認を受け、合意した対象に限定し、別段の決定がない限り本番以外の環境で実施します。指摘は機密として扱い、他の誰よりも先にお客様へ開示します。報告書と、残すよう依頼された回帰テスト以外は、契約期間を超えて保持しません。
協業モデル
協業モデル
AIアドバイザリー
経験豊富なコンサルタントが戦略、アーキテクチャ、評価、変革の助言を提供します。
AIプロジェクト
定義されたAIソリューションの設計と提供について、私たちが責任を負います。
マネージドAI
本番のAIシステムを、私たちが運用・監視し、継続的に改善します。
TeamExtension.aiを選ぶ理由
何が通ったかだけでなく、それが何を意味するかを報告します
成功したジェイルブレイクの一覧は、それだけでは役に立ちません。重要なのは、どれが価値あるものに届くのか、そしてどのアーキテクチャ上の変更が、一件ずつではなく一群をまとめて塞ぐのかです。
主なお客様
よくあるご質問