人工智能安全

人工智能红队演练

针对现实滥用场景的、有组织的对抗性测试:一个有动机的攻击者、一个怀有恶意的用户,或一个粗心的用户,能让这套系统做出什么。

业务问题

上线之前没人攻击过它

系统是照着“本该怎么用”来测试的。真实用户比测试计划有创意得多,其中一些还怀有恶意。对面向客户的东西来说,第一次真正的对抗性交互发生在生产环境,发生在公开场合,还配着一张截图。

我们做什么

带着目标去攻击,而不是带着提示词

我们按目标而不是按词表推进:取出用户不该触及的数据、让它越权行事、让它产出有损声誉的内容、通过滥用资源推高成本。每一次成功都连同确切路径一并记录,因此可复现、可修复。我们也测试那些乏味的失效:负载下的性能劣化、工具报错时的行为,因为它们引发的事故比精巧的攻击更多。

人工智能红队演练

能力

  • 对抗性人工智能测试

  • 智能体红队演练

  • 大语言模型红队演练

  • 滥用场景测试

  • 人工智能攻击模拟

常见应用场景

常见应用场景

  • 在面向客户的助手上线前对其进行评估。
  • 测试对生产系统拥有写入权限的智能体。
  • 为董事会或监管机构提供独立的保证。
  • 建立持续的测试节奏,而不是做一次性演练。

我们如何交付

我们如何交付

  1. 威胁建模

    弄清攻击者会盯上什么,以及得手之后能获得什么。

  2. 测试

    针对真实滥用场景做对抗测试,而不是照着已知字符串清单走一遍。

  3. 报告

    每项发现附带复现步骤、严重程度与修复方案,按可利用性排序。

  4. 复测

    验证修复确实有效,并把测试留下,让回归问题能够显现。

技术

技术

  • OWASP LLM Top 10
  • MITRE ATLAS
  • Garak
  • Burp Suite
  • ISO/IEC 27001

安全与治理

安全与治理

测试须有书面授权,限定在约定目标范围内,除非您另有决定,否则在非生产环境执行。发现的问题按保密处理,并在告知任何其他方之前先向您披露。除报告和您要求我们留下的回归测试之外,项目结束后不保留任何内容。

合作模式

合作模式

人工智能咨询顾问

资深顾问提供战略、架构、评估与转型方面的指导。

人工智能项目

我们对既定人工智能方案的设计与交付承担责任。

托管式人工智能

我们运营、监控并持续改进生产环境中的人工智能系统。

为什么选择 TeamExtension.ai

我们报告的是它意味着什么,而不只是什么奏效了

一份成功越狱的清单,本身并无多大用处。要紧的是其中哪些触及了有价值的东西,以及哪一项架构改动能够一次性堵住一整类问题,而不是一个一个地堵。

部分客户

常见问题

常见问题

这和安全测试有什么不同?
安全测试系统性地遍历已知漏洞类别。红队则按目标行事,走得通的路径都用,包括社会工程与多步骤手法。两者都有用,回答的是不同的问题。
你们一定能找到问题吗?
几乎一定会。更有用的问题是,我们找到的东西是否触及了要紧的目标,报告正是围绕这一点组织的。
这能持续进行吗?
可以。自动化的对抗套件在流水线中运行,再辅以定期的人工主导演练,去发现自动化找不到的创造性攻击。
你们需要什么授权?
来自有权作出授权者的书面许可,并约定范围、时间与上报路径。没有这些,我们不会测试任何系统。

探讨您的 AI 计划

针对现实滥用场景,对人工智能应用与智能体开展对抗性测试。