人工智能安全
人工智能安全咨询
提示注入、经由模型输出的数据外泄、工具滥用与被投毒的检索内容，都不是既有Web漏洞的变体。我们专门针对人工智能系统做威胁建模，并设计能够遏制所发现问题的架构与控制措施。
业务问题
信任边界已经挪了，却没人重新画过
在传统应用中，数据与指令是分开的。在围绕语言模型构建的系统中，两者从同一条通道抵达，因此模型读到的任何内容都可能是一条指令。仅这一个特性，就击穿了整个安全模型中的诸多假设：一份文档、一个网页、一封邮件或一张支持工单，都可能携带模型将会照做的指令。再加上工具与系统访问权限，后果就不再是一个错误答案，而是一次实际操作。
我们做什么
先做威胁建模，再用设计加以约束
我们弄清攻击者会盯上什么、又能从中获得什么，然后按“无论模型表现如何，可造成的损害都有上限”来设计。这意味着最小权限的工具范围、经过校验的工具调用、把检索到的内容当作不可信数据、对有实际后果的操作设置审批关卡，以及在模型文本流向另一系统之处设置输出管控。我们也会规定该记录什么，因为没有检测的遏制只是半个控制措施。
人工智能安全咨询
能力
-
人工智能威胁建模
-
大语言模型安全架构
-
智能体安全架构
-
人工智能风险评估
-
提示注入风险
-
数据泄露评估
-
人工智能供应链风险
-
安全的人工智能架构
常见应用场景
常见应用场景
- 在人工智能应用进入生产之前，为其做威胁建模。
- 确立一套其他团队可据以构建的安全参考架构。
- 评估一个已拥有系统访问权限、却无人复核过的现有助手。
- 定义供应商的人工智能功能在获批之前必须拿出哪些证据。
我们如何交付
我们如何交付
-
威胁建模
弄清攻击者会盯上什么，以及得手之后能获得什么。
-
测试
针对真实滥用场景做对抗测试，而不是照着已知字符串清单走一遍。
-
报告
每项发现附带复现步骤、严重程度与修复方案，按可利用性排序。
-
复测
验证修复确实有效，并把测试留下，让回归问题能够显现。
技术
技术
- OWASP LLM Top 10
- MITRE ATLAS
- Garak
- Burp Suite
- ISO/IEC 27001
安全与治理
安全与治理
测试须有书面授权，限定在约定目标范围内，除非您另有决定，否则在非生产环境执行。发现的问题按保密处理，并在告知任何其他方之前先向您披露。除报告和您要求我们留下的回归测试之外，项目结束后不保留任何内容。
合作模式
合作模式
人工智能咨询顾问
资深顾问提供战略、架构、评估与转型方面的指导。
人工智能项目
我们对既定人工智能方案的设计与交付承担责任。
托管式人工智能
我们运营、监控并持续改进生产环境中的人工智能系统。
为什么选择 TeamExtension.ai
唯一持久的控制措施是架构
过滤器与防护栏值得拥有，但终究会被绕过。真正撑得住的控制措施是架构层面的：系统被允许触达什么、在那里能做什么、什么必须经过人。我们从这个前提出发设计，这也是为什么我们的建议更多关于权限与边界，而不是检测规则。
部分客户
常见问题