An ninh AI

Tư vấn an ninh AI

Tiêm nhiễm chỉ dẫn, rò rỉ dữ liệu qua đầu ra của mô hình, lạm dụng công cụ và truy xuất bị đầu độc không phải là biến thể của các lỗ hổng web sẵn có. Chúng tôi mô hình hóa mối đe dọa riêng cho hệ thống AI và thiết kế kiến trúc cùng các biện pháp kiểm soát để khống chế những gì tìm thấy.

Trao đổi về sáng kiến AI của bạn Tư vấn

Bài toán kinh doanh

Ranh giới tin cậy đã dịch chuyển mà không ai vẽ lại

Trong ứng dụng thông thường, dữ liệu và chỉ dẫn là hai thứ tách biệt. Trong các hệ thống dựng quanh mô hình ngôn ngữ, chúng đến qua cùng một kênh, nên mọi nội dung mô hình đọc được đều có thể là một chỉ dẫn. Chỉ riêng đặc tính đó đã phá vỡ các giả định xuyên suốt một mô hình an ninh: một tài liệu, một trang web, một email hay một phiếu hỗ trợ đều có thể mang theo chỉ dẫn mà mô hình sẽ làm theo. Thêm công cụ và quyền truy cập hệ thống, hậu quả thôi còn là một câu trả lời sai mà trở thành một hành động.

Chúng tôi làm gì

Mô hình hóa mối đe dọa, rồi ràng buộc bằng thiết kế

Chúng tôi xác định kẻ tấn công sẽ nhắm vào đâu và họ được gì, rồi thiết kế sao cho thiệt hại có thể xảy ra luôn bị chặn trên, bất kể mô hình cư xử thế nào. Nghĩa là phạm vi công cụ tối thiểu, lệnh gọi công cụ có kiểm tra, coi nội dung truy xuất được là dữ liệu không tin cậy, cửa phê duyệt cho các hành động có hệ quả, và kiểm soát đầu ra ở nơi văn bản của mô hình đi tới một hệ thống khác. Chúng tôi cũng xác định phải ghi lại những gì, vì khống chế mà không phát hiện thì mới là nửa biện pháp.

Tư vấn an ninh AI

Năng lực

Mô hình hóa mối đe dọa AI
Kiến trúc an ninh cho mô hình ngôn ngữ
Kiến trúc an ninh cho tác tử
Đánh giá rủi ro AI
Rủi ro tiêm nhiễm chỉ dẫn
Đánh giá rò rỉ dữ liệu
Rủi ro chuỗi cung ứng AI
Kiến trúc AI an toàn

Các tình huống sử dụng phổ biến

Mô hình hóa mối đe dọa cho một ứng dụng AI trước khi nó lên môi trường thật.
Thiết lập một kiến trúc tham chiếu an toàn để các đội khác xây dựa trên đó.
Đánh giá một trợ lý đang có quyền truy cập hệ thống mà chưa ai rà soát.
Xác định nhà cung cấp phải chứng minh những gì trước khi tính năng AI của họ được phê duyệt.

Cách chúng tôi triển khai

Mô hình hóa mối đe dọa

Xác định kẻ tấn công sẽ nhắm vào đâu, và họ được gì khi tới được đó.
Kiểm thử

Kiểm thử đối kháng theo các kịch bản lạm dụng thực tế, không phải chạy qua một danh sách chuỗi đã biết.
Báo cáo

Các phát hiện kèm bước tái hiện, mức nghiêm trọng và cách khắc phục, xếp theo khả năng khai thác.
Kiểm thử lại

Xác minh bản vá thực sự đứng vững, và để lại bộ kiểm thử để lỗi tái phát lộ ra.

Công nghệ

OWASP LLM Top 10
MITRE ATLAS
Garak
Burp Suite
ISO/IEC 27001

Bảo mật và quản trị

An ninh và quản trị

Việc kiểm thử được ủy quyền bằng văn bản, giới hạn trong các mục tiêu đã thỏa thuận và chạy trên môi trường không phải môi trường thật trừ khi bạn quyết định khác. Các phát hiện được xử lý như thông tin mật và được tiết lộ cho bạn trước bất kỳ ai khác. Không có gì được giữ lại sau khi kết thúc ngoài báo cáo và các bài kiểm thử hồi quy mà bạn yêu cầu chúng tôi để lại.

Independently audited against

Mô hình hợp tác

Tư vấn AI

Chuyên gia tư vấn cung cấp định hướng về chiến lược, kiến trúc, đánh giá và chuyển đổi.

Dự án AI

Chúng tôi chịu trách nhiệm thiết kế và bàn giao một giải pháp AI đã được xác định.

AI vận hành trọn gói

Chúng tôi vận hành, giám sát và liên tục cải tiến các hệ thống AI đang chạy thật.

Vì sao chọn TeamExtension.ai

Biện pháp kiểm soát bền vững duy nhất là kiến trúc

Bộ lọc và hàng rào bảo vệ thì đáng có và rốt cuộc sẽ bị vượt qua. Những biện pháp trụ được là biện pháp kiến trúc: hệ thống được phép với tới cái gì, ở đó nó làm được gì, và cái gì thì cần đến một con người. Chúng tôi thiết kế từ tiền đề đó, nên các khuyến nghị của chúng tôi thiên về quyền hạn và ranh giới hơn là về các quy tắc phát hiện.

Khách hàng tiêu biểu

Câu hỏi thường gặp

Có giải quyết triệt để được tiêm nhiễm chỉ dẫn không?

Không loại bỏ được. Nó được giảm thiểu bằng kiến trúc: coi mọi nội dung truy xuất được là không tin cậy, cắt phạm vi công cụ thật hẹp, đặt các hành động có hệ quả sau cửa phê duyệt, và thiết kế sao cho một lần tiêm nhiễm thành công cũng chỉ với tới thứ bị giới hạn. Ai chào mời khả năng ngăn chặn hoàn toàn thì đang bán cho bạn một bộ lọc.

Các bài kiểm thử xâm nhập hiện có của chúng tôi có bao phủ chuyện này không?

Chỉ một phần. Kiểm thử thông thường bao phủ bề mặt ứng dụng quanh mô hình. Nó thường không bao phủ tiêm nhiễm qua nội dung truy xuất được, rò rỉ qua đầu ra của mô hình, hay lạm dụng công cụ, vì đó không phải các nhóm lỗ hổng thông thường.

Phát hiện phổ biến nhất là gì?

Quyền công cụ cấp quá rộng. Các hệ thống được trao quyền truy cập rộng trong lúc phát triển vì tiện, và phạm vi đó không bao giờ được thu hẹp trước khi lên môi trường thật. Đó cũng thường là phát hiện rẻ nhất để sửa.

Cái này khớp thế nào với bộ phận an ninh sẵn có của chúng tôi?

Nó mở rộng bộ phận đó. Chúng tôi làm việc cùng đội an ninh của bạn chứ không vòng qua họ, và kết quả nhằm trở thành chuẩn của họ chứ không phải báo cáo của chúng tôi. Nơi họ thiếu chiều sâu riêng về AI, chúng tôi cùng họ dựng nó lên.

Năng lực liên quan

Quản trị, Rủi ro và Tuân thủ AI

Quản trị AI

Thiết lập các chính sách, biện pháp kiểm soát và phân công trách nhiệm cần thiết để triển khai AI an toàn ở quy mô doanh nghiệp.

Tìm hiểu thêm

Hạ tầng AI và LLMOps

Kiến trúc AI

Thiết kế kiến trúc tham chiếu mà các hệ thống AI của bạn dùng chung: mô hình, truy xuất, điều phối, dữ liệu và kiểm soát.

Tìm hiểu thêm

Quản trị, Rủi ro và Tuân thủ AI

Sẵn sàng cho Đạo luật AI của EU

Phân loại các hệ thống AI của bạn, ánh xạ các nghĩa vụ đi kèm, và bù các khoảng trống trước khi chúng trở nên ràng buộc.

Tìm hiểu thêm

Trao đổi về sáng kiến AI của bạn

Mô hình hóa mối đe dọa cho hệ thống AI và thiết kế kiến trúc, biện pháp kiểm soát cùng ranh giới để khống chế rủi ro của chúng.

Trao đổi với chuyên gia AI Bắt đầu đánh giá AI