Безопасность ИИ

Консультирование по безопасности ИИ

Внедрение подсказок, утечка данных через вывод модели, злоупотребление инструментами и отравленное извлечение — не разновидности привычных веб-уязвимостей. Мы строим модель угроз именно для систем с ИИ и проектируем архитектуру и контроли, ограничивающие найденное.

Обсудить вашу инициативу в области ИИ Консалтинг

Бизнес-задача

Граница доверия сместилась, и никто её не перечертил

В обычных приложениях данные и указания разделены. В системах вокруг языковых моделей они приходят по одному каналу, поэтому любое содержимое, которое модель читает, потенциально является указанием. Одно это свойство ломает допущения по всей модели безопасности: документ, веб-страница, письмо или заявка поддержки могут нести указание, которому модель последует. Добавьте инструменты и доступ к системам, и последствием станет не неверный ответ, а действие.

Чем мы занимаемся

Смоделировать угрозы и ограничить устройством системы

Мы устанавливаем, что стало бы целью злоумышленника и что он получил бы, а затем проектируем так, чтобы достижимый ущерб был ограничен независимо от поведения модели. Это означает минимально необходимые права инструментов, проверенные вызовы, отношение к извлечённому содержимому как к ненадёжным данным, точки утверждения при существенных действиях и контроль вывода там, где текст модели попадает в другую систему. Мы также задаём, что записывать, потому что ограничение без обнаружения — половина контроля.

Консультирование по безопасности ИИ

Компетенции

Моделирование угроз для ИИ
Архитектура безопасности языковых моделей
Архитектура безопасности агентов
Оценка рисков ИИ
Риск внедрения подсказок
Оценка утечки данных
Риск цепочки поставок для ИИ
Безопасная архитектура ИИ

Типичные сценарии применения

Построить модель угроз для приложения с ИИ до вывода в продуктив.
Установить безопасную эталонную архитектуру, по которой строят другие команды.
Оценить существующего ассистента, имеющего доступ к системам, который никто не проверял.
Определить, что поставщик должен подтвердить, прежде чем его функция с ИИ будет одобрена.

Как мы работаем

Модель угроз

Установить, что стало бы целью злоумышленника и что он получил бы, добравшись до неё.
Тестирование

Состязательное тестирование против реалистичных злоупотреблений, а не перечень известных строк.
Отчёт

Находки с шагами воспроизведения, серьёзностью и исправлением, упорядоченные по эксплуатируемости.
Повторная проверка

Убедиться, что исправления держатся, и оставить тесты, чтобы регрессии становились заметны.

Технологии

OWASP LLM Top 10
MITRE ATLAS
Garak
Burp Suite
ISO/IEC 27001

Безопасность и управление

Тестирование разрешается письменно, ограничивается согласованными целями и по умолчанию выполняется в непродуктивной среде, если вы не решите иначе. Находки рассматриваются как конфиденциальные и раскрываются вам раньше, чем кому-либо ещё. Ничего не сохраняется за пределами работ, кроме отчёта и регрессионных тестов, которые вы просили оставить.

Independently audited against

Модели сотрудничества

Консультирование по ИИ

Опытные консультанты дают рекомендации по стратегии, архитектуре, оценке и трансформации.

Проект по ИИ

Мы берём на себя ответственность за проектирование и поставку определённого решения с ИИ.

Управляемый ИИ

Мы эксплуатируем, отслеживаем и непрерывно улучшаем продуктивные системы с ИИ.

Почему TeamExtension.ai

Архитектура — единственный устойчивый контроль

Фильтры и защитные механизмы нужны, и когда-нибудь их обойдут. Устойчивые контроли архитектурны: до чего системе позволено дотянуться, что она может там сделать и что требует человека. Мы проектируем из этой предпосылки, поэтому наши рекомендации чаще про права и границы, чем про правила обнаружения.

Избранные клиенты

Частые вопросы

Можно ли решить проблему внедрения подсказок?

Устранить нельзя. Её смягчают архитектурой: считать всё извлечённое содержимое ненадёжным, узко ограничивать инструменты, ставить существенные действия за утверждением и проектировать так, чтобы успешное внедрение достигало чего-то ограниченного. Тот, кто обещает полное предотвращение, продаёт фильтр.

Покрывают ли это наши нынешние тесты на проникновение?

Лишь частично. Обычное тестирование покрывает поверхность приложения вокруг модели. Оно, как правило, не покрывает внедрение через извлечённое содержимое, утечку через вывод модели или злоупотребление инструментами, потому что это не привычные классы уязвимостей.

Какая находка встречается чаще всего?

Избыточные права инструментов. Системам дают широкий доступ во время разработки, потому что так удобно, и этот объём никогда не сужают перед продуктивом. Обычно это же и самая дешёвая находка для исправления.

Как это сочетается с нашей службой безопасности?

Расширяет её. Мы работаем с вашей командой безопасности, а не в обход неё, и результат должен стать их стандартом, а не нашим отчётом. Там, где им не хватает глубины по ИИ, мы наращиваем её вместе с ними.

Смежные компетенции

Управление, риски и соответствие в ИИ

Управление ИИ

Установите политики, контроли и ответственность, необходимые для безопасного внедрения ИИ в корпоративном масштабе.

Подробнее

Инфраструктура ИИ и эксплуатация языковых моделей

Архитектура ИИ

Спроектируйте эталонную архитектуру, общую для ваших систем с ИИ: модели, извлечение, оркестрация, данные и контроли.

Подробнее

Управление, риски и соответствие в ИИ

Готовность к регламенту об ИИ

Классифицируйте свои системы с ИИ, сопоставьте вытекающие обязательства и закройте пробелы до того, как они станут обязывающими.

Подробнее

Обсудить вашу инициативу в области ИИ

Моделируйте угрозы для систем с ИИ и проектируйте архитектуру, контроли и границы, ограничивающие их риск.

Поговорить с экспертом по ИИ Начать оценку ИИ