Сигурност на ИИ

Консултиране по сигурност на ИИ

Внедряването на подсказки, изтичането на данни през изхода на модела, злоупотребата с инструменти и отровеното извличане не са разновидности на познатите уязвимости в мрежата. Моделираме заплахите за системите с ИИ поотделно и проектираме архитектурата и контролите, които ограничават намереното.

Обсъдете вашата инициатива за ИИ Консултиране

Бизнес предизвикателството

Границата на доверие се премести и никой не я преначерта

В обичайните приложения данните и указанията са разделени. В системите, изградени около езикови модели, те пристигат по един и същи канал, така че всяко съдържание, което моделът чете, е потенциално указание. Само това свойство чупи допускания из целия модел на сигурност: документ, уеб страница, писмо или заявка за поддръжка може да носи указание, което моделът ще изпълни. Добавете инструменти и достъп до системи и последицата спира да е грешен отговор и става действие.

С какво се занимаваме

Да се моделират заплахите и после да се ограничи по устройство

Установяваме какво би нападнал нападателят и какво би спечелил, а после проектираме така, че постижимата вреда да е ограничена независимо дали моделът се държи както трябва. Това означава инструменти с минимални права, проверени извиквания на инструменти, третиране на извлеченото съдържание като ненадеждни данни, контролни точки за одобрение при съществени действия и контрол на изхода там, където текстът на модела стига до друга система. Определяме и какво да се записва, защото ограничаване без откриване е половин контрол.

Консултиране по сигурност на ИИ

Компетенции

Моделиране на заплахите за ИИ
Архитектура за сигурност на езикови модели
Архитектура за сигурност на агенти
Оценка на риска от ИИ
Риск от внедряване на подсказки
Оценка на изтичането на данни
Риск във веригата на доставки за ИИ
Сигурна архитектура за ИИ

Често срещани приложения

Моделиране на заплахите за приложение с ИИ, преди да влезе в продукция.
Установяване на сигурна референтна архитектура, спрямо която други екипи изграждат.
Оценка на съществуващ асистент, който има достъп до системи, непреглеждан от никого.
Определяне какво трябва да докаже доставчик, преди функцията му с ИИ да бъде одобрена.

Как работим

Модел на заплахите

Установяване какво би преследвал нападател и какво би получил, ако стигне дотам.
Тестване

Състезателно тестване срещу реална злоупотреба, а не списък с известни низове.
Доклад

Констатации със стъпки за възпроизвеждане, тежест и поправка, подредени по използваемост.
Повторно тестване

Проверка, че поправките държат, и оставяне на тестовете, за да се появяват регресиите.

Технологии

OWASP LLM Top 10
MITRE ATLAS
Garak
Burp Suite
ISO/IEC 27001

Сигурност и управление

Тестването е писмено разрешено, ограничено до договорените цели и се провежда в непродукционна среда, освен ако не решите друго. Констатациите са поверителни и се съобщават на вас преди на когото и да било друг. След края на сътрудничеството не се пази нищо освен доклада и регресионните тестове, които поискате да оставим.

Independently audited against

Модели на сътрудничество

Консултиране в областта на ИИ

Опитни консултанти оказват подкрепа по стратегия, архитектура, оценка и преобразуване.

Проект с ИИ

Поемаме отговорността за проектирането и доставката на определено решение с ИИ.

Управляван ИИ

Управляваме, наблюдаваме и непрекъснато подобряваме продукционни системи с ИИ.

Защо TeamExtension.ai

Архитектурата е единственият траен контрол

Филтрите и предпазните механизми си струват и в един момент ще бъдат заобиколени. Контролите, които издържат, са архитектурни: до какво системата има право да достигне, какво може да прави там и какво изисква човек. Проектираме от тази предпоставка, затова препоръките ни са по-скоро за права и граници, отколкото за правила за откриване.

Избрани клиенти

Често задавани въпроси

Може ли внедряването на подсказки да бъде решено?

Не и премахнато. То се смекчава чрез архитектура: цялото извлечено съдържание се третира като ненадеждно, инструментите се ограничават тясно, съществените действия минават през одобрение и се проектира така, че успешно внедряване да достига до нещо ограничено. Който предлага пълно предотвратяване, продава филтър.

Покриват ли това сегашните ни тестове за проникване?

Само отчасти. Обичайното изпитване покрива приложната повърхност около модела. То обикновено не покрива внедряване през извлечено съдържание, изтичане през изхода на модела или злоупотреба с инструменти, защото това не са обичайни класове уязвимости.

Коя е най-честата констатация?

Прекалено широки права на инструментите. На системите се дава широк достъп по време на разработката, защото е удобно, и обхватът никога не се стеснява преди продукция. Това обикновено е и най-евтината констатация за поправяне.

Как това се съчетава със сегашната ни функция по сигурност?

Разширява я. Работим с вашия екип по сигурност, а не покрай него, и резултатът е предвиден да стане техен стандарт, а не наш доклад. Там, където им липсва дълбочина по ИИ, я изграждаме заедно с тях.

Свързани компетенции

Управление, рискове и съответствие на ИИ

Управление на ИИ

Установете политиките, контролите и отговорностите, необходими за безопасно внедряване на ИИ в корпоративен мащаб.

Научете повече

Инфраструктура за ИИ и LLMOps

Архитектура за ИИ

Проектирайте референтната архитектура, която вашите системи с ИИ споделят: модели, извличане, оркестрация, данни и контроли.

Научете повече

Управление, рискове и съответствие на ИИ

Готовност за регламента за изкуствения интелект

Класифицирайте системите си с ИИ, картирайте следващите от това задължения и затворете пропуските, преди да станат обвързващи.

Научете повече

Обсъдете вашата инициатива за ИИ

Моделирайте заплахите за системите с ИИ и проектирайте архитектурата, контролите и границите, които ограничават риска им.

Говорете с експерт по ИИ Започнете оценка на ИИ