Bezpečnost AI
Bezpečnostní testování AI
Běžné testování aplikací pokrývá povrch kolem modelu a tam končí. Testujeme systém jako celek na vkládání pokynů, únik dat, zneužití nástrojů a otrávené vyhledávání.
Obchodní problém
Vaše stávající testování to nepokrývá
Penetrační test najde vložení v parametru, ne pokyny ukryté v dokumentu, který asistent přečte později. Zkontroluje autorizaci na koncových bodech, ne jestli lze model přemluvit k použití nástroje jménem někoho jiného. To jsou jiné třídy zranitelností a nespadají do rozsahu, který si už kupujete.
Čím se zabýváme
Testujeme proti realistickému zneužití
Vycházíme z modelu hrozeb, ne z kontrolního seznamu: co by útočník chtěl a co systém zpřístupňuje. Testování pokrývá vložení každou obsahovou cestou, kterou model může přečíst, únik přes výstup, zneužití nástrojů a eskalaci oprávnění i otravu vyhledávání. Zjištění obsahují kroky k reprodukci, závažnost a nápravu, seřazené podle zneužitelnosti, a po nápravě testujeme znovu a testy zanecháváme.
Bezpečnostní testování AI
Kompetence
-
Testování vkládání pokynů
-
Testování obcházení omezení
-
Testování úniku dat u AI
-
Bezpečnostní testování agentů
-
Testování otravy RAG
-
Testování zneužití nástrojů
Obvyklá využití
Obvyklá využití
- Otestovat aplikaci AI dřív, než se dostane do produkce nebo k zákazníkovi.
- Posoudit asistenta, který už má přístup do systémů a nikdo to nekontroloval.
- Doložit provedené testování pro bezpečnostní dotazník zákazníka nebo pro auditora.
- Ověřit, že ochranné mechanismy přidané po incidentu skutečně drží.
Jak dodáváme
Jak dodáváme
-
Model hrozeb
Zjištění, na co by útočník mířil a co by získal, kdyby se tam dostal.
-
Testování
Adversariální testování proti realistickému zneužití, ne seznam známých řetězců.
-
Report
Zjištění s kroky k reprodukci, závažností a nápravou, seřazená podle zneužitelnosti.
-
Opakované testy
Ověření, že opravy drží, a zanechání testů, aby se regrese projevily.
Technologie
Technologie
- OWASP LLM Top 10
- MITRE ATLAS
- Garak
- Burp Suite
- ISO/IEC 27001
Bezpečnost a správa
Bezpečnost a řízení
Testování je písemně schváleno, omezeno na dohodnuté cíle a probíhá v neprodukčním prostředí, pokud nerozhodnete jinak. Zjištění jsou důvěrná a jsou sdělena vám dříve než komukoli jinému. Po skončení spolupráce se neuchovává nic kromě reportu a regresních testů, o jejichž zanechání požádáte.
Modely spolupráce
Modely spolupráce
Poradenství v oblasti AI
Zkušení konzultanti poskytují podporu ve strategii, architektuře, posouzení a transformaci.
Projekt AI
Přebíráme odpovědnost za návrh a dodání vymezeného řešení AI.
Spravovaná AI
Provozujeme, monitorujeme a průběžně zlepšujeme produkční systémy AI.
Proč TeamExtension.ai
Testujeme systém, ne model
Model sám o sobě má omezený útočný povrch. Expozice pochází z toho, k čemu je připojen, takže testování musí zahrnout nástroje, vyhledávání a oprávnění. Protože tyto systémy stavíme, víme, kde jsou švy.
Vybraní klienti
Časté dotazy
Časté dotazy
Čím se to liší od penetračního testu?
Testujete proti produkci?
Co dostaneme?
Jak dlouho posouzení trvá?
Související kompetence
Související kompetence
Bezpečnost AI
Red teaming AI
Adversariální testování aplikací a agentů AI proti realistickým scénářům zneužití.
Zjistit víceAgentní AI a automatizace
Agenti AI
Software, který ve vašich systémech dokončuje vícekrokovou práci, pod vaší kontrolou přístupu a vašimi schvalovacími pravidly.
Zjistit víceBezpečnost AI
Poradenství v bezpečnosti AI
Modelování hrozeb pro systémy AI a návrh architektury, kontrolních mechanismů a hranic, které omezí jejich riziko.
Zjistit víceProberte svou iniciativu v oblasti AI
Testování aplikací AI na způsoby selhání, které běžné testování aplikací nepokrývá.