Varnost UI

Svetovanje pri varnosti UI

Vrivanje navodil, odtekanje podatkov skozi izhod modela, zloraba orodij in zastrupljeno iskanje niso različice znanih spletnih ranljivosti. Modeliramo grožnje, značilne za sisteme UI, ter zasnujemo arhitekturo in kontrole, ki omejijo to, kar najdemo.

Pogovorimo se o vaši pobudi na področju UI Svetovanje

Poslovni izziv

Meja zaupanja se je premaknila in nihče je ni na novo začrtal

V običajnih aplikacijah sta podatek in navodilo ločena. V sistemih, zgrajenih okoli jezikovnih modelov, prihajata po istem kanalu, zato je vsaka vsebina, ki jo model prebere, potencialno navodilo. Ta ena lastnost podre predpostavke po celotnem varnostnem modelu: dokument, spletna stran, e-pošta ali zahtevek podpore lahko nosi navodilo, ki ga bo model izvedel. Dodajte orodja in dostop do sistemov in posledica ni več napačen odgovor, ampak dejanje.

Kaj počnemo

Modelirati grožnje, nato omejiti z zasnovo

Ugotovimo, kaj bi napadalec ciljal in kaj bi pridobil, nato pa zasnujemo tako, da je mogoča škoda omejena ne glede na vedenje modela. To pomeni najnižja potrebna dovoljenja orodij, preverjene klice, obravnavo pridobljene vsebine kot nezaupljivih podatkov, odobritvena vrata pri dejanjih s pomembnimi posledicami in nadzor izhoda tam, kjer besedilo modela pride v drug sistem. Določimo tudi, kaj beležiti, saj je omejevanje brez zaznave polovična kontrola.

Svetovanje pri varnosti UI

Kompetence

Modeliranje groženj UI
Varnostna arhitektura za LLM
Varnostna arhitektura za agente
Ocena tveganj UI
Tveganje vrivanja navodil
Ocena tveganja odtekanja podatkov
Tveganje dobavne verige UI
Varna arhitektura UI

Pogosti primeri uporabe

Izdelati model groženj za aplikacijo UI pred uvedbo v produkcijo.
Vzpostaviti varno referenčno arhitekturo, po kateri gradijo druge ekipe.
Oceniti obstoječega pomočnika, ki ima dostop do sistemov, pa tega ni nihče preveril.
Določiti, kaj mora ponudnik izkazati, preden bo njegova funkcija UI odobrena.

Kako dostavljamo

Model groženj

Ugotovitev, kaj bi napadalec ciljal in kaj bi pridobil, če bi tja prišel.
Testiranje

Nasprotniško testiranje proti realistični zlorabi in ne seznam znanih nizov.
Poročilo

Ugotovitve s koraki za ponovitev, resnostjo in popravkom, razvrščene po izkoristljivosti.
Ponovno testiranje

Preveritev, da popravki držijo, in puščanje testov, da se regresije pokažejo.

Tehnologija

OWASP LLM Top 10
MITRE ATLAS
Garak
Burp Suite
ISO/IEC 27001

Varnost in upravljanje

Testiranje je pisno odobreno, omejeno na dogovorjene cilje in poteka v neprodukcijskem okolju, razen če odločite drugače. Ugotovitve so zaupne in vam jih sporočimo pred komerkoli drugim. Po zaključku sodelovanja se ne hrani nič razen poročila in regresijskih testov, za katere prosite, da jih pustimo.

Independently audited against

Modeli sodelovanja

Svetovanje na področju UI

Izkušeni svetovalci nudijo podporo pri strategiji, arhitekturi, oceni in preobrazbi.

Projekt UI

Prevzamemo odgovornost za zasnovo in izvedbo opredeljene rešitve UI.

Upravljana UI

Upravljamo, nadziramo in sproti izboljšujemo produkcijske sisteme UI.

Zakaj TeamExtension.ai

Arhitektura je edina trajna kontrola

Filtri in zaščitni mehanizmi so vredni, da jih imate, in bodo sčasoma obidenimi. Kontrole, ki zdržijo, so arhitekturne: kam sme sistem seči, kaj sme tam narediti in kaj zahteva človeka. Načrtujemo iz te predpostavke, zato se naša priporočila nanašajo bolj na dovoljenja in meje kot na pravila zaznave.

Izbrane stranke

Pogosta vprašanja

Ali je vrivanje navodil mogoče rešiti?

Odpraviti ga ni mogoče. Blaži ga arhitektura: obravnavanje vse pridobljene vsebine kot nezaupljive, ozko omejena orodja, pogojevanje dejanj s pomembnimi posledicami z odobritvijo in zasnova, pri kateri uspešno vrivanje doseže nekaj omejenega. Kdor obljublja popolno preprečitev, prodaja filter.

Ali to pokrivajo naši obstoječi penetracijski testi?

Le delno. Običajno testiranje pokriva površino aplikacije okoli modela. Praviloma ne pokriva vrivanja skozi pridobljeno vsebino, odtekanja skozi izhod modela ali zlorabe orodij, ker to niso običajni razredi ranljivosti.

Kaj je najpogostejša ugotovitev?

Preširoka dovoljenja orodij. Sistemi med razvojem dobijo širok dostop, ker je to udobno, obseg pa se pred produkcijo nikoli ne zoži. Običajno je to tudi najcenejša ugotovitev za odpravo.

Kako se to ujema z našo obstoječo varnostno funkcijo?

Razširja jo. Delamo z vašo varnostno ekipo in ne mimo nje, rezultat pa naj postane njihov standard in ne naše poročilo. Kjer jim manjka globine, značilne za UI, jo zgradimo skupaj z njimi.

Sorodne kompetence

Upravljanje, tveganja in skladnost UI

Upravljanje UI

Vzpostavitev politik, kontrol in odgovornosti, potrebnih za varno uvedbo UI v poslovnem obsegu.

Več o tem

Infrastruktura UI in LLMOps

Arhitektura UI

Zasnova referenčne arhitekture, ki jo delijo vaši sistemi UI: modeli, iskanje, orkestracija, podatki in kontrole.

Več o tem

Upravljanje, tveganja in skladnost UI

Pripravljenost na uredbo o umetni inteligenci

Razvrstitev sistemov UI, določitev izhajajočih obveznosti in zapiranje vrzeli, preden postanejo zavezujoče.

Več o tem

Pogovorimo se o vaši pobudi na področju UI

Modeliranje groženj za sisteme UI ter zasnova arhitekture, kontrol in meja, ki omejijo njihovo tveganje.

Pogovorite se s strokovnjakom za UI Začnite oceno UI