Sigurnost UI

Savjetovanje o sigurnosti UI

Ubacivanje naredbi, curenje podataka kroz izlaz modela, zlouporaba alata i zatrovano pretraživanje nisu inačice poznatih web ranjivosti. Modeliramo prijetnje svojstvene sustavima UI te osmišljavamo arhitekturu i kontrole koje ograničavaju ono što nađemo.

Porazgovarajmo o vašoj inicijativi na području UI Savjetovanje

Poslovni izazov

Granica povjerenja se pomaknula i nitko je nije nanovo iscrtao

U uobičajenim aplikacijama podatak i naredba odvojeni su. U sustavima izgrađenima oko jezičnih modela stižu istim kanalom, pa je svaki sadržaj koji model pročita potencijalno naredba. To jedno svojstvo ruši pretpostavke u cijelom sigurnosnom modelu: dokument, web stranica, e-pošta ili prijava podršci mogu nositi naredbu koju će model izvršiti. Dodajte alate i pristup sustavima i posljedica više nije pogrešan odgovor, nego radnja.

Čime se bavimo

Modelirati prijetnje, zatim ograničiti osmišljavanjem

Utvrđujemo što bi napadač ciljao i što bi dobio, a zatim osmišljavamo tako da je moguća šteta ograničena bez obzira na ponašanje modela. To znači najniža potrebna ovlaštenja alata, provjerene pozive, tretiranje dohvaćenog sadržaja kao nepouzdanih podataka, vrata odobrenja pri radnjama s važnim posljedicama i nadzor izlaza tamo gdje tekst modela ulazi u drugi sustav. Određujemo i što bilježiti, jer je ograničavanje bez otkrivanja polovična kontrola.

Savjetovanje o sigurnosti UI

Kompetencije

Modeliranje prijetnji UI
Sigurnosna arhitektura za LLM
Sigurnosna arhitektura za agente
Procjena rizika UI
Rizik ubacivanja naredbi
Procjena rizika curenja podataka
Rizik opskrbnog lanca UI
Sigurna arhitektura UI

Uobičajene primjene

Izraditi model prijetnji za aplikaciju UI prije uvođenja u produkciju.
Uspostaviti sigurnu referentnu arhitekturu prema kojoj grade drugi timovi.
Procijeniti postojećeg pomoćnika koji ima pristup sustavima, a to nitko nije provjerio.
Odrediti što dobavljač mora dokazati prije nego njegova funkcija UI bude odobrena.

Kako isporučujemo

Model prijetnji

Utvrđivanje što bi napadač ciljao i što bi dobio ako bi tamo stigao.
Testiranje

Protivničko testiranje protiv realne zlouporabe, a ne popis poznatih nizova.
Izvještaj

Nalazi s koracima za ponavljanje, težinom i popravkom, poredani po iskoristivosti.
Ponovno testiranje

Provjera da popravci drže i ostavljanje testova kako bi se regresije pokazale.

Tehnologija

OWASP LLM Top 10
MITRE ATLAS
Garak
Burp Suite
ISO/IEC 27001

Sigurnost i upravljanje

Testiranje je pisano odobreno, ograničeno na dogovorene ciljeve i provodi se u neprodukcijskom okruženju, osim ako ne odlučite drukčije. Nalazi su povjerljivi i priopćavaju se vama prije bilo koga drugoga. Nakon završetka suradnje ne čuva se ništa osim izvještaja i regresijskih testova koje zatražite da ostavimo.

Independently audited against

Modeli suradnje

Savjetovanje na području UI

Iskusni savjetnici pružaju podršku u strategiji, arhitekturi, procjeni i preobrazbi.

Projekt UI

Preuzimamo odgovornost za osmišljavanje i isporuku određenog rješenja UI.

Upravljana UI

Vodimo, nadziremo i neprekidno poboljšavamo produkcijske sustave UI.

Zašto TeamExtension.ai

Arhitektura je jedina trajna kontrola

Filtri i zaštitni mehanizmi vrijedni su, ali će s vremenom biti zaobiđeni. Kontrole koje izdrže arhitektonske su: dokle sustav smije dosegnuti, što ondje smije učiniti i što traži čovjeka. Osmišljavamo iz te pretpostavke, zato se naše preporuke tiču više ovlaštenja i granica nego pravila otkrivanja.

Odabrani klijenti

Česta pitanja

Može li se ubacivanje naredbi riješiti?

Ne može se ukloniti. Ublažava ga arhitektura: tretiranje svog dohvaćenog sadržaja kao nepouzdanog, usko određeni alati, uvjetovanje radnji s važnim posljedicama odobrenjem i osmišljavanje pri kojem uspješno ubacivanje dosegne nešto ograničeno. Tko obećava potpuno sprječavanje, prodaje filtar.

Pokrivaju li to naši postojeći penetracijski testovi?

Samo djelomično. Uobičajeno testiranje pokriva površinu aplikacije oko modela. Obično ne pokriva ubacivanje kroz dohvaćeni sadržaj, curenje kroz izlaz modela ni zlouporabu alata, jer to nisu uobičajeni razredi ranjivosti.

Koji je najčešći nalaz?

Preširoka ovlaštenja alata. Sustavi tijekom razvoja dobiju širok pristup jer je to zgodno, a opseg se prije produkcije nikada ne suzi. Obično je to i najjeftiniji nalaz za ispravljanje.

Kako se to uklapa u našu postojeću sigurnosnu funkciju?

Proširuje je. Radimo s vašim sigurnosnim timom, a ne mimo njega, a rezultat treba postati njihov standard, a ne naš izvještaj. Gdje im nedostaje dubine svojstvene UI, gradimo je zajedno s njima.

Povezane kompetencije

Upravljanje, rizici i usklađenost UI

Upravljanje UI

Uspostava politika, kontrola i odgovornosti potrebnih za sigurno uvođenje UI u poslovnom opsegu.

Saznajte više

Infrastruktura UI i LLMOps

Arhitektura UI

Osmišljavanje referentne arhitekture koju dijele vaši sustavi UI: modeli, pretraživanje, orkestracija, podaci i kontrole.

Saznajte više

Upravljanje, rizici i usklađenost UI

Spremnost za uredbu o umjetnoj inteligenciji

Razvrstavanje sustava UI, utvrđivanje obveza koje slijede i zatvaranje praznina prije nego postanu obvezujuće.

Saznajte više

Porazgovarajmo o vašoj inicijativi na području UI

Modeliranje prijetnji za sustave UI i osmišljavanje arhitekture, kontrola i granica koje ograničavaju njihov rizik.

Razgovarajte sa stručnjakom za UI Pokrenite procjenu UI