Sigurnost VI

Savjetovanje o sigurnosti VI

Ubacivanje naredbi, curenje podataka kroz izlaz modela, zloupotreba alata i zatrovana pretraga nisu varijante poznatih web ranjivosti. Modeliramo prijetnje svojstvene sistemima VI i projektujemo arhitekturu i kontrole koje ograničavaju ono što nađemo.

Porazgovarajmo o vašoj inicijativi u oblasti VI Savjetovanje

Poslovni izazov

Granica povjerenja se pomjerila i niko je nije iznova iscrtao

U uobičajenim aplikacijama podatak i naredba su odvojeni. U sistemima izgrađenim oko jezičkih modela stižu istim kanalom, pa je svaki sadržaj koji model pročita potencijalno naredba. To jedno svojstvo ruši pretpostavke u cijelom sigurnosnom modelu: dokument, web stranica, e-pošta ili prijava podršci mogu nositi naredbu koju će model izvršiti. Dodajte alate i pristup sistemima i posljedica više nije pogrešan odgovor, nego radnja.

Čime se bavimo

Modelirati prijetnje, pa ograničiti projektovanjem

Utvrđujemo šta bi napadač ciljao i šta bi dobio, a zatim projektujemo tako da je moguća šteta ograničena bez obzira na ponašanje modela. To znači najniža potrebna ovlaštenja alata, provjerene pozive, tretiranje dobavljenog sadržaja kao nepouzdanih podataka, kapije odobrenja pri radnjama sa značajnim posljedicama i nadzor izlaza tamo gdje tekst modela ulazi u drugi sistem. Određujemo i šta bilježiti, jer je ograničavanje bez otkrivanja polovična kontrola.

Savjetovanje o sigurnosti VI

Kompetencije

Modeliranje prijetnji VI
Sigurnosna arhitektura za LLM
Sigurnosna arhitektura za agente
Procjena rizika VI
Rizik ubacivanja naredbi
Procjena rizika curenja podataka
Rizik lanca snabdijevanja VI
Sigurna arhitektura VI

Uobičajene primjene

Izraditi model prijetnji za aplikaciju VI prije uvođenja u produkciju.
Uspostaviti sigurnu referentnu arhitekturu prema kojoj grade drugi timovi.
Procijeniti postojećeg pomoćnika koji ima pristup sistemima, a to niko nije provjerio.
Odrediti šta dobavljač mora dokazati prije nego njegova funkcija VI bude odobrena.

Kako isporučujemo

Model prijetnji

Utvrđivanje šta bi napadač ciljao i šta bi dobio ako bi tamo stigao.
Testiranje

Protivničko testiranje protiv stvarne zloupotrebe, a ne spisak poznatih niski.
Izvještaj

Nalazi sa koracima za ponavljanje, težinom i popravkom, poređani po iskoristivosti.
Ponovno testiranje

Provjera da popravke drže i ostavljanje testova kako bi se regresije pokazale.

Tehnologija

OWASP LLM Top 10
MITRE ATLAS
Garak
Burp Suite
ISO/IEC 27001

Sigurnost i upravljanje

Testiranje je pisano odobreno, ograničeno na dogovorene ciljeve i provodi se u neprodukcijskom okruženju, osim ako ne odlučite drugačije. Nalazi su povjerljivi i saopćavaju se vama prije bilo koga drugog. Nakon završetka saradnje ne čuva se ništa osim izvještaja i regresijskih testova koje zatražite da ostavimo.

Independently audited against

Modeli saradnje

Savjetovanje u oblasti VI

Iskusni savjetnici pružaju podršku u strategiji, arhitekturi, procjeni i preobrazbi.

Projekat VI

Preuzimamo odgovornost za projektovanje i isporuku određenog rješenja VI.

Upravljana VI

Vodimo, nadziremo i neprekidno poboljšavamo produkcijske sisteme VI.

Zašto TeamExtension.ai

Arhitektura je jedina trajna kontrola

Filteri i zaštitni mehanizmi vrijedni su, ali će vremenom biti zaobiđeni. Kontrole koje izdrže arhitektonske su: dokle sistem smije dosegnuti, šta tamo smije uraditi i šta traži čovjeka. Projektujemo iz te pretpostavke, zato se naše preporuke tiču više ovlaštenja i granica nego pravila otkrivanja.

Odabrani klijenti

Česta pitanja

Može li se ubacivanje naredbi riješiti?

Ne može se ukloniti. Ublažava ga arhitektura: tretiranje svog dobavljenog sadržaja kao nepouzdanog, usko određeni alati, uslovljavanje radnji sa značajnim posljedicama odobrenjem i projektovanje pri kojem uspješno ubacivanje dosegne nešto ograničeno. Ko obećava potpuno sprječavanje, prodaje filter.

Pokrivaju li to naši postojeći penetracijski testovi?

Samo djelimično. Uobičajeno testiranje pokriva površinu aplikacije oko modela. Obično ne pokriva ubacivanje kroz dobavljeni sadržaj, curenje kroz izlaz modela ni zloupotrebu alata, jer to nisu uobičajene klase ranjivosti.

Koji je najčešći nalaz?

Preširoka ovlaštenja alata. Sistemi tokom razvoja dobiju širok pristup jer je to zgodno, a obim se prije produkcije nikada ne suzi. Obično je to i najjeftiniji nalaz za ispravljanje.

Kako se to uklapa u našu postojeću sigurnosnu funkciju?

Proširuje je. Radimo sa vašim sigurnosnim timom, a ne mimo njega, a rezultat treba postati njihov standard, a ne naš izvještaj. Gdje im nedostaje dubine svojstvene VI, gradimo je zajedno sa njima.

Povezane kompetencije

Upravljanje, rizici i usklađenost VI

Upravljanje VI

Uspostavljanje politika, kontrola i odgovornosti potrebnih za sigurno uvođenje VI u poslovnom obimu.

Saznajte više

Infrastruktura VI i LLMOps

Arhitektura VI

Projektovanje referentne arhitekture koju dijele vaši sistemi VI: modeli, pretraga, orkestracija, podaci i kontrole.

Saznajte više

Upravljanje, rizici i usklađenost VI

Spremnost za uredbu o vještačkoj inteligenciji

Razvrstavanje sistema VI, utvrđivanje obaveza koje slijede i zatvaranje praznina prije nego postanu obavezujuće.

Saznajte više

Porazgovarajmo o vašoj inicijativi u oblasti VI

Modeliranje prijetnji za sisteme VI i projektovanje arhitekture, kontrola i granica koje ograničavaju njihov rizik.

Razgovarajte sa stručnjakom za VI Pokrenite procjenu VI