Bezbednost VI

Savetovanje o bezbednosti VI

Ubacivanje naredbi, curenje podataka kroz izlaz modela, zloupotreba alata i zatrovana pretraga nisu varijante poznatih veb ranjivosti. Modelujemo pretnje svojstvene sistemima VI i projektujemo arhitekturu i kontrole koje ograničavaju ono što nađemo.

Porazgovarajmo o vašoj inicijativi u oblasti VI Savetovanje

Poslovni izazov

Granica poverenja se pomerila i niko je nije iznova iscrtao

U uobičajenim aplikacijama podatak i naredba su odvojeni. U sistemima izgrađenim oko jezičkih modela stižu istim kanalom, pa je svaki sadržaj koji model pročita potencijalno naredba. To jedno svojstvo ruši pretpostavke u celom bezbednosnom modelu: dokument, veb stranica, e-pošta ili prijava podršci mogu nositi naredbu koju će model izvršiti. Dodajte alate i pristup sistemima i posledica više nije pogrešan odgovor, nego radnja.

Čime se bavimo

Modelovati pretnje, pa ograničiti projektovanjem

Utvrđujemo šta bi napadač ciljao i šta bi dobio, a zatim projektujemo tako da je moguća šteta ograničena bez obzira na ponašanje modela. To znači najniža potrebna ovlašćenja alata, proverene pozive, tretiranje dobavljenog sadržaja kao nepouzdanih podataka, kapije odobrenja pri radnjama sa značajnim posledicama i nadzor izlaza tamo gde tekst modela ulazi u drugi sistem. Određujemo i šta beležiti, jer je ograničavanje bez otkrivanja polovična kontrola.

Savetovanje o bezbednosti VI

Kompetencije

Modelovanje pretnji VI
Bezbednosna arhitektura za LLM
Bezbednosna arhitektura za agente
Procena rizika VI
Rizik ubacivanja naredbi
Procena rizika curenja podataka
Rizik lanca snabdevanja VI
Bezbedna arhitektura VI

Uobičajene primene

Izraditi model pretnji za aplikaciju VI pre uvođenja u produkciju.
Uspostaviti bezbednu referentnu arhitekturu prema kojoj grade drugi timovi.
Proceniti postojećeg pomoćnika koji ima pristup sistemima, a to niko nije proverio.
Odrediti šta dobavljač mora da dokaže pre nego njegova funkcija VI bude odobrena.

Kako isporučujemo

Model pretnji

Utvrđivanje šta bi napadač ciljao i šta bi dobio ako bi tamo stigao.
Testiranje

Protivničko testiranje protiv realne zloupotrebe, a ne spisak poznatih niski.
Izveštaj

Nalazi sa koracima za ponavljanje, težinom i popravkom, poređani po iskoristivosti.
Ponovno testiranje

Provera da popravke drže i ostavljanje testova kako bi se regresije pokazale.

Tehnologija

OWASP LLM Top 10
MITRE ATLAS
Garak
Burp Suite
ISO/IEC 27001

Bezbednost i upravljanje

Testiranje je pisano odobreno, ograničeno na dogovorene ciljeve i sprovodi se u neprodukcionom okruženju, osim ako ne odlučite drugačije. Nalazi su poverljivi i saopštavaju se vama pre bilo koga drugog. Nakon završetka saradnje ne čuva se ništa osim izveštaja i regresionih testova koje zatražite da ostavimo.

Independently audited against

Modeli saradnje

Savetovanje u oblasti VI

Iskusni savetnici pružaju podršku u strategiji, arhitekturi, proceni i preobražaju.

Projekat VI

Preuzimamo odgovornost za projektovanje i isporuku određenog rešenja VI.

Upravljana VI

Vodimo, nadziremo i neprekidno poboljšavamo produkcione sisteme VI.

Zašto TeamExtension.ai

Arhitektura je jedina trajna kontrola

Filteri i zaštitni mehanizmi vredni su, ali će vremenom biti zaobiđeni. Kontrole koje izdrže arhitektonske su: dokle sistem sme da dosegne, šta tamo sme da uradi i šta traži čoveka. Projektujemo iz te pretpostavke, zato se naše preporuke tiču više ovlašćenja i granica nego pravila otkrivanja.

Одабрани клијенти

Česta pitanja

Može li ubacivanje naredbi da se reši?

Ne može da se ukloni. Ublažava ga arhitektura: tretiranje svog dobavljenog sadržaja kao nepouzdanog, usko određeni alati, uslovljavanje radnji sa značajnim posledicama odobrenjem i projektovanje pri kojem uspešno ubacivanje dosegne nešto ograničeno. Ko obećava potpuno sprečavanje, prodaje filter.

Pokrivaju li to naši postojeći penetracioni testovi?

Samo delimično. Uobičajeno testiranje pokriva površinu aplikacije oko modela. Obično ne pokriva ubacivanje kroz dobavljeni sadržaj, curenje kroz izlaz modela ni zloupotrebu alata, jer to nisu uobičajene klase ranjivosti.

Koji je najčešći nalaz?

Preširoka ovlašćenja alata. Sistemi tokom razvoja dobiju širok pristup jer je to zgodno, a obim se pre produkcije nikada ne suzi. Obično je to i najjeftiniji nalaz za ispravljanje.

Kako se to uklapa u našu postojeću bezbednosnu funkciju?

Proširuje je. Radimo sa vašim bezbednosnim timom, a ne mimo njega, a rezultat treba da postane njihov standard, a ne naš izveštaj. Gde im nedostaje dubine svojstvene VI, gradimo je zajedno sa njima.

Povezane kompetencije

Upravljanje, rizici i usklađenost VI

Upravljanje VI

Uspostavljanje politika, kontrola i odgovornosti potrebnih za bezbedno uvođenje VI u poslovnom obimu.

Saznajte više

Infrastruktura VI i LLMOps

Arhitektura VI

Projektovanje referentne arhitekture koju dele vaši sistemi VI: modeli, pretraga, orkestracija, podaci i kontrole.

Saznajte više

Upravljanje, rizici i usklađenost VI

Spremnost za uredbu o veštačkoj inteligenciji

Razvrstavanje sistema VI, utvrđivanje obaveza koje slede i zatvaranje praznina pre nego postanu obavezujuće.

Saznajte više

Porazgovarajmo o vašoj inicijativi u oblasti VI

Modelovanje pretnji za sisteme VI i projektovanje arhitekture, kontrola i granica koje ograničavaju njihov rizik.

Razgovarajte sa stručnjakom za VI Pokrenite procenu VI