AI-sikkerhet

Rådgivning om AI-sikkerhet

Promptinjeksjon, datalekkasje gjennom modellutdata, misbruk av verktøy og forgiftet søk er ikke varianter av eksisterende sårbarheter på nett. Vi lager trusselmodeller spesifikt for AI-systemer og designer arkitekturen og kontrollene som demmer opp for det vi finner.

Diskuter AI-initiativet deres Rådgivning

Den forretningsmessige utfordringen

Tillitsgrensen flyttet seg, og ingen tegnet den om

I tradisjonelle applikasjoner er data og instruksjoner adskilt. I systemer bygget rundt språkmodeller kommer de i samme kanal, så alt innhold modellen leser, er potensielt en instruksjon. Den ene egenskapen bryter antakelser gjennom hele en sikkerhetsmodell: et dokument, en nettside, en e-post eller en støttesak kan bære en instruksjon modellen vil følge. Legg til verktøy og systemtilgang, og konsekvensen slutter å være et galt svar og blir en handling.

Det vi gjør

Trusselmodell, og begrens deretter ved design

Vi fastslår hva en angriper ville gå etter og hva de ville vinne, og designer deretter slik at den oppnåelige skaden er avgrenset, uansett hvordan modellen oppfører seg. Det betyr minst mulige verktøyrettigheter, validerte verktøykall, å behandle hentet innhold som upålitelige data, godkjenningspunkter på handlinger med konsekvenser, og kontroller på utdata der modelltekst når et annet system. Vi angir også hva som skal logges, for oppdemming uten oppdagelse er en halv kontroll.

Rådgivning om AI-sikkerhet

Kompetanse

Trusselmodellering for AI
Sikkerhetsarkitektur for LLM
Sikkerhetsarkitektur for agenter
AI-risikovurdering
Risiko for promptinjeksjon
Vurdering av datalekkasje
Risiko i AI-leverandørkjeden
Sikker AI-arkitektur

Vanlige bruksområder

Lag en trusselmodell for en AI-applikasjon før den går i produksjon.
Etabler en sikker referansearkitektur andre team bygger mot.
Vurder en eksisterende assistent som har systemtilgang ingen har gjennomgått.
Definer hva en leverandør må dokumentere før AI-funksjonen deres godkjennes.

Slik leverer vi

Trusselmodell

Fastslå hva en angriper ville gå etter, og hva de ville vinne på å nå det.
Test

Fiendtlig testing mot realistisk misbruk, ikke en sjekkliste over kjente strenger.
Rapporter

Funn med reproduksjonstrinn, alvorlighet og løsning, rangert etter utnyttbarhet.
Test på nytt

Bekreft at rettelsene holder, og legg igjen testene slik at tilbakefall blir synlige.

Teknologi

OWASP LLM Top 10
MITRE ATLAS
Garak
Burp Suite
ISO/IEC 27001

Sikkerhet og styring

Testing godkjennes skriftlig, avgrenses til avtalte mål og kjøres mot et miljø utenfor produksjon med mindre dere bestemmer noe annet. Funn behandles fortrolig og formidles til dere før noen andre. Ingenting beholdes ut over oppdraget bortsett fra rapporten og de regresjonstestene dere har bedt oss legge igjen.

Independently audited against

Samarbeidsmodeller

AI-rådgivning

Erfarne rådgivere leverer strategi, arkitektur, vurdering og veiledning i transformasjon.

AI-prosjekt

Vi tar ansvaret for å designe og levere en definert AI-løsning.

Driftet AI

Vi drifter, overvåker og forbedrer løpende AI-systemer i produksjon.

Hvorfor TeamExtension.ai

Arkitektur er den eneste varige kontrollen

Filtre og sikringer er verdt å ha og vil før eller siden bli omgått. Kontrollene som holder, er arkitektoniske: hva systemet får nå, hva det kan gjøre der, og hva som krever et menneske. Vi designer ut fra den premissen, og derfor handler anbefalingene våre gjerne om rettigheter og grenser framfor om deteksjonsregler.

Utvalgte kunder

Ofte stilte spørsmål

Kan promptinjeksjon løses?

Ikke elimineres. Den dempes av arkitektur: behandle alt hentet innhold som upålitelig, avgrens verktøy smalt, legg handlinger med konsekvenser bak godkjenning, og design slik at en vellykket injeksjon når noe avgrenset. Enhver som tilbyr full forebygging, selger et filter.

Dekker dagens penetrasjonstester dette?

Bare delvis. Tradisjonell testing dekker applikasjonsflaten rundt modellen. Den dekker vanligvis ikke injeksjon via hentet innhold, lekkasje via modellutdata eller misbruk av verktøy, for det er ikke tradisjonelle sårbarhetsklasser.

Hva er det vanligste enkeltfunnet?

For vide verktøyrettigheter. Systemer får bred tilgang under utvikling fordi det er praktisk, og omfanget blir aldri snevret inn før produksjon. Det er også som regel det billigste funnet å rette.

Hvordan passer det med dagens sikkerhetsfunksjon?

Det utvider den. Vi arbeider med sikkerhetsteamet deres framfor utenom dem, og resultatet er ment å bli deres standard framfor vår rapport. Der de mangler AI-spesifikk dybde, bygger vi den opp sammen med dem.

Relatert kompetanse

AI-styring, risiko og etterlevelse

AI-styring

Etabler retningslinjene, kontrollene og ansvaret som kreves for å innføre AI trygt i virksomhetsskala.

Les mer

AI-infrastruktur og LLMOps

AI-arkitektur

Design referansearkitekturen AI-systemene deres deler: modeller, søk, orkestrering, data og kontroller.

Les mer

AI-styring, risiko og etterlevelse

Beredskap for EUs AI-forordning

Klassifiser AI-systemene deres, kartlegg forpliktelsene som følger, og tett hullene før de blir bindende.

Les mer

Diskuter AI-initiativet deres

Lag trusselmodeller for AI-systemer, og design arkitekturen, kontrollene og grensene som demmer opp for risikoen.

Snakk med en AI-ekspert Start en AI-vurdering