AI-sikkerhed

Rådgivning om AI-sikkerhed

Promptinjektion, dataudsivning gennem modeloutput, misbrug af værktøjer og forgiftet søgning er ikke varianter af eksisterende websårbarheder. Vi laver trusselsmodeller specifikt for AI-systemer og designer den arkitektur og de kontroller, der inddæmmer det, vi finder.

Drøft jeres AI-initiativ Rådgivning

Den forretningsmæssige udfordring

Tillidsgrænsen flyttede sig, og ingen tegnede den om

I traditionelle applikationer er data og instruktioner adskilt. I systemer bygget omkring sprogmodeller kommer de ad samme kanal, så alt indhold, modellen læser, er potentielt en instruktion. Den ene egenskab bryder antagelser gennem hele en sikkerhedsmodel: et dokument, en webside, en mail eller en supportsag kan bære en instruktion, modellen vil følge. Læg værktøjer og systemadgang til, og konsekvensen holder op med at være et forkert svar og bliver en handling.

Det vi gør

Trusselsmodel, og begræns derefter ved design

Vi fastslår, hvad en angriber ville gå efter, og hvad de ville vinde, og designer derefter, så den opnåelige skade er afgrænset, uanset om modellen opfører sig. Det betyder mindst mulige værktøjsrettigheder, validerede værktøjskald, at behandle hentet indhold som upålidelige data, godkendelsestrin på handlinger med konsekvenser og outputkontroller, hvor modeltekst når et andet system. Vi angiver også, hvad der skal logges, for inddæmning uden opdagelse er en halv kontrol.

Rådgivning om AI-sikkerhed

Kompetencer

Trusselsmodellering for AI
Sikkerhedsarkitektur for LLM
Sikkerhedsarkitektur for agenter
AI-risikovurdering
Risiko for promptinjektion
Vurdering af datalækage
Risiko i AI-forsyningskæden
Sikker AI-arkitektur

Typiske anvendelser

Lav en trusselsmodel for en AI-applikation, før den går i produktion.
Etabler en sikker referencearkitektur, andre teams bygger op imod.
Vurder en eksisterende assistent, der har systemadgang, ingen har gennemgået.
Definer hvad en leverandør skal dokumentere, før deres AI-funktion godkendes.

Sådan leverer vi

Trusselsmodel

Fastslå hvad en angriber ville gå efter, og hvad de ville vinde ved at nå det.
Test

Fjendtlig test mod realistisk misbrug, ikke en tjekliste over kendte strenge.
Rapporter

Fund med reproduktionstrin, alvorlighed og løsning, rangeret efter udnyttelighed.
Test igen

Bekræft at rettelserne holder, og efterlad testene, så tilbagefald bliver synlige.

Teknologi

OWASP LLM Top 10
MITRE ATLAS
Garak
Burp Suite
ISO/IEC 27001

Sikkerhed og governance

Test godkendes skriftligt, afgrænses til aftalte mål og køres mod et ikke-produktionsmiljø, medmindre I beslutter andet. Fund behandles fortroligt og oplyses til jer før nogen anden. Intet gemmes ud over engagementet bortset fra rapporten og de regressionstest, I har bedt os efterlade.

Independently audited against

Samarbejdsmodeller

AI-rådgivning

Erfarne konsulenter leverer strategi, arkitektur, vurdering og transformationsvejledning.

AI-projekt

Vi tager ansvaret for at designe og levere en defineret AI-løsning.

Managed AI

Vi driver, overvåger og forbedrer løbende AI-systemer i produktion.

Hvorfor TeamExtension.ai

Arkitektur er den eneste holdbare kontrol

Filtre og guardrails er værd at have og vil før eller siden blive omgået. De kontroller, der holder, er arkitektoniske: hvad systemet må nå, hvad det kan gøre der, og hvad der kræver et menneske. Vi designer ud fra den præmis, og derfor handler vores anbefalinger typisk om rettigheder og grænser frem for om detektionsregler.

Udvalgte kunder

Ofte stillede spørgsmål

Kan promptinjektion løses?

Ikke elimineres. Den mindskes af arkitektur: behandl alt hentet indhold som upålideligt, afgræns værktøjer snævert, læg handlinger med konsekvenser bag godkendelse, og design så en vellykket injektion når noget afgrænset. Enhver, der tilbyder fuld forebyggelse, sælger et filter.

Dækker vores nuværende penetrationstests dette?

Kun delvist. Traditionel test dækker applikationsfladen omkring modellen. Den dækker typisk ikke injektion via hentet indhold, udsivning via modeloutput eller misbrug af værktøjer, for det er ikke traditionelle sårbarhedsklasser.

Hvad er det hyppigste enkeltfund?

For brede værktøjsrettigheder. Systemer får bred adgang under udvikling, fordi det er bekvemt, og omfanget bliver aldrig snævret ind før produktion. Det er også som regel det billigste fund at rette.

Hvordan passer det med vores nuværende sikkerhedsfunktion?

Det udvider den. Vi arbejder med jeres sikkerhedsteam frem for uden om dem, og resultatet er tænkt som deres standard frem for vores rapport. Hvor de mangler AI-specifik dybde, bygger vi den op sammen med dem.

Relaterede kompetencer

AI-governance, risiko og compliance

AI-governance

Etabler de politikker, kontroller og ansvar, der kræves for at udrulle AI sikkert i virksomhedsskala.

Læs mere

AI-infrastruktur og LLMOps

AI-arkitektur

Design den referencearkitektur, jeres AI-systemer deler: modeller, søgning, orkestrering, data og kontroller.

Læs mere

AI-governance, risiko og compliance

Parathed til EU's AI-forordning

Klassificer jeres AI-systemer, kortlæg de forpligtelser der følger, og luk hullerne før de bliver bindende.

Læs mere

Drøft jeres AI-initiativ

Lav trusselsmodeller for AI-systemer, og design den arkitektur, de kontroller og de grænser, der inddæmmer risikoen.

Tal med en AI-ekspert Start en AI-vurdering