AI-säkerhet

Rådgivning om AI-säkerhet

Promptinjektion, dataläckage genom modellutdata, missbruk av verktyg och förgiftad sökning är inte varianter av befintliga webbsårbarheter. Vi hotmodellerar AI-system specifikt och designar den arkitektur och de kontroller som begränsar det vi hittar.

Diskutera ert AI-initiativ Rådgivning

Den affärsmässiga utmaningen

Förtroendegränsen flyttade sig och ingen ritade om den

I traditionella applikationer är data och instruktioner åtskilda. I system byggda kring språkmodeller kommer de i samma kanal, så allt innehåll modellen läser är potentiellt en instruktion. Den enda egenskapen bryter antaganden genom hela en säkerhetsmodell: ett dokument, en webbsida, ett mejl eller ett supportärende kan bära en instruktion modellen följer. Lägg till verktyg och systemåtkomst, och följden slutar vara ett felaktigt svar och blir en åtgärd.

Det vi gör

Hotmodellera, och begränsa sedan genom design

Vi fastställer vad en angripare skulle rikta in sig på och vad de skulle vinna, och designar sedan så att den möjliga skadan är begränsad oavsett hur modellen beter sig. Det betyder minsta möjliga verktygsbehörigheter, validerade verktygsanrop, att behandla hämtat innehåll som opålitliga data, godkännandesteg på åtgärder med följder, och kontroller på utdata där modelltext når ett annat system. Vi anger också vad som ska loggas, för begränsning utan upptäckt är en halv kontroll.

Rådgivning om AI-säkerhet

Kompetenser

Hotmodellering för AI
Säkerhetsarkitektur för LLM
Säkerhetsarkitektur för agenter
AI-riskbedömning
Risk för promptinjektion
Bedömning av dataläckage
Risk i AI-leverantörskedjan
Säker AI-arkitektur

Vanliga användningsområden

Hotmodellera en AI-applikation innan den går i produktion.
Etablera en säker referensarkitektur som andra team bygger mot.
Bedöm en befintlig assistent som har systemåtkomst ingen granskat.
Definiera vad en leverantör måste styrka innan deras AI-funktion godkänns.

Så levererar vi

Hotmodell

Fastställ vad en angripare skulle rikta in sig på och vad de skulle vinna på att nå det.
Testa

Fientlig testning mot realistiskt missbruk, inte en checklista över kända strängar.
Rapportera

Fynd med reproduktionssteg, allvarlighet och åtgärd, rangordnade efter utnyttjbarhet.
Testa om

Bekräfta att åtgärderna håller, och lämna kvar testerna så att återfall syns.

Teknik

OWASP LLM Top 10
MITRE ATLAS
Garak
Burp Suite
ISO/IEC 27001

Säkerhet och styrning

Testning godkänns skriftligt, avgränsas till överenskomna mål och körs mot en miljö utanför produktion om ni inte beslutar annat. Fynd behandlas konfidentiellt och redovisas för er före någon annan. Inget behålls utöver uppdraget förutom rapporten och de regressionstester ni bett oss lämna kvar.

Independently audited against

Samarbetsmodeller

AI-rådgivning

Erfarna konsulter levererar strategi, arkitektur, bedömning och vägledning i transformation.

AI-projekt

Vi tar ansvaret för att designa och leverera en definierad AI-lösning.

Förvaltad AI

Vi driftar, övervakar och förbättrar löpande AI-system i produktion.

Varför TeamExtension.ai

Arkitektur är den enda hållbara kontrollen

Filter och skyddsräcken är värda att ha och kommer förr eller senare att kringgås. De kontroller som håller är arkitektoniska: vad systemet får nå, vad det kan göra där, och vad som kräver en människa. Vi designar utifrån den premissen, och därför handlar våra rekommendationer oftast om behörigheter och gränser i stället för om detekteringsregler.

Utvalda kunder

Vanliga frågor

Går promptinjektion att lösa?

Inte att eliminera. Den dämpas av arkitektur: behandla allt hämtat innehåll som opålitligt, avgränsa verktyg snävt, lägg åtgärder med följder bakom godkännande, och designa så att en lyckad injektion når något begränsat. Var och en som erbjuder fullständigt skydd säljer ett filter.

Täcker våra befintliga penetrationstester detta?

Bara delvis. Traditionell testning täcker applikationsytan runt modellen. Den täcker vanligen inte injektion via hämtat innehåll, läckage via modellutdata eller missbruk av verktyg, eftersom det inte är traditionella sårbarhetsklasser.

Vad är det vanligaste enskilda fyndet?

För breda verktygsbehörigheter. System ges bred åtkomst under utveckling för att det är bekvämt, och omfattningen snävas aldrig in före produktion. Det är också oftast det billigaste fyndet att åtgärda.

Hur passar det med vår befintliga säkerhetsfunktion?

Det utvidgar den. Vi arbetar med ert säkerhetsteam i stället för runt dem, och resultatet är tänkt att bli deras standard i stället för vår rapport. Där de saknar AI-specifikt djup bygger vi upp det tillsammans med dem.

Relaterade kompetenser

AI-styrning, risk och regelefterlevnad

AI-styrning

Etablera de riktlinjer, kontroller och ansvar som krävs för att införa AI säkert i företagsskala.

Läs mer

AI-infrastruktur och LLMOps

AI-arkitektur

Designa den referensarkitektur era AI-system delar: modeller, sökning, orkestrering, data och kontroller.

Läs mer

AI-styrning, risk och regelefterlevnad

Beredskap för EU:s AI-förordning

Klassificera era AI-system, kartlägg åtagandena som följer, och täpp till luckorna innan de blir bindande.

Läs mer

Diskutera ert AI-initiativ

Hotmodellera AI-system och designa den arkitektur, de kontroller och de gränser som begränsar risken.

Tala med en AI-expert Starta en AI-utvärdering