AI-beveiliging

Advies over AI-beveiliging

Prompt-injectie, datalekken via modeluitvoer, misbruik van tools en vergiftigd ophalen zijn geen varianten van bekende webkwetsbaarheden. Wij modelleren de dreigingen van AI-systemen specifiek en ontwerpen de architectuur en maatregelen die inperken wat we vinden.

Het zakelijke vraagstuk

De vertrouwensgrens verschoof en niemand trok hem opnieuw

In gewone applicaties zijn data en instructies gescheiden. In systemen rond taalmodellen komen ze via hetzelfde kanaal binnen, dus elke inhoud die het model leest is potentieel een instructie. Die ene eigenschap breekt aannames in het hele beveiligingsmodel: een document, een webpagina, een e-mail of een supportmelding kan een instructie bevatten die het model opvolgt. Voeg tools en systeemtoegang toe, en het gevolg is niet langer een fout antwoord maar een handeling.

Wat we doen

Dreigingen modelleren en dan begrenzen door ontwerp

We stellen vast waar een aanvaller op zou mikken en wat hij daarmee wint, en ontwerpen vervolgens zo dat de bereikbare schade begrensd blijft ongeacht of het model zich gedraagt. Dat betekent tools met minimale rechten, gevalideerde aanroepen, opgehaalde inhoud als niet-vertrouwde data behandelen, goedkeuringsmomenten bij ingrijpende acties, en uitvoercontroles waar modeltekst een ander systeem bereikt. We leggen ook vast wat gelogd moet worden, want inperken zonder detecteren is een halve maatregel.

Advies over AI-beveiliging

Expertise

  • Dreigingsmodellering voor AI

  • Beveiligingsarchitectuur voor LLM's

  • Beveiligingsarchitectuur voor agents

  • AI-risicobeoordeling

  • Risico van prompt-injectie

  • Beoordeling van datalekken

  • Ketenrisico bij AI

  • Veilige AI-architectuur

Veelvoorkomende toepassingen

Veelvoorkomende toepassingen

  • Dreigingen van een AI-toepassing modelleren voordat ze naar productie gaat.
  • Een veilige referentiearchitectuur neerzetten waar andere teams op bouwen.
  • Een bestaande assistent beoordelen met systeemtoegang die niemand heeft nagekeken.
  • Vastleggen wat een leverancier moet aantonen voordat zijn AI-functie wordt goedgekeurd.

Hoe we leveren

Hoe we leveren

  1. Dreigingen modelleren

    Vaststellen waar een aanvaller op zou mikken en wat hij daarmee zou winnen.

  2. Testen

    Adversarieel testen tegen realistisch misbruik, niet tegen een lijst bekende tekenreeksen.

  3. Rapporteren

    Bevindingen met reproductiestappen, ernst en oplossing, gerangschikt naar misbruikbaarheid.

  4. Hertesten

    Nagaan of de oplossingen standhouden en de tests achterlaten zodat regressies opvallen.

Technologie

Technologie

  • OWASP LLM Top 10
  • MITRE ATLAS
  • Garak
  • Burp Suite
  • ISO/IEC 27001

Beveiliging en governance

Beveiliging en governance

Tests worden schriftelijk geautoriseerd, afgebakend tot afgesproken doelen en uitgevoerd op een niet-productieomgeving tenzij u anders beslist. Bevindingen worden vertrouwelijk behandeld en eerst aan u gemeld. Er wordt niets bewaard na afloop, behalve het rapport en de regressietests die u ons hebt gevraagd achter te laten.

Samenwerkingsmodellen

Samenwerkingsmodellen

AI-advies

Ervaren consultants leveren strategie, architectuur, beoordeling en begeleiding bij verandering.

AI-project

Wij nemen de verantwoordelijkheid voor het ontwerpen en opleveren van een afgebakende AI-oplossing.

Beheerde AI

Wij beheren, bewaken en verbeteren doorlopend AI-systemen in productie.

Waarom TeamExtension.ai

Architectuur is de enige duurzame maatregel

Filters en guardrails zijn nuttig en worden uiteindelijk omzeild. De maatregelen die standhouden zijn architectonisch: waar het systeem bij mag, wat het daar mag doen, en wat een mens vereist. We ontwerpen vanuit die premisse, en daarom gaan onze aanbevelingen eerder over rechten en grenzen dan over detectieregels.

Geselecteerde klanten

Veelgestelde vragen

Veelgestelde vragen

Is prompt-injectie op te lossen?
Niet weg te nemen. Ze wordt beperkt door architectuur: alle opgehaalde inhoud als niet-vertrouwd behandelen, tools smal houden, ingrijpende acties achter goedkeuring zetten, en zo ontwerpen dat een geslaagde injectie iets begrensds bereikt. Wie volledige preventie belooft, verkoopt een filter.
Dekken onze bestaande pentests dit af?
Slechts deels. Gewone tests dekken het applicatieoppervlak rond het model. Ze dekken doorgaans niet injectie via opgehaalde inhoud, lekken via modeluitvoer of misbruik van tools, omdat dat geen gangbare kwetsbaarheidsklassen zijn.
Wat is de meest voorkomende bevinding?
Te ruime toolrechten. Systemen krijgen tijdens de ontwikkeling brede toegang omdat het handig is, en die wordt vóór productie nooit versmald. Het is meestal ook de goedkoopste bevinding om op te lossen.
Hoe past dit bij onze bestaande beveiligingsfunctie?
Het breidt die uit. We werken met uw beveiligingsteam en niet erlangs, en de uitkomst is bedoeld om hun standaard te worden in plaats van ons rapport te blijven. Waar AI-specifieke diepgang ontbreekt, bouwen we die met hen op.

Bespreek uw AI-initiatief

Modelleer de dreigingen van uw AI-systemen en ontwerp de architectuur, maatregelen en grenzen die het risico inperken.