AI-Sicherheit
AI-Sicherheitsberatung
Prompt Injection, Datenabfluss über Modellausgaben, Missbrauch von Werkzeugen und vergiftete Abrufquellen sind keine Varianten bekannter Web-Schwachstellen. Wir modellieren Bedrohungen für KI-Systeme gezielt und entwerfen die Architektur und die Kontrollen, die das Gefundene eingrenzen.
Die geschäftliche Herausforderung
Die Vertrauensgrenze hat sich verschoben und niemand hat sie neu gezogen
In herkömmlichen Anwendungen sind Daten und Anweisungen getrennt. In Systemen rund um Sprachmodelle kommen sie über denselben Kanal, sodass jeder Inhalt, den das Modell liest, potenziell eine Anweisung ist. Diese eine Eigenschaft bricht Annahmen im gesamten Sicherheitsmodell: ein Dokument, eine Webseite, eine E-Mail oder ein Support-Ticket kann eine Anweisung tragen, der das Modell folgt. Kommen Werkzeuge und Systemzugriff hinzu, ist die Folge keine falsche Antwort mehr, sondern eine Handlung.
Was wir tun
Bedrohungen modellieren, dann per Entwurf begrenzen
Wir bestimmen, was ein Angreifer ins Visier nähme und was er gewinnen würde, und entwerfen dann so, dass der erreichbare Schaden begrenzt bleibt, unabhängig davon, ob sich das Modell wohlverhält. Das bedeutet minimale Rechte für Werkzeuge, validierte Werkzeugaufrufe, abgerufene Inhalte als nicht vertrauenswürdig zu behandeln, Freigabeschritte bei folgenreichen Aktionen und Ausgabekontrollen dort, wo Modelltext ein anderes System erreicht. Wir legen außerdem fest, was zu protokollieren ist, denn Eingrenzung ohne Erkennung ist eine halbe Kontrolle.
AI-Sicherheitsberatung
Leistungsumfang
-
AI Threat Modeling
-
LLM Security Architecture
-
Agent Security Architecture
-
AI Risk Assessment
-
Prompt Injection Risk
-
Data Leakage Assessment
-
AI Supply Chain Risk
-
Secure AI Architecture
Typische Anwendungsfälle
Typische Anwendungsfälle
- Eine KI-Anwendung vor dem Produktivgang einer Bedrohungsmodellierung unterziehen.
- Eine sichere Referenzarchitektur schaffen, gegen die andere Teams bauen.
- Einen bestehenden Assistenten prüfen, der Systemzugriff hat, den niemand überprüft hat.
- Festlegen, was ein Lieferant nachweisen muss, bevor seine KI-Funktion freigegeben wird.
Unser Vorgehen
Unser Vorgehen
-
Bedrohungsmodell
Klären, was ein Angreifer angreifen würde und was er dabei gewinnt.
-
Testen
Adversariale Tests gegen realistischen Missbrauch, nicht gegen eine Stringliste.
-
Berichten
Befunde mit Reproduktionsschritten, Schweregrad und Fix, nach Ausnutzbarkeit sortiert.
-
Nachtesten
Prüfen, ob die Fixes halten, und die Tests hinterlassen, damit Regressionen auffallen.
Technologie
Technologie
- OWASP LLM Top 10
- MITRE ATLAS
- Garak
- Burp Suite
- ISO/IEC 27001
Sicherheit & Governance
Sicherheit & Governance
Tests werden schriftlich autorisiert, auf vereinbarte Ziele begrenzt und gegen eine Nicht-Produktivumgebung ausgeführt, sofern Sie nichts anderes entscheiden. Befunde werden vertraulich behandelt und zuerst Ihnen offengelegt. Über das Projekt hinaus bleibt nichts erhalten ausser Bericht und Regressionstests.
Zusammenarbeitsmodelle
Zusammenarbeitsmodelle
AI-Advisory
Erfahrene Beraterinnen und Berater liefern Strategie, Architektur, Assessments und Transformationsbegleitung.
AI-Projekt
Wir übernehmen Verantwortung für Konzeption und Umsetzung einer definierten AI-Lösung.
Managed AI
Wir betreiben, überwachen und verbessern produktive AI-Systeme kontinuierlich.
Warum TeamExtension.ai
Architektur ist die einzige dauerhafte Kontrolle
Filter und Leitplanken sind sinnvoll und werden irgendwann umgangen. Die Kontrollen, die halten, sind architektonisch: worauf das System zugreifen darf, was es dort tun kann und was einen Menschen verlangt. Wir entwerfen von dieser Prämisse aus, weshalb unsere Empfehlungen eher von Berechtigungen und Grenzen handeln als von Erkennungsregeln.
Ausgewählte Kunden
Häufige Fragen
Häufige Fragen
Lässt sich Prompt Injection lösen?
Decken unsere bestehenden Penetrationstests das ab?
Was ist der häufigste einzelne Befund?
Wie passt das zu unserer bestehenden Sicherheitsfunktion?
Verwandte Kompetenzen
Verwandte Kompetenzen
AI-Governance, Risiko & Compliance
AI-Governance
Richtlinien, Kontrollen und Verantwortlichkeiten etablieren, um AI im Unternehmensmassstab sicher einzusetzen.
Mehr erfahrenAI-Infrastruktur & LLMOps
AI-Architektur
Die Referenzarchitektur entwerfen, die Ihre AI-Systeme teilen: Modelle, Retrieval, Orchestrierung, Daten und Kontrollen.
Mehr erfahrenAI-Governance, Risiko & Compliance
EU-AI-Act-Readiness
AI-Systeme klassifizieren, die daraus folgenden Pflichten abbilden und Lücken schliessen, bevor sie verbindlich werden.
Mehr erfahrenIhre AI-Initiative besprechen
AI-Systeme bedrohungsmodellieren und Architektur, Kontrollen und Grenzen entwerfen, die ihr Risiko eingrenzen.