AI-Sicherheit

AI-Sicherheitsberatung

Prompt Injection, Datenabfluss über Modellausgaben, Missbrauch von Werkzeugen und vergiftete Abrufquellen sind keine Varianten bekannter Web-Schwachstellen. Wir modellieren Bedrohungen für KI-Systeme gezielt und entwerfen die Architektur und die Kontrollen, die das Gefundene eingrenzen.

Die geschäftliche Herausforderung

Die Vertrauensgrenze hat sich verschoben und niemand hat sie neu gezogen

In herkömmlichen Anwendungen sind Daten und Anweisungen getrennt. In Systemen rund um Sprachmodelle kommen sie über denselben Kanal, sodass jeder Inhalt, den das Modell liest, potenziell eine Anweisung ist. Diese eine Eigenschaft bricht Annahmen im gesamten Sicherheitsmodell: ein Dokument, eine Webseite, eine E-Mail oder ein Support-Ticket kann eine Anweisung tragen, der das Modell folgt. Kommen Werkzeuge und Systemzugriff hinzu, ist die Folge keine falsche Antwort mehr, sondern eine Handlung.

Was wir tun

Bedrohungen modellieren, dann per Entwurf begrenzen

Wir bestimmen, was ein Angreifer ins Visier nähme und was er gewinnen würde, und entwerfen dann so, dass der erreichbare Schaden begrenzt bleibt, unabhängig davon, ob sich das Modell wohlverhält. Das bedeutet minimale Rechte für Werkzeuge, validierte Werkzeugaufrufe, abgerufene Inhalte als nicht vertrauenswürdig zu behandeln, Freigabeschritte bei folgenreichen Aktionen und Ausgabekontrollen dort, wo Modelltext ein anderes System erreicht. Wir legen außerdem fest, was zu protokollieren ist, denn Eingrenzung ohne Erkennung ist eine halbe Kontrolle.

AI-Sicherheitsberatung

Leistungsumfang

  • AI Threat Modeling

  • LLM Security Architecture

  • Agent Security Architecture

  • AI Risk Assessment

  • Prompt Injection Risk

  • Data Leakage Assessment

  • AI Supply Chain Risk

  • Secure AI Architecture

Typische Anwendungsfälle

Typische Anwendungsfälle

  • Eine KI-Anwendung vor dem Produktivgang einer Bedrohungsmodellierung unterziehen.
  • Eine sichere Referenzarchitektur schaffen, gegen die andere Teams bauen.
  • Einen bestehenden Assistenten prüfen, der Systemzugriff hat, den niemand überprüft hat.
  • Festlegen, was ein Lieferant nachweisen muss, bevor seine KI-Funktion freigegeben wird.

Unser Vorgehen

Unser Vorgehen

  1. Bedrohungsmodell

    Klären, was ein Angreifer angreifen würde und was er dabei gewinnt.

  2. Testen

    Adversariale Tests gegen realistischen Missbrauch, nicht gegen eine Stringliste.

  3. Berichten

    Befunde mit Reproduktionsschritten, Schweregrad und Fix, nach Ausnutzbarkeit sortiert.

  4. Nachtesten

    Prüfen, ob die Fixes halten, und die Tests hinterlassen, damit Regressionen auffallen.

Technologie

Technologie

  • OWASP LLM Top 10
  • MITRE ATLAS
  • Garak
  • Burp Suite
  • ISO/IEC 27001

Sicherheit & Governance

Sicherheit & Governance

Tests werden schriftlich autorisiert, auf vereinbarte Ziele begrenzt und gegen eine Nicht-Produktivumgebung ausgeführt, sofern Sie nichts anderes entscheiden. Befunde werden vertraulich behandelt und zuerst Ihnen offengelegt. Über das Projekt hinaus bleibt nichts erhalten ausser Bericht und Regressionstests.

Zusammenarbeitsmodelle

Zusammenarbeitsmodelle

AI-Advisory

Erfahrene Beraterinnen und Berater liefern Strategie, Architektur, Assessments und Transformationsbegleitung.

AI-Projekt

Wir übernehmen Verantwortung für Konzeption und Umsetzung einer definierten AI-Lösung.

Managed AI

Wir betreiben, überwachen und verbessern produktive AI-Systeme kontinuierlich.

Warum TeamExtension.ai

Architektur ist die einzige dauerhafte Kontrolle

Filter und Leitplanken sind sinnvoll und werden irgendwann umgangen. Die Kontrollen, die halten, sind architektonisch: worauf das System zugreifen darf, was es dort tun kann und was einen Menschen verlangt. Wir entwerfen von dieser Prämisse aus, weshalb unsere Empfehlungen eher von Berechtigungen und Grenzen handeln als von Erkennungsregeln.

Ausgewählte Kunden

Häufige Fragen

Häufige Fragen

Lässt sich Prompt Injection lösen?
Nicht beseitigen. Sie wird durch Architektur gemildert: alle abgerufenen Inhalte als nicht vertrauenswürdig behandeln, Werkzeuge eng fassen, folgenreiche Aktionen freigabepflichtig machen und so entwerfen, dass eine gelungene Injektion nur Begrenztes erreicht. Wer vollständige Verhinderung anbietet, verkauft einen Filter.
Decken unsere bestehenden Penetrationstests das ab?
Nur teilweise. Herkömmliche Tests decken die Anwendungsoberfläche rund um das Modell ab. Sie decken üblicherweise nicht Injektion über abgerufene Inhalte, Abfluss über Modellausgaben oder Werkzeugmissbrauch ab, weil das keine herkömmlichen Schwachstellenklassen sind.
Was ist der häufigste einzelne Befund?
Zu weit gefasste Werkzeugberechtigungen. Systeme erhalten während der Entwicklung breiten Zugriff, weil es bequem ist, und der Umfang wird vor der Produktion nie eingeengt. Es ist zugleich meist der billigste Befund, den man beheben kann.
Wie passt das zu unserer bestehenden Sicherheitsfunktion?
Es erweitert sie. Wir arbeiten mit Ihrem Sicherheitsteam statt an ihm vorbei, und das Ergebnis soll dessen Standard werden, nicht unser Bericht bleiben. Wo ihm KI-spezifische Tiefe fehlt, bauen wir sie gemeinsam auf.

Ihre AI-Initiative besprechen

AI-Systeme bedrohungsmodellieren und Architektur, Kontrollen und Grenzen entwerfen, die ihr Risiko eingrenzen.