cs

Jazyk

Bezpečnost AI

Poradenství v bezpečnosti AI

Vkládání pokynů, únik dat přes výstup modelu, zneužití nástrojů a otrávené vyhledávání nejsou varianty známých webových zranitelností. Modelujeme hrozby specifické pro systémy AI a navrhujeme architekturu a kontrolní mechanismy, které omezí to, co najdeme.

Proberte svou iniciativu v oblasti AI Poradenství

Obchodní problém

Hranice důvěry se posunula a nikdo ji nepřekreslil

V běžných aplikacích jsou data a pokyny oddělené. V systémech postavených kolem jazykových modelů přicházejí stejným kanálem, takže jakýkoli obsah, který model přečte, je potenciálně pokynem. Tato jediná vlastnost boří předpoklady napříč celým bezpečnostním modelem: dokument, webová stránka, e-mail nebo servisní tiket může nést pokyn, který model provede. Přidejte nástroje a přístup do systémů a důsledkem už není špatná odpověď, ale akce.

Čím se zabýváme

Modelovat hrozby, pak omezit návrhem

Zjistíme, na co by útočník mířil a co by získal, a pak navrhneme systém tak, aby možná škoda byla omezená bez ohledu na chování modelu. To znamená nejnižší nutná oprávnění nástrojů, validovaná volání, nakládání se získaným obsahem jako s nedůvěryhodnými daty, schvalovací brány u kroků s významnými důsledky a kontrolu výstupu tam, kde text modelu míří do jiného systému. Určíme také, co zaznamenávat, protože omezení bez detekce je poloviční kontrola.

Poradenství v bezpečnosti AI

Kompetence

  • Modelování hrozeb AI

  • Bezpečnostní architektura pro LLM

  • Bezpečnostní architektura pro agenty

  • Posouzení rizik AI

  • Riziko vkládání pokynů

  • Posouzení rizika úniku dat

  • Riziko dodavatelského řetězce AI

  • Bezpečná architektura AI

Obvyklá využití

Obvyklá využití

  • Vytvořit model hrozeb pro aplikaci AI před nasazením do produkce.
  • Zavést bezpečnou referenční architekturu, podle níž staví ostatní týmy.
  • Posoudit stávajícího asistenta, který má přístup do systémů a nikdo to nekontroloval.
  • Určit, co musí dodavatel doložit, než bude jeho funkce AI schválena.

Jak dodáváme

Jak dodáváme

  1. Model hrozeb

    Zjištění, na co by útočník mířil a co by získal, kdyby se tam dostal.

  2. Testování

    Adversariální testování proti realistickému zneužití, ne seznam známých řetězců.

  3. Report

    Zjištění s kroky k reprodukci, závažností a nápravou, seřazená podle zneužitelnosti.

  4. Opakované testy

    Ověření, že opravy drží, a zanechání testů, aby se regrese projevily.

Technologie

Technologie

  • OWASP LLM Top 10
  • MITRE ATLAS
  • Garak
  • Burp Suite
  • ISO/IEC 27001

Bezpečnost a správa

Bezpečnost a řízení

Testování je písemně schváleno, omezeno na dohodnuté cíle a probíhá v neprodukčním prostředí, pokud nerozhodnete jinak. Zjištění jsou důvěrná a jsou sdělena vám dříve než komukoli jinému. Po skončení spolupráce se neuchovává nic kromě reportu a regresních testů, o jejichž zanechání požádáte.

Independently audited against

Modely spolupráce

Modely spolupráce

Poradenství v oblasti AI

Zkušení konzultanti poskytují podporu ve strategii, architektuře, posouzení a transformaci.

Projekt AI

Přebíráme odpovědnost za návrh a dodání vymezeného řešení AI.

Spravovaná AI

Provozujeme, monitorujeme a průběžně zlepšujeme produkční systémy AI.

Proč TeamExtension.ai

Architektura je jediná trvalá kontrola

Filtry a ochranné mechanismy stojí za to mít a nakonec budou obejity. Kontroly, které vydrží, jsou architektonické: kam smí systém dosáhnout, co tam smí udělat a co vyžaduje člověka. Navrhujeme z tohoto předpokladu, proto se naše doporučení týkají spíš oprávnění a hranic než detekčních pravidel.

Vybraní klienti

Časté dotazy

Časté dotazy

Lze vkládání pokynů vyřešit?
Nelze ho odstranit. Zmírňuje se architekturou: považovat veškerý získaný obsah za nedůvěryhodný, úzce vymezit nástroje, podmínit kroky s významnými důsledky schválením a navrhnout systém tak, aby úspěšné vložení dosáhlo na něco omezeného. Kdo slibuje úplnou prevenci, prodává filtr.
Pokrývají to naše stávající penetrační testy?
Jen částečně. Běžné testování pokrývá povrch aplikace kolem modelu. Obvykle nepokrývá vložení přes získaný obsah, únik přes výstup modelu ani zneužití nástrojů, protože to nejsou běžné třídy zranitelností.
Jaké je nejčastější zjištění?
Příliš široká oprávnění nástrojů. Systémy dostávají široký přístup během vývoje, protože je to pohodlné, a rozsah se před produkcí nikdy nezúží. Bývá to zároveň nejlevnější zjištění k nápravě.
Jak to zapadá do naší stávající bezpečnostní funkce?
Rozšiřuje ji. Pracujeme s vaším bezpečnostním týmem, ne mimo něj, a výstup má být jejich standardem, ne naším reportem. Tam, kde jim chybí hloubka specifická pro AI, ji s nimi budujeme.

Související kompetence

Související kompetence

Řízení, rizika a soulad AI

Řízení AI

Zavedení politik, kontrolních mechanismů a odpovědností potřebných k bezpečnému nasazení AI v podnikovém měřítku.

Zjistit více

Infrastruktura AI a LLMOps

Architektura AI

Návrh referenční architektury sdílené vašimi systémy AI: modely, vyhledávání, orchestrace, data a kontrolní mechanismy.

Zjistit více

Řízení, rizika a soulad AI

Připravenost na nařízení o umělé inteligenci

Klasifikace systémů AI, určení plynoucích povinností a uzavření mezer dřív, než se stanou závaznými.

Zjistit více

Proberte svou iniciativu v oblasti AI

Modelování hrozeb pro systémy AI a návrh architektury, kontrolních mechanismů a hranic, které omezí jejich riziko.

Promluvte si s odborníkem na AI Zahajte posouzení AI