Bezpieczeństwo AI

Doradztwo w zakresie bezpieczeństwa AI

Wstrzykiwanie poleceń, wyciek danych przez wyniki modelu, nadużycie narzędzi i zatrucie wyszukiwania nie są odmianami znanych podatności webowych. Modelujemy zagrożenia specyficzne dla systemów AI i projektujemy architekturę oraz mechanizmy, które ograniczają to, co znajdziemy.

Omów swoją inicjatywę AI Doradztwo

Problem biznesowy

Granica zaufania się przesunęła i nikt jej nie narysował na nowo

W klasycznych aplikacjach dane i polecenia są rozdzielone. W systemach opartych na modelach językowych przychodzą tym samym kanałem, więc każda treść, którą model czyta, jest potencjalnie poleceniem. Ta jedna właściwość łamie założenia w całym modelu bezpieczeństwa: dokument, strona internetowa, e-mail lub zgłoszenie serwisowe może nieść polecenie, które model wykona. Dodajmy narzędzia i dostęp do systemów, a skutkiem przestaje być zła odpowiedź, a staje się działanie.

Czym się zajmujemy

Model zagrożeń, a potem ograniczenie przez projekt

Ustalamy, co byłoby celem napastnika i co by zyskał, a następnie projektujemy tak, aby możliwa szkoda była ograniczona niezależnie od zachowania modelu. Oznacza to zakresy narzędzi ograniczone do minimum, walidowane wywołania narzędzi, traktowanie pobranych treści jako niezaufanych danych, bramki akceptacji przy działaniach o istotnych skutkach oraz kontrolę wyjścia tam, gdzie tekst modelu trafia do innego systemu. Określamy też, co rejestrować, bo ograniczanie bez wykrywania to połowa mechanizmu.

Doradztwo w zakresie bezpieczeństwa AI

Kompetencje

Modelowanie zagrożeń AI
Architektura bezpieczeństwa LLM
Architektura bezpieczeństwa agentów
Ocena ryzyka AI
Ryzyko wstrzykiwania poleceń
Ocena ryzyka wycieku danych
Ryzyko łańcucha dostaw AI
Bezpieczna architektura AI

Typowe zastosowania

Zbudowanie modelu zagrożeń dla aplikacji AI przed wdrożeniem produkcyjnym.
Ustanowienie bezpiecznej architektury referencyjnej, według której budują inne zespoły.
Ocena istniejącego asystenta, który ma dostęp do systemów, a nikt tego nie sprawdził.
Określenie, co dostawca musi udowodnić, zanim jego funkcja AI zostanie zatwierdzona.

Jak realizujemy projekty

Model zagrożeń

Ustalenie, co byłoby celem napastnika i co by zyskał, gdyby to osiągnął.
Testy

Testowanie przeciwstawne wobec realistycznych nadużyć, a nie lista znanych ciągów znaków.
Raport

Ustalenia z krokami odtworzenia, wagą i sposobem naprawy, uszeregowane według możliwości wykorzystania.
Testy ponowne

Sprawdzenie, że poprawki działają, i pozostawienie testów, aby regresje były widoczne.

Technologia

OWASP LLM Top 10
MITRE ATLAS
Garak
Burp Suite
ISO/IEC 27001

Bezpieczeństwo i nadzór

Bezpieczeństwo i ład

Testy są autoryzowane pisemnie, ograniczone do uzgodnionych celów i prowadzone w środowisku nieprodukcyjnym, o ile nie zdecydują Państwo inaczej. Ustalenia są traktowane jako poufne i ujawniane Państwu przed kimkolwiek innym. Poza raportem i testami regresyjnymi, o których pozostawienie Państwo poproszą, nic nie jest zachowywane po zakończeniu współpracy.

Independently audited against

Modele współpracy

Doradztwo AI

Doświadczeni konsultanci zapewniają wsparcie w zakresie strategii, architektury, oceny i transformacji.

Projekt AI

Bierzemy odpowiedzialność za zaprojektowanie i dostarczenie określonego rozwiązania AI.

Zarządzana AI

Prowadzimy, monitorujemy i stale ulepszamy produkcyjne systemy AI.

Dlaczego TeamExtension.ai

Architektura jest jedynym trwałym mechanizmem

Filtry i zabezpieczenia warto mieć i prędzej czy później zostaną obejście. Mechanizmy, które się bronią, są architektoniczne: do czego system ma dostęp, co może tam zrobić i co wymaga człowieka. Projektujemy z tego założenia, dlatego nasze zalecenia dotyczą raczej uprawnień i granic niż reguł detekcji.

Wybrani klienci

Najczęstsze pytania

Czy da się rozwiązać problem wstrzykiwania poleceń?

Nie da się go wyeliminować. Łagodzi go architektura: traktowanie każdej pobranej treści jako niezaufanej, wąskie zakresy narzędzi, bramki akceptacji przy działaniach o istotnych skutkach i projekt, w którym udane wstrzyknięcie dosięga czegoś ograniczonego. Kto obiecuje pełne zapobieżenie, sprzedaje filtr.

Czy nasze testy penetracyjne to obejmują?

Tylko częściowo. Klasyczne testy obejmują powierzchnię aplikacji wokół modelu. Zwykle nie obejmują wstrzyknięcia przez pobraną treść, wycieku przez wyniki modelu ani nadużycia narzędzi, bo nie są to klasyczne klasy podatności.

Jakie jest najczęstsze ustalenie?

Zbyt szerokie uprawnienia narzędzi. Systemy dostają szeroki dostęp na etapie budowy, bo tak wygodniej, a zakres nigdy nie zostaje zawężony przed produkcją. Jest to zwykle też najtańsze ustalenie do naprawienia.

Jak to się łączy z naszym działem bezpieczeństwa?

Rozszerza go. Pracujemy z Państwa zespołem bezpieczeństwa, a nie obok niego, a efekt ma stać się ich standardem, a nie naszym raportem. Tam, gdzie brakuje im wiedzy specyficznej dla AI, budujemy ją razem z nimi.

Powiązane kompetencje

Ład, ryzyko i zgodność AI

Ład nad AI

Ustanowienie polityk, mechanizmów kontrolnych i odpowiedzialności wymaganych do bezpiecznego wdrażania AI w skali przedsiębiorstwa.

Dowiedz się więcej

Infrastruktura AI i LLMOps

Architektura AI

Zaprojektowanie architektury referencyjnej wspólnej dla Państwa systemów AI: modele, wyszukiwanie, orkiestracja, dane i mechanizmy kontrolne.

Dowiedz się więcej

Ład, ryzyko i zgodność AI

Gotowość na akt o sztucznej inteligencji

Klasyfikacja systemów AI, ustalenie wynikających z niej obowiązków i zamknięcie luk, zanim staną się wiążące.

Dowiedz się więcej

Omów swoją inicjatywę AI

Modelowanie zagrożeń dla systemów AI oraz projektowanie architektury, mechanizmów kontrolnych i granic, które ograniczają ich ryzyko.

Porozmawiaj z ekspertem AI Rozpocznij ocenę AI