Bezpieczeństwo AI

Testy bezpieczeństwa AI

Klasyczne testy aplikacji obejmują powierzchnię wokół modelu i na tym się kończą. Testujemy system jako całość pod kątem wstrzykiwania poleceń, wycieku danych, nadużycia narzędzi i zatrutego wyszukiwania.

Omów swoją inicjatywę AI Usługi

Problem biznesowy

Państwa obecne testy tego nie obejmują

Test penetracyjny znajdzie wstrzyknięcie w parametrze, a nie polecenia ukryte w dokumencie, który asystent przeczyta później. Sprawdzi autoryzację na punktach końcowych, a nie to, czy model da się namówić do użycia narzędzia w cudzym imieniu. To inne klasy podatności i nie mieszczą się w zakresie, który już Państwo kupują.

Czym się zajmujemy

Testowanie wobec realistycznych nadużyć

Pracujemy na modelu zagrożeń, a nie na liście kontrolnej: czego chciałby napastnik i co system czyni osiągalnym. Testy obejmują wstrzyknięcie każdą ścieżką treści, którą model może przeczytać, wyciek przez wyniki, nadużycie narzędzi i eskalację uprawnień oraz zatrucie wyszukiwania. Ustalenia zawierają kroki odtworzenia, wagę i sposób naprawy, uszeregowane według możliwości wykorzystania, a po naprawie testujemy ponownie i zostawiamy testy.

Testy bezpieczeństwa AI

Kompetencje

Testy wstrzykiwania poleceń
Testy obchodzenia ograniczeń
Testy wycieku danych w AI
Testy bezpieczeństwa agentów
Testy zatrucia RAG
Testy nadużycia narzędzi

Typowe zastosowania

Przetestowanie aplikacji AI, zanim trafi na produkcję lub do klienta.
Ocena asystenta, który ma już dostęp do systemów, a nikt tego nie sprawdził.
Dostarczenie dowodu przeprowadzenia testów na potrzeby ankiety bezpieczeństwa klienta lub audytora.
Sprawdzenie, czy zabezpieczenia dodane po incydencie faktycznie wytrzymują.

Jak realizujemy projekty

Model zagrożeń

Ustalenie, co byłoby celem napastnika i co by zyskał, gdyby to osiągnął.
Testy

Testowanie przeciwstawne wobec realistycznych nadużyć, a nie lista znanych ciągów znaków.
Raport

Ustalenia z krokami odtworzenia, wagą i sposobem naprawy, uszeregowane według możliwości wykorzystania.
Testy ponowne

Sprawdzenie, że poprawki działają, i pozostawienie testów, aby regresje były widoczne.

Technologia

OWASP LLM Top 10
MITRE ATLAS
Garak
Burp Suite
ISO/IEC 27001

Bezpieczeństwo i nadzór

Bezpieczeństwo i ład

Testy są autoryzowane pisemnie, ograniczone do uzgodnionych celów i prowadzone w środowisku nieprodukcyjnym, o ile nie zdecydują Państwo inaczej. Ustalenia są traktowane jako poufne i ujawniane Państwu przed kimkolwiek innym. Poza raportem i testami regresyjnymi, o których pozostawienie Państwo poproszą, nic nie jest zachowywane po zakończeniu współpracy.

Independently audited against

Modele współpracy

Doradztwo AI

Doświadczeni konsultanci zapewniają wsparcie w zakresie strategii, architektury, oceny i transformacji.

Projekt AI

Bierzemy odpowiedzialność za zaprojektowanie i dostarczenie określonego rozwiązania AI.

Zarządzana AI

Prowadzimy, monitorujemy i stale ulepszamy produkcyjne systemy AI.

Dlaczego TeamExtension.ai

Testujemy system, a nie model

Model w izolacji ma ograniczoną powierzchnię ataku. Ekspozycja bierze się z tego, do czego jest podłączony, więc testowanie musi objąć narzędzia, wyszukiwanie i uprawnienia. Ponieważ budujemy te systemy, wiemy, gdzie są szwy.

Wybrani klienci

Najczęstsze pytania

Czym to się różni od testu penetracyjnego?

Celuje w klasy właściwe dla AI: polecenia w pobranej treści, wyciek przez wyniki, nadużycie narzędzi, zatrucie wyszukiwania. Klasyczne testy pozostają potrzebne dla otaczającej aplikacji; to obejmuje resztę.

Czy testujecie na produkcji?

Domyślnie na reprezentatywnym środowisku nieprodukcyjnym. Testy na produkcji odbywają się wyłącznie za wyraźną pisemną zgodą i w wąskim zakresie.

Co otrzymujemy?

Raport z krokami odtworzenia, wagą i sposobem naprawy dla każdego ustalenia, uszeregowany według możliwości wykorzystania, oraz same testy, aby regresje ujawniały się w Państwa procesie.

Ile trwa taka ocena?

Od dwóch do czterech tygodni dla jednej aplikacji, zależnie od liczby narzędzi i źródeł treści, do których sięga, plus testy ponowne po naprawie.

Powiązane kompetencje

Bezpieczeństwo AI

Red teaming AI

Testowanie przeciwstawne aplikacji i agentów AI wobec realistycznych scenariuszy nadużyć.

Dowiedz się więcej

Agentowa AI i automatyzacja

Agenci AI

Oprogramowanie, które realizuje wieloetapową pracę w Państwa systemach, zgodnie z Państwa kontrolą dostępu i zasadami akceptacji.

Dowiedz się więcej

Bezpieczeństwo AI

Doradztwo w zakresie bezpieczeństwa AI

Modelowanie zagrożeń dla systemów AI oraz projektowanie architektury, mechanizmów kontrolnych i granic, które ograniczają ich ryzyko.

Dowiedz się więcej

Omów swoją inicjatywę AI

Testowanie aplikacji AI pod kątem trybów awarii, których klasyczne testy aplikacji nie obejmują.

Porozmawiaj z ekspertem AI Rozpocznij ocenę AI