MI-biztonság

MI-biztonsági tesztelés

A hagyományos alkalmazástesztelés a modell körüli felületet fedi le, és ott megáll. Mi a rendszert egészében teszteljük promptbefecskendezés, adatkiszivárgás, eszközökkel való visszaélés és mérgezett keresés ellen.

Az üzleti probléma

A meglévő tesztelésük ezt nem fedi le

Egy behatolásteszt befecskendezést talál egy paraméterben, nem olyan utasításokat, amelyek egy dokumentumba vannak ágyazva, és amelyet az asszisztens később elolvas. Végpontokon ellenőrzi a jogosultságot, nem azt, rá lehet-e beszélni a modellt, hogy valaki más nevében használjon egy eszközt. Ezek eltérő sebezhetőségi osztályok, és nem fedi le őket az a hatókör, amelyet már megvásárolnak.

Amivel foglalkozunk

Tesztelés valósághű visszaélés ellen

Fenyegetésmodellből dolgozunk, nem ellenőrzőlistából: mit akarna egy támadó, és mit tesz elérhetővé a rendszer. A tesztelés lefedi a befecskendezést minden tartalmi útvonalon, amelyet a modell olvashat, a kimeneten át történő kiszivárogtatást, az eszközökkel való visszaélést és a jogosultságemelést, valamint a keresés mérgezését. A megállapítások reprodukálási lépésekkel, súlyossággal és javítással érkeznek, kihasználhatóság szerint rangsorolva, a javítás után újratesztelünk, és a teszteket ott hagyjuk.

MI-biztonsági tesztelés

Képességek

  • Promptbefecskendezés tesztelése

  • Korlátkijátszás tesztelése

  • MI-adatszivárgás tesztelése

  • Ügynökbiztonsági tesztelés

  • RAG-mérgezés tesztelése

  • Eszközökkel való visszaélés tesztelése

Gyakori felhasználási esetek

Gyakori felhasználási esetek

  • Tesztelni egy MI-alkalmazást, mielőtt élesbe vagy ügyfélhez kerül.
  • Felmérni egy asszisztenst, amelynek már van olyan rendszerhozzáférése, amit senki nem vizsgált át.
  • Bizonyítékot teremteni a tesztelésről egy ügyfélbiztonsági kérdőívhez vagy egy auditornak.
  • Ellenőrizni, hogy egy incidens után hozzáadott védőkorlátok valóban tartanak-e.

Hogyan dolgozunk

Hogyan dolgozunk

  1. Fenyegetésmodell

    Megállapítani, mit céloznának meg a támadók, és mit nyernének, ha elérnék.

  2. Tesztelés

    Ellenséges tesztelés valósághű visszaélésekkel szemben, nem ismert karakterláncok listájával.

  3. Jelentés

    Megállapítások reprodukciós lépésekkel, súlyossággal és javítással, kihasználhatóság szerint rangsorolva.

  4. Újratesztelés

    Ellenőrizni, hogy a javítások tartanak, és otthagyni a teszteket, hogy a regressziók előjöjjenek.

Technológia

Technológia

  • OWASP LLM Top 10
  • MITRE ATLAS
  • Garak
  • Burp Suite
  • ISO/IEC 27001

Biztonság és irányítás

Biztonság és irányítás

A tesztelést írásban engedélyezik, megállapodott célokra korlátozzuk, és alapértelmezés szerint nem éles környezetben végezzük, hacsak másként nem döntenek. A megállapításokat bizalmasan kezeljük, és mindenki más előtt Önöknek tárjuk fel. A megbízáson túl semmit nem őrzünk meg a jelentésen és a kért regressziós teszteken kívül.

Együttműködési modellek

Együttműködési modellek

MI-tanácsadás

Tapasztalt tanácsadók stratégiai, architektúra-, értékelési és átalakítási útmutatást adnak.

MI-projekt

Felelősséget vállalunk egy meghatározott MI-megoldás tervezéséért és szállításáért.

Menedzselt MI

Üzemeltetjük, figyeljük és folyamatosan javítjuk az éles MI-rendszereket.

Miért a TeamExtension.ai

A rendszert teszteljük, nem a modellt

Egy modellnek önmagában korlátozott a támadási felülete. A kitettség abból ered, amihez csatlakoztatták, ezért a tesztelésnek tartalmaznia kell az eszközöket, a keresést és a jogosultságokat. Mivel mi építünk ilyen rendszereket, tudjuk, hol vannak a varratok.

Válogatott ügyfelek

Gyakori kérdések

Gyakori kérdések

Miben más ez, mint egy behatolásteszt?
MI-specifikus osztályokat céloz: utasítások a lekért tartalomban, kiszivárogtatás a kimeneten át, eszközökkel való visszaélés, a keresés mérgezése. A hagyományos tesztelés továbbra is szükséges a körülvevő alkalmazáshoz; ez azt fedi le, amit az nem.
Éles rendszeren tesztelnek?
Alapértelmezésben egy reprezentatív, nem éles környezeten. Éles tesztelés csak kifejezett írásos felhatalmazással és szűk hatókörrel történik.
Mit kapunk?
Jelentést reprodukálási lépésekkel, súlyossággal és javítással megállapításonként, kihasználhatóság szerint rangsorolva, valamint magukat a teszteket, hogy a visszaesések megjelenjenek a csővezetékükben.
Mennyi ideig tart egy felmérés?
Két–négy hét egyetlen alkalmazásra attól függően, hány eszközt és tartalmi forrást ér el, plusz az újratesztelés a javítás után.

Beszéljük meg MI-kezdeményezését

Teszteljék MI-alkalmazásaikat azokra a hibamódokra, amelyeket a hagyományos alkalmazástesztelés nem fed le.