Бяспека ШІ

Тэставанне бяспекі ШІ

Звычайнае тэставанне дадаткаў пакрывае паверхню вакол мадэлі і на гэтым спыняецца. Мы правяраем сістэму цалкам на ўкараненне падказак, уцечку даных, злоўжыванне інструментамі і атручаны пошук.

Бізнес-задача

Ваша цяперашняе тэставанне гэтага не пакрывае

Тэст на пранікненне знаходзіць укараненне ў параметры, а не ўказанні, убудаваныя ў дакумент, які асістэнт прачытае пазней. Ён правярае аўтарызацыю на канчатковых пунктах, а не тое, ці можна пераканаць мадэль скарыстацца інструментам ад чужога імя. Гэта іншыя класы ўразлівасцяў, і яны не пакрываюцца аб'ёмам работ, які вы ўжо купляеце.

Чым мы займаемся

Правяраць супраць рэалістычнага злоўжывання

Мы працуем ад мадэлі пагроз, а не ад спісу для галачак: чаго хацеў бы зламыснік і што сістэма робіць дасягальным. Тэставанне пакрывае ўкараненне праз кожны шлях змесціва, які мадэль можа прачытаць, уцечку праз вывад, злоўжыванне інструментамі і павышэнне правоў, а таксама атручэнне пошуку. Знаходкі паступаюць з крокамі ўзнаўлення, сур'ёзнасцю і выпраўленнем, упарадкаваныя па прыдатнасці да выкарыстання, а пасля ліквідацыі мы правяраем паўторна і пакідаем тэсты ў вас.

Тэставанне бяспекі ШІ

Кампетэнцыі

  • Тэставанне на ўкараненне падказак

  • Тэставанне на абыход абмежаванняў

  • Тэставанне на ўцечку даных з ШІ

  • Тэставанне бяспекі агентаў

  • Тэставанне на атручэнне пошуку

  • Тэставанне на злоўжыванне інструментамі

Тыповыя сцэнарыі прымянення

Тыповыя сцэнарыі прымянення

  • Праверыць дадатак з ШІ да выхаду ў прадуктыў ці да кліента.
  • Ацаніць асістэнта, які ўжо мае доступ да сістэм і якога ніхто не правяраў.
  • Атрымаць пацвярджэнне праведзенага тэставання для кліенцкай анкеты па бяспецы ці для аўдытара.
  • Пераканацца, што ахоўныя механізмы, дададзеныя пасля інцыдэнту, сапраўды трымаюцца.

Як мы працуем

Як мы працуем

  1. Мадэль пагроз

    Вызначыць, што стала б мэтай зламысніка і што ён атрымаў бы, дабраўшыся да яе.

  2. Тэставанне

    Спаборніцкае тэставанне супраць рэалістычных злоўжыванняў, а не пералік вядомых радкоў.

  3. Справаздача

    Знаходкі з крокамі ўзнаўлення, сур'ёзнасцю і выпраўленнем, упарадкаваныя па прыдатнасці да выкарыстання.

  4. Паўторная праверка

    Пераканацца, што выпраўленні трымаюцца, і пакінуць тэсты, каб рэгрэсіі станавіліся прыкметнымі.

Тэхналогіі

Тэхналогіі

  • OWASP LLM Top 10
  • MITRE ATLAS
  • Garak
  • Burp Suite
  • ISO/IEC 27001

Бяспека і кіраванне

Бяспека і кіраванне

Тэставанне дазваляецца пісьмова, абмяжоўваецца ўзгодненымі мэтамі і па змаўчанні выконваецца ў непрадуктыўным асяроддзі, калі вы не вырашыце інакш. Знаходкі лічацца канфідэнцыяльнымі і раскрываюцца вам раней, чым каму-небудзь іншаму. Нічога не захоўваецца па-за межамі работ, акрамя справаздачы і рэгрэсійных тэстаў, якія вы прасілі пакінуць.

Мадэлі супрацоўніцтва

Мадэлі супрацоўніцтва

Кансультаванне па ШІ

Вопытныя кансультанты даюць парады па стратэгіі, архітэктуры, ацэнцы і трансфармацыі.

Праект па ШІ

Мы бяром на сябе адказнасць за праектаванне і пастаўку вызначанага рашэння з ШІ.

Кіраваны ШІ

Мы эксплуатуем, адсочваем і бесперапынна ўдасканальваем прадуктыўныя сістэмы з ШІ.

Чаму TeamExtension.ai

Мы правяраем сістэму, а не мадэль

У мадэлі самой па сабе паверхня атакі абмежаваная. Уразлівасць узнікае з таго, да чаго яна падлучаная, таму тэставанне мусіць ахопліваць інструменты, пошук і правы. Паколькі мы будуем такія сістэмы, мы ведаем, дзе ў іх швы.

Абраныя кліенты

Частыя пытанні

Частыя пытанні

Чым гэта адрозніваецца ад тэсту на пранікненне?
Яно накіравана на класы, уласцівыя ШІ: указанні ў знойдзеным змесціве, уцечка праз вывад, злоўжыванне інструментамі, атручэнне пошуку. Звычайнае тэставанне застаецца патрэбным для дадатка вакол; гэта пакрывае тое, чаго яно не пакрывае.
Ці тэстуеце вы на прадуктыве?
Па змаўчанні на прадстаўнічым непрадуктыўным асяроддзі. Тэставанне ў прадуктыве праводзіцца толькі з яўнага пісьмовага дазволу і ў вузкім аб'ёме.
Што мы атрымліваем?
Справаздачу з крокамі ўзнаўлення, сур'ёзнасцю і спосабам ліквідацыі па кожнай знаходцы, упарадкаваную па прыдатнасці да выкарыстання, плюс самі тэсты, каб рэгрэсіі праяўляліся ў вашым канвееры.
Колькі доўжыцца ацэнка?
Ад двух да чатырох тыдняў на адзін дадатак у залежнасці ад колькасці інструментаў і крыніц змесціва, да якіх ён звяртаецца, плюс паўторная праверка пасля ліквідацыі.

Абмеркаваць вашу ініцыятыву ў сферы ШІ

Правярайце дадаткі з ШІ на адмовы, якіх звычайнае тэставанне дадаткаў не пакрывае.