fi

Kieli

Tekoälyn tietoturva

Tekoälyn tietoturvakonsultointi

Kehotesyöttö, datan vuoto mallin tuotoksen kautta, työkalujen väärinkäyttö ja myrkytetty haku eivät ole muunnelmia olemassa olevista verkkohaavoittuvuuksista. Mallinnamme uhkat nimenomaan tekoälyjärjestelmille ja suunnittelemme arkkitehtuurin ja kontrollit, jotka rajoittavat sen mitä löydämme.

Keskustellaan tekoälyhankkeestanne Konsultointi

Liiketoiminnan haaste

Luottamusraja siirtyi eikä kukaan piirtänyt sitä uudelleen

Tavanomaisissa sovelluksissa data ja ohjeet ovat erillään. Kielimallien ympärille rakennetuissa järjestelmissä ne saapuvat samaa kanavaa pitkin, joten mikä tahansa sisältö jonka malli lukee on mahdollisesti ohje. Tuo yksi ominaisuus rikkoo oletuksia läpi koko tietoturvamallin: dokumentti, verkkosivu, sähköposti tai tukipyyntö voi kantaa ohjeen jota malli noudattaa. Lisää työkalut ja järjestelmäpääsy, ja seuraus ei ole enää väärä vastaus vaan toiminto.

Mitä teemme

Mallinna uhkat ja rajoita rakenteella

Selvitämme mitä hyökkääjä tavoittelisi ja mitä hän saisi, ja suunnittelemme sitten niin että saavutettava vahinko on rajattu riippumatta siitä käyttäytyykö malli hyvin. Se tarkoittaa vähimpiä työkaluoikeuksia, validoituja työkalukutsuja, haetun sisällön kohtelemista epäluotettavana datana, hyväksyntäportteja merkittäville toimille ja tuotoskontrolleja siellä missä mallin teksti päätyy toiseen järjestelmään. Määrittelemme myös mitä kirjataan, koska rajaaminen ilman havaitsemista on puolikas kontrolli.

Tekoälyn tietoturvakonsultointi

Osaaminen

  • Tekoälyn uhkamallinnus

  • Kielimallien tietoturva-arkkitehtuuri

  • Agenttien tietoturva-arkkitehtuuri

  • Tekoälyn riskiarviointi

  • Kehotesyötön riski

  • Datavuodon arviointi

  • Tekoälyn toimitusketjuriski

  • Turvallinen tekoälyarkkitehtuuri

Yleisimmät käyttötapaukset

Yleisimmät käyttötapaukset

  • Mallintaa uhkat tekoälysovellukselle ennen kuin se menee tuotantoon.
  • Vahvistaa turvallinen viitearkkitehtuuri, jota vasten muut tiimit rakentavat.
  • Arvioida olemassa oleva avustaja, jolla on järjestelmäpääsy jota kukaan ei ole katselmoinut.
  • Määritellä mitä toimittajan on todennettava ennen kuin hänen tekoälyominaisuutensa hyväksytään.

Miten toimitamme

Miten toimitamme

  1. Uhkamalli

    Selvittää, mikä olisi hyökkääjän kohde ja mitä hän saisi päästessään siihen.

  2. Testaus

    Vastakkainasettelutestaus realistista väärinkäyttöä vastaan, ei lista tunnettuja merkkijonoja.

  3. Raportti

    Löydökset toistoaskelin, vakavuuksin ja korjauksin, järjestettynä hyödynnettävyyden mukaan.

  4. Uusintatestaus

    Varmistaa, että korjaukset pitävät, ja jättää testit, jotta regressiot tulevat näkyviin.

Teknologia

Teknologia

  • OWASP LLM Top 10
  • MITRE ATLAS
  • Garak
  • Burp Suite
  • ISO/IEC 27001

Turvallisuus ja hallinta

Tietoturva ja hallinta

Testaus valtuutetaan kirjallisesti, rajataan sovittuihin kohteisiin ja tehdään oletuksena tuotannon ulkopuolisessa ympäristössä, ellette päätä toisin. Löydöksiä käsitellään luottamuksellisina ja ne kerrotaan teille ennen ketään muuta. Mitään ei säilytetä toimeksiannon jälkeen paitsi raportti ja regressiotestit, jotka pyysitte jättämään.

Independently audited against

Yhteistyömallit

Yhteistyömallit

Tekoälyneuvonta

Kokeneet konsultit antavat ohjausta strategiasta, arkkitehtuurista, arvioinnista ja muutoksesta.

Tekoälyprojekti

Otamme vastuun määritellyn tekoälyratkaisun suunnittelusta ja toimituksesta.

Hallinnoitu tekoäly

Käytämme, seuraamme ja parannamme jatkuvasti tuotannossa olevia tekoälyjärjestelmiä.

Miksi TeamExtension.ai

Arkkitehtuuri on ainoa kestävä kontrolli

Suodattimet ja suojakaiteet kannattaa olla ja ne ohitetaan lopulta. Kontrollit jotka kestävät ovat arkkitehtuurisia: mihin järjestelmä saa ulottua, mitä se voi siellä tehdä ja mikä vaatii ihmisen. Suunnittelemme tuosta lähtökohdasta, minkä vuoksi suosituksemme koskevat useammin oikeuksia ja rajoja kuin havaitsemissääntöjä.

Valitut asiakkaat

Usein kysytyt kysymykset

Usein kysytyt kysymykset

Voiko kehotesyötön ratkaista?
Ei poistaa. Sitä lievennetään arkkitehtuurilla: kohtele kaikkea haettua sisältöä epäluotettavana, rajaa työkalut kapeasti, pane merkittävät toimet hyväksynnän taakse ja suunnittele niin että onnistunut syöttö tavoittaa jotain rajattua. Kuka tahansa joka tarjoaa täydellistä estoa myy suodatinta.
Kattavatko nykyiset tunkeutumistestimme tämän?
Vain osittain. Perinteinen testaus kattaa sovelluspinnan mallin ympärillä. Se ei tyypillisesti kata syöttöä haetun sisällön kautta, vuotoa mallin tuotoksen kautta eikä työkalujen väärinkäyttöä, koska nämä eivät ole perinteisiä haavoittuvuusluokkia.
Mikä on yleisin havainto?
Liian laajat työkaluoikeudet. Järjestelmille annetaan laaja pääsy kehityksen aikana koska se on kätevää, eikä laajuutta koskaan kavenneta ennen tuotantoa. Se on yleensä myös halvin havainto korjata.
Miten tämä sopii nykyiseen tietoturvatoimintoomme?
Se laajentaa sitä. Työskentelemme tietoturvatiiminne kanssa emmekä sen ohi, ja tuotoksen on tarkoitus tulla heidän standardikseen eikä jäädä meidän raportiksemme. Siellä missä heiltä puuttuu tekoälykohtaista syvyyttä, rakennamme sitä yhdessä heidän kanssaan.

Liittyvä osaaminen

Liittyvä osaaminen

Tekoälyn hallinta, riskit ja vaatimustenmukaisuus

Tekoälyn hallinta

Aseta politiikat, kontrollit ja vastuut, joita tekoälyn turvallinen käyttöönotto yritysmittakaavassa edellyttää.

Lue lisää

Tekoälyinfrastruktuuri ja kielimallien käyttö

Tekoälyarkkitehtuuri

Suunnitelkaa viitearkkitehtuuri, jonka tekoälyjärjestelmänne jakavat: mallit, haku, orkestrointi, data ja kontrollit.

Lue lisää

Tekoälyn hallinta, riskit ja vaatimustenmukaisuus

EU:n tekoälyasetuksen valmius

Luokittele tekoälyjärjestelmäsi, kartoita niistä seuraavat velvoitteet ja kuro puutteet umpeen ennen kuin ne sitovat.

Lue lisää

Keskustellaan tekoälyhankkeestanne

Mallinna tekoälyjärjestelmien uhkat ja suunnittele arkkitehtuuri, kontrollit ja rajat, jotka rajaavat niiden riskin.

Keskustele tekoälyasiantuntijan kanssa Aloita tekoälyarviointi