Segurança da IA

Consultoria de segurança em IA

A injeção de prompt, a exfiltração de dados pela saída do modelo, o abuso de ferramentas e a recuperação envenenada não são variantes de vulnerabilidades web conhecidas. Modelamos as ameaças dos sistemas de IA de forma específica e desenhamos a arquitetura e os controlos que contêm o que encontramos.

Falar sobre a sua iniciativa de IA Consultoria

O problema de negócio

A fronteira de confiança moveu-se e ninguém a voltou a traçar

Nas aplicações convencionais, dados e instruções estão separados. Nos sistemas construídos à volta de modelos de linguagem chegam pelo mesmo canal, pelo que qualquer conteúdo que o modelo leia é potencialmente uma instrução. Essa única propriedade quebra pressupostos em todo o modelo de segurança: um documento, uma página web, um email ou um pedido de suporte podem transportar uma instrução que o modelo vai seguir. Junte ferramentas e acesso a sistemas, e a consequência deixa de ser uma resposta errada e passa a ser uma ação.

O que fazemos

Modelar ameaças e depois limitar por desenho

Estabelecemos o que um atacante procuraria e o que ganharia, e depois desenhamos para que o dano alcançável fique limitado independentemente de o modelo se comportar bem. Isso significa âmbitos de ferramenta com privilégio mínimo, chamadas validadas, tratar o conteúdo recuperado como dado não fiável, pontos de aprovação nas ações com consequências e controlos de saída onde o texto do modelo chega a outro sistema. Especificamos também o que registar, porque conter sem detetar é meio controlo.

Consultoria de segurança em IA

Competências

Modelação de ameaças de IA
Arquitetura de segurança para LLM
Arquitetura de segurança para agentes
Avaliação de riscos de IA
Risco de injeção de prompt
Avaliação de fugas de dados
Risco da cadeia de fornecimento de IA
Arquitetura de IA segura

Casos de uso comuns

Modelar as ameaças de uma aplicação de IA antes de passar a produção.
Estabelecer uma arquitetura de referência segura sobre a qual as outras equipas constroem.
Rever um assistente existente com acessos a sistemas que ninguém examinou.
Definir o que um fornecedor tem de comprovar antes de a sua funcionalidade de IA ser aprovada.

Como trabalhamos

Modelar ameaças

Estabelecer o que um atacante procuraria e o que ganharia ao alcançá-lo.
Testar

Testes adversariais perante abuso realista, não uma lista de cadeias conhecidas.
Reportar

Achados com passos de reprodução, severidade e correção, ordenados por facilidade de exploração.
Testar de novo

Verificar que as correções aguentam e deixar os testes para que as regressões apareçam.

Tecnologia

OWASP LLM Top 10
MITRE ATLAS
Garak
Burp Suite
ISO/IEC 27001

Segurança e governação

Os testes são autorizados por escrito, delimitados a alvos acordados e executados sobre um ambiente que não é de produção, salvo decisão em contrário da sua parte. Os achados são tratados como confidenciais e comunicados a si antes de a quem quer que seja. Nada é conservado para além do trabalho, exceto o relatório e os testes de regressão que nos pediu para deixar.

Independently audited against

Modelos de colaboração

Consultoria em IA

Consultores especializados fornecem estratégia, arquitetura, avaliação e acompanhamento da transformação.

Projeto de IA

Assumimos a responsabilidade de desenhar e entregar uma solução de IA definida.

IA gerida

Operamos, monitorizamos e melhoramos continuamente os sistemas de IA em produção.

Porquê a TeamExtension.ai

A arquitetura é o único controlo duradouro

Os filtros e as barreiras valem a pena e acabarão por ser contornados. Os controlos que aguentam são arquitetónicos: aquilo a que o sistema pode chegar, o que pode fazer lá e o que exige uma pessoa. Desenhamos a partir dessa premissa, e por isso as nossas recomendações falam mais de permissões e fronteiras do que de regras de deteção.

Clientes selecionados

Perguntas frequentes

A injeção de prompt pode ser resolvida?

Eliminada não. Mitiga-se com arquitetura: tratar todo o conteúdo recuperado como não fiável, delimitar as ferramentas com estreiteza, sujeitar a aprovação as ações com consequências e desenhar para que uma injeção bem-sucedida alcance algo limitado. Quem oferece prevenção total está a vender um filtro.

Os nossos testes de intrusão atuais cobrem isto?

Apenas em parte. Os testes convencionais cobrem a superfície aplicacional à volta do modelo. Não costumam cobrir a injeção através de conteúdo recuperado, a exfiltração pela saída do modelo nem o abuso de ferramentas, porque não são classes de vulnerabilidade convencionais.

Qual é o achado mais frequente?

Permissões de ferramenta demasiado amplas. Durante o desenvolvimento concede-se acesso extenso porque é cómodo, e o âmbito nunca é estreitado antes de produção. É também, em geral, o achado mais barato de corrigir.

Como encaixa com a nossa função de segurança?

Estende-a. Trabalhamos com a sua equipa de segurança e não à margem dela, e o resultado destina-se a tornar-se a norma deles e não a ficar no nosso relatório. Onde lhes falte profundidade específica em IA, construímo-la com eles.

Competências relacionadas

Governação, risco e conformidade em IA

Governação da IA

Estabeleça as políticas, controlos e responsabilidades necessários para implementar IA com segurança à escala empresarial.

Saber mais

Infraestrutura de IA e LLMOps

Arquitetura de IA

Desenhe a arquitetura de referência que os seus sistemas de IA partilham: modelos, recuperação, orquestração, dados e controlos.

Saber mais

Governação, risco e conformidade em IA

Preparação para o Regulamento Europeu de IA

Classifique os seus sistemas de IA, mapeie as obrigações que daí decorrem e feche as lacunas antes de se tornarem vinculativas.

Saber mais

Falar sobre a sua iniciativa de IA

Modele as ameaças dos seus sistemas de IA e desenhe a arquitetura, os controlos e as fronteiras que contêm o seu risco.

Falar com um especialista em IA Iniciar uma avaliação de IA