Segurança da IA
Testes de segurança de IA
Os testes de aplicação convencionais cobrem a superfície à volta do modelo e param aí. Nós testamos o sistema no seu conjunto face à injeção de prompt, à exfiltração de dados, ao abuso de ferramentas e à recuperação envenenada.
O problema de negócio
Os vossos testes atuais não cobrem isto
Um teste de intrusão encontra uma injeção num parâmetro, não instruções embebidas num documento que o assistente vai ler mais tarde. Verifica a autorização nos pontos de entrada, não se o modelo pode ser persuadido a usar uma ferramenta em nome de outra pessoa. São classes de vulnerabilidade diferentes e o âmbito que já contrata não as cobre.
O que fazemos
Testar face a abuso realista
Partimos de um modelo de ameaças e não de uma lista de verificação: o que um atacante quereria e o que o sistema torna alcançável. Os testes cobrem a injeção por cada via de conteúdo que o modelo pode ler, a exfiltração pela saída, o abuso de ferramentas e a elevação de privilégios, e o envenenamento da recuperação. Os achados vêm com passos de reprodução, severidade e correção, ordenados por facilidade de exploração; voltamos a testar depois da correção e deixamos os testes.
Testes de segurança de IA
Competências
-
Testes de injeção de prompt
-
Testes de contorno de restrições
-
Testes de fuga de dados em IA
-
Testes de segurança de agentes
-
Testes de envenenamento de RAG
-
Testes de abuso de ferramentas
Casos de uso comuns
Casos de uso comuns
- Testar uma aplicação de IA antes de chegar a produção ou a um cliente.
- Rever um assistente que já tem acessos a sistemas que ninguém examinou.
- Reunir evidência de testes para um questionário de segurança de um cliente ou para um auditor.
- Validar que as barreiras acrescentadas após um incidente aguentam de facto.
Como trabalhamos
Como trabalhamos
-
Modelar ameaças
Estabelecer o que um atacante procuraria e o que ganharia ao alcançá-lo.
-
Testar
Testes adversariais perante abuso realista, não uma lista de cadeias conhecidas.
-
Reportar
Achados com passos de reprodução, severidade e correção, ordenados por facilidade de exploração.
-
Testar de novo
Verificar que as correções aguentam e deixar os testes para que as regressões apareçam.
Tecnologia
Tecnologia
- OWASP LLM Top 10
- MITRE ATLAS
- Garak
- Burp Suite
- ISO/IEC 27001
Segurança e governação
Segurança e governação
Os testes são autorizados por escrito, delimitados a alvos acordados e executados sobre um ambiente que não é de produção, salvo decisão em contrário da sua parte. Os achados são tratados como confidenciais e comunicados a si antes de a quem quer que seja. Nada é conservado para além do trabalho, exceto o relatório e os testes de regressão que nos pediu para deixar.
Modelos de colaboração
Modelos de colaboração
Consultoria em IA
Consultores especializados fornecem estratégia, arquitetura, avaliação e acompanhamento da transformação.
Projeto de IA
Assumimos a responsabilidade de desenhar e entregar uma solução de IA definida.
IA gerida
Operamos, monitorizamos e melhoramos continuamente os sistemas de IA em produção.
Porquê a TeamExtension.ai
Testamos o sistema, não o modelo
Um modelo isolado tem uma superfície de ataque limitada. A exposição vem daquilo a que está ligado, pelo que os testes têm de incluir as ferramentas, a recuperação e as permissões. Como construímos estes sistemas, sabemos onde estão as costuras.
Clientes selecionados
Perguntas frequentes
Perguntas frequentes
Em que difere de um teste de intrusão?
Testam contra produção?
O que recebemos?
Quanto dura uma avaliação?
Competências relacionadas
Competências relacionadas
Segurança da IA
Red teaming de IA
Testes adversariais de aplicações e agentes de IA face a cenários de abuso realistas.
Saber maisIA agêntica e automação
Agentes de IA
Software que conclui trabalho de vários passos dentro dos seus sistemas, sob os seus controlos de acesso e as suas regras de aprovação.
Saber maisSegurança da IA
Consultoria de segurança em IA
Modele as ameaças dos seus sistemas de IA e desenhe a arquitetura, os controlos e as fronteiras que contêm o seu risco.
Saber maisFalar sobre a sua iniciativa de IA
Teste as aplicações de IA face aos modos de falha que os testes de aplicação convencionais não cobrem.