Dados e modelos de IA

Engenharia de modelos

A maioria dos casos de uso empresariais é melhor servida por um modelo geral competente com boa recuperação. Alguns não são: domínios estreitos, grande volume, latência estrita ou dados que não podem sair do seu perímetro. Desses tratamos nós.

Falar sobre a sua iniciativa de IA Serviços

O problema de negócio

Recorre-se à afinação cedo demais

As equipas recorrem à afinação para corrigir problemas que eram de recuperação ou de prompt, e passam a ser donas de um modelo que têm de manter, avaliar e reafinar sempre que o modelo de base se move. Esse custo é contínuo e raramente orçamentado. Entretanto passam despercebidos os motivos genuínos para personalizar: custo a volume, latência, funcionamento offline e linguagem de domínio que um modelo geral trata mal.

O que fazemos

Verificar se se justifica e depois fazê-lo bem

Começamos por testar se a recuperação, o prompt ou um modelo de base diferente resolvem o problema, porque costuma ser mais barato de construir e de possuir. Onde a personalização se justifica mesmo, construímos o conjunto de dados, corremos o treino e avaliamos contra um conjunto reservado dos seus próprios casos. O serviço é desenhado para o seu envelope de latência e custo, com versionamento e recuo, porque um modelo em produção é um artefacto do qual é preciso poder recuar.

Engenharia de modelos

Competências

Afinação
Personalização de modelos
Embeddings
Otimização de modelos
Serviço de modelos
Modelos de código aberto

Casos de uso comuns

Reduzir o custo de inferência a volume passando a maior parte do tráfego para um modelo especializado mais pequeno.
Tratar linguagem de domínio que um modelo geral erra de forma sistemática.
Correr inteiramente dentro do seu perímetro onde os dados não podem chegar a uma API de terceiros.
Cumprir um requisito de latência que um modelo de fronteira alojado não consegue satisfazer.

Como trabalhamos

Auditar

Estabelecer que dados existem, quem é o responsável e em que estado estão de facto.
Canalizar

Construir a ingestão, a transformação e os controlos de qualidade de que os modelos dependem.
Comparar

Confrontar abordagens com os seus dados e não com uma classificação pública.
Servir

Implementar por trás de uma interface estável, com versionamento, monitorização e via de recuo.

Tecnologia

Python
dbt
Apache Airflow
Snowflake
Databricks
PostgreSQL
pgvector
PyTorch
Hugging Face

Segurança e governação

A rastreabilidade dos dados é registada de ponta a ponta, pelo que é sempre possível dizer de onde veio um valor e que versão do modelo produziu determinada saída. Os dados pessoais são minimizados, classificados e conservados sob uma política explícita e não por omissão. Os conjuntos de treino e avaliação são versionados juntamente com o código que os utiliza.

Modelos de colaboração

Projeto de IA

Assumimos a responsabilidade de desenhar e entregar uma solução de IA definida.

Equipa de IA dedicada

Capacidade de engenharia dedicada a longo prazo, construída em torno da sua tecnologia e do seu modelo de entrega.

IA gerida

Operamos, monitorizamos e melhoramos continuamente os sistemas de IA em produção.

Porquê a TeamExtension.ai

Normalmente vamos dissuadi-lo

A personalização justifica-se menos vezes do que é proposta, e preferimos dizê-lo a vendê-la. Quando se justifica, o trabalho nada tem de espetacular: construir o conjunto de dados, avaliar com honestidade e deixar uma via de serviço que consiga operar. É essa a parte que decide se aguenta.

Clientes selecionados

Perguntas frequentes

De quantos dados precisamos para afinar?

Muito menos do que se supõe para estilo e formato, muitas vezes algumas centenas de exemplos bem escolhidos. Ensinar conhecimento realmente novo é outro problema e costuma resolver-se melhor com recuperação.

Um modelo afinado bate um modelo de fronteira?

Numa tarefa estreita, por vezes, e normalmente com muito menos custo e latência. Em raciocínio geral, não. O padrão realista é um modelo mais pequeno a tratar o grosso, com escalada para os casos difíceis.

O que acontece quando o modelo de base é atualizado?

A sua afinação não se move com ele, pelo que é preciso reavaliar e muitas vezes retreinar. Esse custo recorrente faz parte da decisão e tornamo-lo explícito antes de se comprometer.

Podemos correr modelos de código aberto nós próprios?

Sim, e por residência dos dados ou isolamento é muitas vezes a razão para o fazer. Implica operar infraestrutura de inferência, o que tem custo real, pelo que deve ser uma escolha deliberada e não uma opção por omissão.

Competências relacionadas

Dados e modelos de IA

Engenharia de dados para IA

As cadeias, os controlos de qualidade e os armazenamentos vetoriais de que os sistemas de IA dependem para estarem certos.

Saber mais

Infraestrutura de IA e LLMOps

LLMOps

Implemente, vigie, avalie e controle o custo dos modelos de linguagem depois de estarem a suportar tráfego real.

Saber mais

Aplicações de IA e conhecimento

Desenvolvimento RAG

Sistemas de recuperação que ancoram as respostas no seu próprio conteúdo, com citações e precisão mensurável.

Saber mais

Falar sobre a sua iniciativa de IA

Afinação, embeddings, otimização e serviço, incluindo modelos de código aberto e de alojamento próprio.

Falar com um especialista em IA Iniciar uma avaliação de IA