AI-data og modeller

Modelengineering

De fleste virksomhedsanvendelser er bedst tjent med en kompetent generel model og god søgning. Nogle er ikke: snævre fagområder, stort volumen, stramme krav til svartid eller data, der ikke må forlade jeres grænse. Dem tager vi os af.

Den forretningsmæssige udfordring

Der gribes til finjustering for tidligt

Teams finjusterer for at rette problemer, der var søge- eller promptproblemer, og sidder derefter med en model, de skal vedligeholde, evaluere og justere igen, hver gang grundmodellen flytter sig. Omkostningen er løbende og sjældent budgetteret. Imens bliver de reelle grunde til tilpasning overset: omkostning ved volumen, svartid, drift uden forbindelse og fagsprog, en generel model håndterer dårligt.

Det vi gør

Fastslå om det er berettiget, og gør det så ordentligt

Vi begynder med at teste, om søgning, prompting eller en anden grundmodel løser problemet, for det er som regel billigere at bygge og eje. Hvor tilpasning reelt er berettiget, bygger vi datasættet, kører træningen og evaluerer mod et fraholdt sæt fra jeres egne sager. Serveringen designes til jeres krav til svartid og omkostning, med versionering og tilbagerulning, for en model i produktion er noget, man skal kunne trække sig ud af.

Modelengineering

Kompetencer

  • Finjustering

  • Modeltilpasning

  • Indlejringer

  • Modeloptimering

  • Modelservering

  • Open source-modeller

Typiske anvendelser

Typiske anvendelser

  • Skær omkostningen ved kald ned ved volumen ved at flytte det meste af trafikken til en mindre, specialiseret model.
  • Håndter fagsprog, som en generel model konsekvent tager fejl af.
  • Kør helt inden for jeres egen grænse, hvor data ikke må nå et API hos tredjepart.
  • Opfyld et krav til svartid, som en hostet frontmodel ikke kan honorere.

Sådan leverer vi

Sådan leverer vi

  1. Kortlæg

    Fastslå hvilke data der findes, hvem der ejer dem, og hvilken stand de faktisk er i.

  2. Pipeline

    Byg den indlæsning, transformation og kvalitetskontrol, modellerne afhænger af.

  3. Benchmark

    Sammenlign tilgange på jeres data frem for på en offentlig rangliste.

  4. Server

    Udrul bag en stabil grænseflade med versionering, overvågning og en vej tilbage.

Teknologi

Teknologi

  • Python
  • dbt
  • Apache Airflow
  • Snowflake
  • Databricks
  • PostgreSQL
  • pgvector
  • PyTorch
  • Hugging Face

Sikkerhed og governance

Sikkerhed og governance

Dataafstamning registreres fra ende til anden, så det altid kan besvares, hvor en værdi kom fra, og hvilken modelversion der frembragte et givet output. Persondata minimeres, klassificeres og opbevares efter en udtrykkelig politik frem for som standard. Trænings- og evalueringsdatasæt versioneres sammen med den kode, der bruger dem.

Samarbejdsmodeller

Samarbejdsmodeller

AI-projekt

Vi tager ansvaret for at designe og levere en defineret AI-løsning.

Dedikeret AI-team

Langsigtet dedikeret udviklingskapacitet bygget op om jeres teknologi og leverancemodel.

Managed AI

Vi driver, overvåger og forbedrer løbende AI-systemer i produktion.

Hvorfor TeamExtension.ai

Vi taler jer som regel fra det

Tilpasning er berettiget sjældnere, end den bliver foreslået, og vi siger hellere det end at sælge den. Når den er berettiget, er arbejdet uglamourøst: opbygning af datasæt, ærlig evaluering og en serveringsvej, I kan drive. Det er den del, der afgør, om det holder.

Udvalgte kunder

Ofte stillede spørgsmål

Ofte stillede spørgsmål

Hvor mange data skal vi bruge for at finjustere?
Langt færre end normalt antaget til stil og format, ofte nogle få hundrede velvalgte eksempler. At lære modellen reelt ny viden er et andet problem og løses som regel bedre med søgning.
Vil en finjusteret model slå en frontmodel?
På en snæver opgave undertiden, og som regel til langt lavere omkostning og svartid. På generel ræsonnering nej. Det realistiske mønster er en mindre model, der tager hovedparten, med videresendelse af de svære tilfælde.
Hvad sker der, når grundmodellen opdateres?
Jeres finjustering flytter sig ikke med, så I skal evaluere igen og ofte træne igen. Den løbende omkostning er en del af beslutningen, og vi gør den tydelig, før I binder jer.
Kan vi køre open source-modeller selv?
Ja, og af hensyn til datalokalisering eller isolation er det ofte netop grunden. Det betyder at drive infrastruktur til modelkald, hvilket har en reel omkostning, så det bør være et bevidst valg frem for en standard.

Drøft jeres AI-initiativ

Finjustering, indlejringer, optimering og servering, inklusive open source og selvhostede modeller.