Infrastruktura AI i LLMOps

MLOps

Prognozowanie, scoring, klasyfikacja i wykrywanie anomalii przenoszą w większości przedsiębiorstw większe obciążenie produkcyjne niż cokolwiek generatywnego. Budujemy wokół nich cykl życia: wdrażanie, monitorowanie, ponowne trenowanie i wycofywanie.

Problem biznesowy

Nie da się wskazać modelu, który podjął decyzję

Modele są wdrażane z notatnika, trenowane ponownie ręcznie i wersjonowane nazwą pliku. Pół roku później nikt nie potrafi powiedzieć, która wersja wydała daną decyzję, na jakich danych ją wytrenowano ani czy nadal działa poprawnie. Przy wszystkim, o co może zapytać organ nadzoru lub audytor, nie jest to problem długu technicznego, tylko ekspozycja.

Czym się zajmujemy

Uczynić cykl życia nudnym

Modele są wersjonowane wraz z danymi i kodem, które je wytworzyły, wdrażane przez proces, a nie ręcznie, i udostępniane za stabilnym interfejsem. Skuteczność i rozkład danych wejściowych są monitorowane, więc dryf jest wykrywany, a nie wnioskowany z wyników biznesowych. Ponowne trenowanie jest zaplanowane lub wyzwalane, oceniane na wydzielonym zbiorze i promowane tylko wtedy, gdy pokona to, co działa. Wycofanie jest zwykłą operacją.

MLOps

Kompetencje

  • Wdrażanie modeli ML

  • Zarządzanie cyklem życia modeli

  • Monitorowanie

  • Ponowne trenowanie

  • CI/CD dla uczenia maszynowego

  • Rejestry modeli

Typowe zastosowania

Typowe zastosowania

  • Przeniesienie modeli działających z notatników do nadzorowanego procesu wdrożeniowego.
  • Wykrywanie dryfu w modelach, których skuteczności nikt obecnie nie śledzi.
  • Zapewnienie odtwarzalności dla modeli wspierających decyzje regulowane.
  • Zautomatyzowanie ponownego trenowania, które dziś jest ręczną czynnością, o której ktoś pamięta.

Jak realizujemy projekty

Jak realizujemy projekty

  1. Ocena

    Ustalenie ograniczeń: rezydencji danych, opóźnień, budżetu i tego, co już działa.

  2. Architektura

    Zaprojektowanie bramy, routingu, pamięci podręcznej i przełączania awaryjnego tak, aby wybór dostawcy pozostał odwracalny.

  3. Oprzyrządowanie

    Obserwowalność, ewaluacja i przypisanie kosztów podłączone, zanim pojawi się ruch.

  4. Eksploatacja

    Praca zgodnie z uzgodnionymi poziomami usług, z cyklicznym przeglądem wydajności i wydatków.

Technologia

Technologia

  • Kubernetes
  • Terraform
  • vLLM
  • Ollama
  • LiteLLM
  • OpenTelemetry
  • Prometheus
  • Grafana
  • AWS
  • Microsoft Azure

Bezpieczeństwo i nadzór

Bezpieczeństwo i ład

To, gdzie dane mogą być przetwarzane, jest kwestią konfiguracji, a nie założenia: modele mogą działać we własnej dzierżawie chmurowej lub na Państwa własnym sprzęcie, jeśli wymaga tego rezydencja lub izolacja. Ruch przechodzący przez bramę jest uwierzytelniany, przypisywany do zespołu i rejestrowany, co umożliwia zarówno ścieżkę audytu, jak i model kosztowy.

Modele współpracy

Modele współpracy

Projekt AI

Bierzemy odpowiedzialność za zaprojektowanie i dostarczenie określonego rozwiązania AI.

Dedykowany zespół AI

Długoterminowe, dedykowane zasoby inżynierskie zbudowane wokół Państwa technologii i modelu dostarczania.

Zarządzana AI

Prowadzimy, monitorujemy i stale ulepszamy produkcyjne systemy AI.

Dlaczego TeamExtension.ai

To zwykła inżynieria zastosowana do modeli

Wersjonowanie, procesy, monitorowanie i wycofywanie to rozwiązane problemy w oprogramowaniu; do modeli stosuje się je po prostu niekonsekwentnie, bo modele przyszły z nauki o danych, a nie z inżynierii. Wnosimy dyscyplinę inżynierską, nie odrzucając tego, co zbudował zespół data science.

Wybrani klienci

Najczęstsze pytania

Najczęstsze pytania

Czy potrzebujemy dedykowanej platformy MLOps?
Często nie. Państwa obecne CI/CD, platforma kontenerowa i stos obserwowalności pokrywają większość, po dodaniu rejestru modeli. Dedykowana platforma uzasadnia się przy skali, a nie przy trzech modelach.
Jak często trenować modele ponownie?
Wtedy, gdy mówi o tym skuteczność lub rozkład danych wejściowych, a nie według kalendarza. Zaplanowane ponowne trenowanie bez ewaluacji to sposób, w jaki gorszy model trafia na produkcję.
A odtwarzalność?
Wersja modelu, wersja danych treningowych, wersja kodu i hiperparametry zapisane razem. Bez tego nie da się uczciwie odpowiedzieć na pytanie organu nadzoru o dawną decyzję.
Czy może to współistnieć z naszymi pracami generatywnymi?
Powinno. Ten sam rejestr, proces i obserwowalność obsługują oba, a traktowanie ich jako osobnych światów podwaja koszty i rozbija ład.

Omów swoją inicjatywę AI

Zarządzanie cyklem życia uczenia maszynowego: wdrażanie, monitorowanie, ponowne trenowanie i CI/CD.