人工智能数据与模型

模型工程

多数企业用例,用一个能力强的通用模型配上好的检索就足够了。有些则不然:狭窄的专业领域、超大处理量、严格的时延要求,或者不能离开自身边界的数据。这些交给我们。

业务问题

微调被过早地抓来用

团队用微调去修本属检索或提示词的问题,然后就得长期养着一个模型:每当基础模型变动,都要维护、评测、重新调优。这笔开销是持续性的,却很少进预算。与此同时,真正值得定制的场景,包括大规模下的成本、时延、离线运行,以及通用模型处理不好的专业用语,反倒被忽略了。

我们做什么

先判断是否有必要,有必要就认真做

我们先检验检索、提示词或换一个基础模型能否解决问题,因为那通常在建设和持有两方面都更便宜。当定制确有必要时,我们构建数据集、执行训练,并用取自您自己案例的留出集做评测。服务部署按您的时延与成本区间设计,具备版本管理与回退,因为生产中的模型是一件您必须能够撤回来的产物。

模型工程

能力

  • 微调

  • 模型定制

  • 嵌入

  • 模型优化

  • 模型服务部署

  • 开源模型

常见应用场景

常见应用场景

  • 把大部分流量转到更小的专用模型上,降低大规模下的推理成本。
  • 处理通用模型一贯搞错的专业用语。
  • 在数据不能触达第三方接口的情况下,完全在自身边界内运行。
  • 满足托管前沿模型无法达到的时延要求。

我们如何交付

我们如何交付

  1. 盘点

    弄清有哪些数据、归谁所有、实际处于什么状态。

  2. 管道

    构建模型所依赖的接入、转换与质量校验。

  3. 基准测试

    在您的数据上比较不同方案,而不是看公开排行榜。

  4. 服务化

    部署在稳定接口之后,具备版本管理、监控与可回退路径。

技术

技术

  • Python
  • dbt
  • Apache Airflow
  • Snowflake
  • Databricks
  • PostgreSQL
  • pgvector
  • PyTorch
  • Hugging Face

安全与治理

安全与治理

数据血缘端到端留痕,因此某个数值来自哪里、某项输出由哪个模型版本产生,随时都能回答。个人数据按明确政策做最小化、分类与留存,而不是听其自然。训练与评测数据集与使用它们的代码一同做版本管理。

合作模式

合作模式

人工智能项目

我们对既定人工智能方案的设计与交付承担责任。

专属人工智能团队

围绕您的技术栈与交付模式建立的长期专属工程力量。

托管式人工智能

我们运营、监控并持续改进生产环境中的人工智能系统。

为什么选择 TeamExtension.ai

我们通常会劝您别做

定制被提议的次数,远多于它真正必要的次数,而我们宁愿直说也不愿把它卖给您。真正必要时,工作并不光鲜:构建数据集、诚实评测,以及一条您能自己运维的服务路径。而这正是决定它能否站得住的部分。

部分客户

常见问题

常见问题

微调需要多少数据?
在文体与格式方面,远比一般以为的少,常常几百条精选样本就够。教会真正的新知识是另一个问题,通常用检索来解决更合适。
微调过的模型能胜过前沿模型吗?
在狭窄任务上有时可以,而且成本与时延通常低得多。在通用推理上不行。现实中的模式是较小的模型承担大部分工作,困难案例再上升处理。
基础模型更新后会怎样?
您的微调不会跟着一起变,因此需要重新评测,往往还要重新训练。这笔持续开销是决策的一部分,我们会在您拍板之前把它讲清楚。
我们能自己运行开源模型吗?
可以,而且出于数据驻留或隔离的考虑,这常常正是理由所在。但这意味着要运维推理基础设施,成本是实打实的,因此应当是一个有意识的选择,而不是默认。

探讨您的 AI 计划

微调、嵌入、优化与服务部署,包括开源与自托管模型。