【商业公司深度分析】Twelve Labs：视频原生大模型、推理工程经济学与商业全景

发表于 阅读次数： 本文字数： 5k 阅读时长 ≈ 18 分钟

在当今由大语言模型（LLM）主导的多模态浪潮中，视频理解领域长期笼罩在一种“大力出奇迹”的惯性思维之下：各家大厂倾向于把视频机械地按 1 fps 抽帧，将成百上千张静态图片和 ASR 对白一股脑塞进数万甚至数十万 Token 的超长上下文窗口中。

然而，在面对数万小时级历史资产检索、体育转播毫米级动作定位、广播级剪辑工作流等严苛工业生产场景时，这种“暴力堆上下文”的方案在时序因果保真度与推理工程财务模型上面临着双重崩塌。

成立于 2021 年的硅谷 AI 独角兽 Twelve Labs 走出了一条截然不同的“非共识”道路：确立**“生于视频（Born in Video）”的技术哲学，构建“时空解耦双层认知架构”，并通过“一次索引、持久留存、按需推理”（Index Once, Query Forever）**的工程经济学范式，撬动了全球体育、广电传媒与云原生湖仓的庞大市场。

本文将立足于计算机视觉算法、系统工程与商业研报多重视角，深度拆解 Twelve Labs 的技术实现内核、产品矩阵、商业财务表现，并探讨其与学术前沿以及开源方案（如 Qwen3-VL）的异同与博弈。

01. 公司渊源、团队构成与全球化布局

Twelve Labs（法定注册名称 Twelve Labs, Inc.）于 2021 年 3 月正式注册于美国特拉华州，总部设于加利福尼亚州旧金山，并在韩国首尔、板桥以及美国西雅图、纽约和英国伦敦设有研发与业务分支。

1
2
3
4
5
6
7
8
9
10
           ┌──────────────────────────────────────────────┐
           │               Twelve Labs 组织架构            │
           └──────────────────────┬───────────────────────┘
                                  │
               ┌──────────────────┴──────────────────┐
               ▼                                     ▼
┌──────────────────────────────┐       ┌──────────────────────────────┐
│     北美中枢（旧金山/西雅图/纽约）    │       │     亚太中枢（首尔 / 板桥）    │
│      全球商业拓展与云生态战略合作      │       │      核心算法与分布式系统研发    │
└──────────────────────────────┘       └──────────────────────────────┘
  • 创始团队：由李在成（Jae Lee，CEO）、Aiden Lee（CTO）、Dave Chung、Sungjun Kim（SJ Kim）与 Soyoung Lee 等联合创立。CEO Jae Lee 毕业于加州大学伯克利分校计算机科学专业，曾服役于韩国国防部主管网络安全项目，并先后在三星电子与亚马逊从事软件工程研发。
  • 高管引入：2024 年底，公司引入了前 SK 电讯 CTO、前苹果公司 Siri 语音识别核心技术架构负责人**尹勋博士（Dr. Yoon Kim）**出任总裁兼首席战略官（President & CSO），系统性强化了公司在底层云基础设施、硬件芯片协同及全球知识产权布局上的执行力。
  • 团队结构：截至 2026 年下半年，全职员工规模约 170 至 210 人区间，其中研发团队占比约 43.0%，财务与运营占比约 30.6%，商务拓展占比约 26.4%，形成了北美（约 57%）与东亚（约 41%）协同运作的双中枢架构。

02. 底层架构深度解构：时空解耦双层认知范式

传统通用多模态方案之所以在长视频任务上频频“翻车”，根源在于其将连续视频流降维成了**“离散静态图片 + 外挂文本转录”**。多项权威实验表明，通用大模型在面对打乱帧顺序甚至完全倒放的测试视频时得分未见明显衰减，证明其本质上是在依靠语言先验进行“脑补作弊”，根本没有建立对客观物理运动因果的理解。

为彻底解决该工程瓶颈，Twelve Labs 确立了**“感知嵌入层（Marengo）+ 符号推理层（Pegasus）”**的时空解耦双层架构：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
           ┌──────────────────────────────────────────────┐
           │               业务系统与智能体工作流             │
           │      (Jockey / Rodeo / Search / Analyze API) │
           └──────────────────────┬───────────────────────┘
                                  │
               ┌──────────────────┴──────────────────┐
               │ (按需因果推理)                       │ (毫秒级向量检索)
               ▼                                     ▼
┌──────────────────────────────┐       ┌──────────────────────────────┐
│ 上层推理生成: Pegasus 1.5/1.6 │       │  向量检索与匹配 (Any-to-Any)  │
│ (视频语言大模型 / 长程因果推理) │       │    (精确至毫秒级起止时间戳)    │
└──────────────┬───────────────┘       └──────────────┬───────────────┘
               │ 挂载记忆层 (事实锚点)                 │
               └──────────────────┬──────────────────┘
                                  │
┌─────────────────────────────────┴─────────────────────────────────┐
│                    底层感知嵌入: Marengo 3.0 / 3.5                 │
│   [语义分块 Semantic Chunking] ───► [时空体积单元 Spatiotemporal Volumes] │
│   多模态通道联合映射: 像素动态 + 运动轨迹 + 环境声学 + ASR对白 + OCR文字     │
│   统一紧凑向量空间: 512 维高密度时空向量 (降本50%，索引加速2倍)      │
└─────────────────────────────────┬─────────────────────────────────┘
                                  │
                       原始音视频流 (非结构化数据)

2.1 底层感知嵌入引擎：Marengo (3.0 / 3.5)

Marengo 的本质是一个视频专用的多模态 Bi-Encoder（双塔向量模型），相当于视频领域的 CLIP。它不输出自然语言，专门负责生成高紧凑度的密集向量：

  1. 时空切片（Semantic Chunking）与时空体积（Spatiotemporal Volume）：
    • 抛弃机械的每秒抽取 1 帧。基于核心专利 US 12,222,985 B2，系统利用镜头转场检测（Shot Transition Detection）与运动矢量分析，先自适应切分出逻辑完整的事件动作片段。
    • 切片内部保留全帧运动连续性，组装成四维时空张量 (C×T×H×W)(C \times T \times H \times W)，利用 3D Tubelet 卷积与时空自注意力捕捉微观速度、加速度与物理因果。
  2. 多模态早期联合嵌入（Early Joint Embedding）：
    • 将画面时序、物体运动轨迹、环境背景声学频谱（Spectrogram）、ASR 语音转录与画面 OCR 文字在入库时直接完成特征级跨模态融合。
    • 区别于传统粗暴拼接产生的高达 3072 维以上稀疏向量，Marengo 将联合表征深度压缩至统一且紧凑的 512 维向量空间。相比通用方案，向量数据库托管成本降低 50%，ANN 近邻检索提速 2 倍。
  3. Any-to-Any 跨模态复合检索：
    • 支持文本搜视频、图片搜视频、音频搜视频，以及“参考图 + 文本修改指令”的复合检索，并在毫秒级延迟内精确定位事件的起止时间戳 [tstart,tend][t_{start}, t_{end}]。

2.2 上层认知与推理引擎：Pegasus (1.5 / 1.6)

Pegasus 的本质是一个生成式视频-语言大模型（Video-LLM），由 Video Encoder、Alignment Projector（Token 压缩器）以及约 17B 参数的自回归 LLM Decoder 构成：

  1. “事实锚点”挂载机制：
    • 在处理超长视频时，Pegasus 不重复扫描原始像素，而是直接挂载 Marengo 构建的持久化结构化时空记忆层。宏观任务读取压缩的时序骨架 Tokens，微观细节任务由 Marengo 先行定位关键时空片段输入局部密集特征。
  2. Schema 结构化生成与长程一致性：
    • 原生支持长达 2 小时的连续长视频推理，可根据企业预定义的 Schema 输出包含毫秒级时间戳的结构化 JSON 元数据、长篇剧情因果摘要与违规判罚解释。
  3. Pegasus 1.6 的具身认知跃迁（Egocentric Video）：
    • 针对第一人称穿戴式设备（智能眼镜、GoPro）及人形机器人头部相机的剧烈晃动与视角特性，专门强化了对手部精细操作、工具使用先后因果及空间拓扑关系的理解，直接为具身智能（Physical AI）训练提供高密度的行为轨迹监督数据。

03. 范式碰撞：与学术前沿及开源方案的深度对照

深入审视 Twelve Labs 的技术方案，会发现其在工程实现上的诸多决断，与近年来计算机视觉和多模态学术前沿所倡导的范式高度共振：

3.1 学术前沿论文的问题共鸣

  • 读写分离与长视频计算解耦：在学术界，浙大与微软提出的 Video-EMem（Write Once, Query Many，arXiv:2610.24537）同样批判了每次提问都重复扫描全量视频导致的算力泥潭，提出了用 Writer 一次性提炼记忆槽、Reader 多次轻量查询的思想。Twelve Labs 的 “Index Once, Query Forever” 正是这一架构在工业级存储与检索层面的商业落地。
  • 时序作弊与因果防范：快手可灵与人大团队在 NeurIPS 2026 论文 EventLens 中揭露了大模型在打乱时间时“闭眼答题”的作弊现状。Twelve Labs 从底层拒绝 1fps 截帧、坚持连续时空体积（Spatiotemporal Volume）建模，正是为了杜绝此类语言先验幻觉。
  • 长上下文向量的工程破局：蚂蚁与苏大在 EMNLP 2026 提出的 MMLongEmbed 基准实测证明，把长视频全局打包硬塞给 32K/128K 上下文模型，会遭遇严重的中间遗忘（Lost-in-the-middle）和时序钝化，论证了“切片层级检索架构”的必要性。这正是 Twelve Labs 坚持以语义分块（Semantic Chunking）为核心的原因。
  • 细粒度实体轨迹解耦：电信星辰与北大的 VTrajEmbed（arXiv:2610.22842）指出传统全局向量无法区分“到底是谁做了什么动作”。Marengo 强化运动轨迹与实体识别（Entity Search），同样是为了解决复杂场景下多实体动态纠缠的痛点。

3.2 能否用开源的 Qwen3-VL 平替 Marengo？

很多开发者会问：“4D 时空立体张量是 Marengo 独有的吗？我能用阿里开源的 Qwen3-VL 做出同样的功能吗？”

答案是：4D 时空建模不是 Marengo 的独门绝技，Qwen3-VL 本身就具备顶级的 4D 时空特征捕捉能力；但要达到工业级可用，必须补齐周边工程模块：

  1. 时空底座同源：Qwen2.5-VL / Qwen3-VL 前端原生采用了 3D 卷积（3D Tubelet，步长 t=2t=2）和三维旋转位置编码（3D-RoPE / M-RoPE），同样是将视频当成立体时空流来处理的。
  2. 如何平替 Marengo？
    • 不能直接使用对话版的生成模型（Qwen3-VL-Instruct 会吐出海量 Visual Tokens，无法存库搜索）。
    • 必须选用 Qwen3-VL-Embedding（双塔特征提取架构）。
    • 利用 Qwen3-VL-Embedding 训练中自带的 MRL（俄罗斯套娃表示） 机制，将 2048/4096 维向量直接截断并归一化为 512 维（MRR 检索损失仅 1.4%，性能几乎打平，存储成本与查询延迟减半）。
  3. 需要自建补齐的 2 个拼图：
    • 前置镜头自适应切块：需外挂 PySceneDetect 或光流检测算法，先切出 3~8 秒动作完整的 Chunk，再送入 Qwen3-VL 提取向量。
    • 环境声学音频早融合：Qwen3-VL 不处理原始环境音频频谱，若用于体育、刑侦等重度依赖非人声环境音的场景，需外挂音频模型（如 AST / BEATs）进行多模态晚期融合。

04. 产品矩阵、API 体系与商业化定价

Twelve Labs 构建了由“底层基础模型即服务（MaaS）”与“上层智能体工作流应用”深度咬合的产品体系：

flowchart TD
    subgraph Layer1["底层基础设施 API (MaaS)"]
        SearchAPI["Search API<br/>(自然语言免打标精准切片定位)"]
        EmbedAPI["Embed API (Marengo 3.5)<br/>(音视频全量转 512 维向量)"]
        AnalyzeAPI["Analyze API (Pegasus 1.6)<br/>(结构化 JSON / 摘要 / 因果 QA)"]
    end

    subgraph Layer2["上层企业级智能体应用"]
        Jockey["Jockey<br/>(企业多媒体资产对话检索与编目)"]
        Compliance["Compliance by TwelveLabs<br/>(品牌合规、版权与内容质检)"]
        Rodeo["Rodeo (2026年6月推出)<br/>(影视与体育多机位粗剪装配 Agent)"]
    end

    subgraph Layer3["专业下游工具生态"]
        NLE["Adobe Premiere / Final Cut / Autodesk Flow Capture"]
    end

    Layer1 --> Layer2
    Layer2 --> Layer3

官方标准计费体系（USD）

业务产品线 计费计量单位 官方执行单价 成本结构与服务范围说明
Search API：视频摄取与索引 视频输入处理时长 $2.50 / 小时（约 $0.042 / 分钟） 一次性收取，包含跨模态时空体积特征提取与语义切片全流程
Search API：托管索引存储 托管向量库所含时长 $0.09 / 小时视频 / 月 按月持续计费，维持索引高可用性及毫秒级近邻检索集群开销
Search API：检索调用 检索请求次数 $4.00 / 1,000 次查询 针对自然语言文本或复杂多模态向量向索引库发起 ANN 检索计算
Embed API (Marengo 3.5) 输入 Token 量（按模态区分） 视频：$0.26 / 1M
文本：$0.20 / 1M
图像：$0.08 / 1M
音频：$0.065 / 1M		 支持全模态统一投射，按各物理通道特征提取计算难度实行阶梯定价
Analyze API (Pegasus 1.6) 视频输入时长 + 文本生成量 视频输入：$1.75 / 小时
文本生成：$7.50 / 1M Tokens		 分段乘数机制：计费时长按物理时长乘以用户指定的分段规则数计算
Jockey Agent 独立工作流 团队数据存储规模 Free 版：5 GB 免费空间
Plus 版：$20 / 月（含 100 GB）
Pro 版：$100 / 月（含 500 GB）		 面向中小创意团队与内容工作室，按年预付提供约 17% 折扣
Enterprise 企业战略合作 年度保障性合同（Commitment） 框架协议谈判确定 包含私有云部署、定制微调训练、专属硬件算力池及企业级 SLA

05. 垂直行业落地与企业客户验证

Twelve Labs 敏锐避开了泛消费级的娱乐问答，专注切入对海量视频存在高频检索、严格时效与资产复用诉求的高价值企业级市场：

  1. 体育传媒与实时转播（MLSE & NFL Media）：
    • **枫叶体育娱乐集团（MLSE）**旗下运营 NBA 多伦多猛龙队与 NHL 枫叶队。引入 Twelve Labs 后，运营团队直接以“前锋突破造成犯规并伴随情绪怒吼”等复合指令搜索多路原始录像，将此前长达 16 小时的繁琐素材筛选压缩至 9 分钟以内，单剪辑师日分发社交短视频数量从几条跃升至 50~100 条。
    • NFL Media 深度集成其 API，对跨越数十年的战术录像与比赛转播进行全量索引，实现了基于战术阵型、球员号码与越位动作的秒级定位。
  2. 广电制作与云端媒体资产管理（MAM）：
    • 知名云端音视频协作平台 Iconik 将 Twelve Labs 列为首家 Premier Tier 合作伙伴，原生内置 Marengo 驱动的语义搜索模块，剪辑师无需将 PB 级素材迁移，即可在原有资源浏览器内实现免标签的精准镜头定位。
    • 韩国主流无线电视台 SBS 对数十万小时的历史综艺、纪录片与胶片库建立深层时空索引，激活了过去因人工标签不全而沉睡的长尾素材。同时，系统已深度整合 Autodesk Flow Capture 与 Adobe Premiere Pro。
  3. 数字电商与公用事业：
    • 韩国大型电商与电视购物巨头 GS SHOP 依托 Amazon Bedrock 托管环境接入 Marengo，对长视频导购内容进行关键商品展示瞬间的微观切片与自动化重组。精准商品视频切片使最终促成的下单客户总量实现了 57.5% 的大幅增长。
    • 在公共安全与防务端，韩国世宗智慧城市（Sejong City）将其用于城市监控流的异常事件追溯；美国中央情报局旗下战略投资基金 In-Q-Tel（IQT） 的入局，则验证了其在无人机航拍与特种第一人称防务视频解析上的独特价值。

06. 资本运作、硬件协同与财务表现

Twelve Labs 自成立以来展现了极强的顶层资本聚合能力，累计外部权益融资总额突破 2.1 亿美元（$210.1M）：

1
2
3
4
5
6
7
8
9
10
2021-2022  种子及 Pre-A 轮  $1,700 万  Index Ventures、Radical Ventures
    │
2023.10    战略投资轮       $1,000 万  NVentures (英伟达战略风投) ──► 优化分布式 GPU 训练流水线
    │
2024.06    A 轮融资         $5,000 万  NEA、NVentures 联合领投
    │
2024.12    战略生态轮       $3,000 万  Databricks、Snowflake、SK Telecom、In-Q-Tel
    │                                  ──► 嵌入全球头部湖仓，免搬迁打通存量企业冷数据
2026.07    B 轮融资         $1.00 亿   NEA、NAVER 联合领投，Amazon、Radical 跟投
                                       ──► 针对 AWS Trainium 芯片指令集优化，压降工业推理成本

产业协同的深度价值

  • 芯片与算力端（AWS Trainium 深度绑定）：亚马逊在参投 B 轮的同时确立了长期底层合作——Twelve Labs 针对 AWS 自研 AI 芯片 Trainium 进行全栈指令集与运行时优化，极大压降了工业级规模推理的单硬件成本；同时模型上线 Amazon Bedrock Knowledge Bases，向全球企业客户深度捆绑分发。
  • 数据基础设施端（Databricks & Snowflake 湖仓免搬迁）：
    Databricks 和 Snowflake 分别将 Twelve Labs 的 Embed 算力与自身 Mosaic AI Vector Search 及 Snowflake Cortex AI 打通。企业客户无需将动辄数 PB 的音视频数据导出公网，即可在自有的安全合规数据湖内原地运行向量化索引。
  • 财务表现：追踪数据显示，公司在 2024 年实现约 580 万美元的软件与 API 营收（同比增长 40.8%）。随着 2025–2026 年接入 Bedrock 与湖仓分发渠道，加之 Jockey 和 Rodeo 等高客单价 SaaS 应用落地，其 ARR 保持高速增长，2.1 亿美元的储备资金为其模型持续预训练筑牢了护城河。

07. 竞争格局、潜在挑战与未来战略演进

在全球视频理解 API 市场向 2033 年 194 亿美元演进的过程中，形成了三大博弈阵营：

  1. 通用万亿级生态巨头（Google Gemini / Microsoft Azure / OpenAI）：拥有极强品牌心智与通用泛化能力，但在长视频微观动作定位上依然依赖昂贵的上下文窗口重读，缺乏面向广播级剪辑的深层时空精度。
  2. 垂直特种初创厂商（Airis Labs / NomadicML）：深耕国防无人机、自动驾驶车辆日志等受限封闭场景，多采用软硬一体或私有化部署，但跨行业通用泛化能力薄弱。
  3. 视频原生基础模型底座（Twelve Labs）：兼顾通用模型灵活性与垂直场景极致精度，立足于标准化跨模态底座。

潜在瓶颈与技术挑战

  • 长上下文 Token 价格通缩冲击：随着芯片算力密度的提升和量化蒸馏技术的演进，通用大模型上下文单价正以每年超过 50% 的速度下降。若通用大模型通过原生端到端联合训练补齐了微观动作定位短板，专用向量方案的绝对溢价空间或将面临挤压。
  • 视频预训练高昂的资本开销：构建百亿级视频原生基础模型需要吞吐海量高保真音视频，持续的算力消耗对造血能力与外部融资节奏提出了极高要求。

未来演进的两大确定性路径

1
2
3
4
5
6
7
8
9
【未来战略跃迁的双维路径】

维度一：纵向升级 (智能体应用闭环)
API 算力差价提供商 ──► Rodeo (视频剪辑 Agent) & Jockey (资产管理 Agent)
                       (直接接管专业剪辑师与决策层工作流，获取高客单价 SaaS 溢价)

维度二：横向拓扑 (具身物理世界模型)
2D 屏幕媒体内容理解 ──► Pegasus 1.6 第一人称 (Egocentric) 空间动作拓扑
                       (为人形机器人与自动驾驶提供高密度行为因果轨迹监督数据)
  1. 纵向打造智能体闭环：通过 Rodeo 直接输出标准 FCPXML / EDL 剪辑工程文件，跨过初级程序员，直接接管内容创意产业的核心工作流。
  2. 横向跨入物理世界具身智能（Physical AI）：真实物理世界本质上就是一个连续交互的三维空间视频场。通过 Pegasus 1.6 在第一人称动作因果切分上的积累，Twelve Labs 正在将其打造为人形机器人与具身空间智能的**“合成视觉知识引擎”**，为未来万亿级的物理 AI 时代奠定关键技术基石。