【论文分享】多模态融合的“做菜哲学”：短视频检索中融合顺序（Fusion Order）为什么至关重要？

发表于 阅读次数： 本文字数： 3.4k 阅读时长 ≈ 12 分钟

在抖音、快手等现代短视频平台中，一个视频天然蕴含着三种感官线索：视觉画面（Visual）、环境背景音（Acoustic） 以及 语音台词（Speech transcript）。为了让用户能够精准搜到想要的视频，多模态检索算法需要把这三路信息融合成一个高维向量。

过去几年，学术界和工业界的大部分精力都放在了“大力出奇迹”上——换更大的基础模型、抽取更精细的特征、对齐更多的模态。但在最终把视觉、声音和台词组合在一起时，大家的做法却非常粗糙：要么 “一股脑全混在一起（Stacked Fusion）”，要么 “随便选个顺序挨个叠（Progressive Fusion）”。

近日发表在 arXiv 上的前沿论文 《When Fusion Order Matters: Insights on Progressive Multimodal Representation Learning for Cross-modal Retrieval》（arXiv:2610.35125）提出了一个极具颠覆性的灵魂拷问：

在多模态融合时，特征进入的先后顺序到底有没有讲究？先融声音还是先融台词，做出来的模型表现能一样吗？

论文作者通过严格的对照试验给出了确凿的答案：融合顺序不仅有关系，而且对最终的检索准确率有着决定性影响！更绝的是，作者总结出了指导顺序选择的 “两大黄金法则”，并成功预测了文本搜视频、音频搜视频、以图搜视频的最佳融合路线。

论文题目：When Fusion Order Matters: Insights on Progressive Multimodal Representation Learning for Cross-modal Retrieval
作者团队：Haoxiang Zhao, Bin Wang, Yaofei Wang, Xiao Lan, Yunfeng Diao, Xu Wang
论文链接：https://arxiv.org/abs/2610.35125
HTML 预览：https://arxiv.org/html/2610.35125

01. 行业盲区：被所有人忽视的“放调料顺序”

做过中餐的人都知道：做红烧肉时，是先放糖炒糖色，还是起锅前再加糖收汁，菜的味道完全是两码事。

但在多模态视频检索领域，过往的主流做法却像在“煮大乱炖”：

1
2
3
4
5
6
7
8
9
10
【传统常见的两种多模态融合姿态】

方案 A: 堆叠大乱炖 (Stacked Fusion)
  [音频 A] ──┐
             ├──> [混合音频与台词] ──> [与画面 V 交互] ──> 输出检索向量
  [台词 S] ──┘

方案 B: 随意的逐步融合 (Ad-hoc Progressive Fusion)
  [画面 V] ──> [融入音频/台词] ──> [再融入剩余模态] ──> 输出检索向量
  （大家往往拍脑袋决定谁先谁后，缺乏理论支撑）

当我们要用一句话（如“海滩上弹吉他的年轻人”）去匹配海量视频库时：

  • 画面（VV）有沙滩和人物轮廓；
  • 声音（AA）有海浪声与清脆的吉他琴弦声；
  • 台词（SS）有人在说话或唱歌。

如果按不同顺序把它们串联进深度学习网络，每一阶段更新后的特征都会直接改变下一阶段需要学习的映射空间。顺序不同，梯度的流动路径、特征的权重留存也会截然不同。

为了系统探究这个问题，作者构建了统一对照实验框架 UniPRO（Unified Progressive Representation Learning for Order Analysis）。

02. UniPRO 实验发现：挨个融更优，且顺序决定成败

在锁定所有基础编码器（CLIP ViT 提画面、AST 提声学特征、Whisper 提台词）、统一训练轮次和参数的前提下，UniPRO 在多个国际权威视频检索基准（MSR-VTT-9k/7k、VATEX、Charades）上展开了全方位的控制变量测试：

flowchart LR
    subgraph S1["堆叠融合 (Stacked ASV)"]
        direction TB
        A1[音频 A] & S1_node[台词 S] --> AS[Audio-Speech 预混合]
        V1[画面 V] & AS --> OUT1[输出特征]
    end

    subgraph S2["逐步融合 VAS (优选)"]
        direction TB
        V2[画面 V] --> G1[Gate 阶段 1: 融合音频 A]
        G1 --> G2[Gate 阶段 2: 融合台词 S]
        G2 --> OUT2["输出特征 (R@1: 53.9%)"]
    end

    subgraph S3["逐步融合 VSA"]
        direction TB
        V3[画面 V] --> G3[Gate 阶段 1: 融合台词 S]
        G3 --> G4[Gate 阶段 2: 融合音频 A]
        G4 --> OUT3["输出特征 (R@1: 53.2%)"]
    end

实验发现 1：逐步融合（One-by-one）显著好于堆叠大乱炖（Stacked）

无论是 V -> A -> S 还是 V -> S -> A，这种一次只引入一种感官特征的门控递进结构，在 R@1、R@5、R@10 召回率上全部碾压堆叠方案。

实验发现 2：哪怕结构完全一样，换个顺序性能差距明显

在“文本搜视频”的 MSR-VTT-9k 基准上：

  • VAS 路线（画面 ➔ 声音 ➔ 台词）：Top-1 准确率（R@1）达到 53.9%；
  • VSA 路线（画面 ➔ 台词 ➔ 声音）：R@1 仅为 53.2%。

仅仅交换了音频和台词的接入先后顺序，模型在绝对指标上就拉开了近 1 个百分点的差距（在高度卷指标的多模态检索榜单上，0.7% 的提升已相当显著）。

为什么 VAS 一定优于 VSA？作者随后给出了极具洞察力的理论阐述。

03. 核心精髓：指导融合顺序的“两大黄金法则”

通过设计严密的消融与反转实验，论文总结了决定融合顺序的两大基本法则：

🌟 原则一：学习难度法则（Principle I）——越稳定普遍的先上，越稀疏易缺的后上

在真实的视频业务场景中，模态的可用性极不均衡：

  • 视觉（V）：所有视频 100% 都有画面帧；
  • 音频（A）：绝大多数视频都有环境音轨（覆盖率高）；
  • 台词（S）：只有部分视频有人说话；无口播的纯风光、纯音乐视频中台词完全缺失（覆盖率最低）。
1
2
数据可用性梯队：
[画面 V: 100% 完整]  >  [音频 A: 90%+ 完整]  >  [台词 S: 缺失率最高]

如果采用 VSA 路线（先融台词 S，再融音频 A）：

  • 当台词缺失时，第二阶段的输入就只剩下单一画面 VV；
  • 当台词存在时，第二阶段的输入则是图文混合特征 VSVS。
  • 这导致后序的音频融合层必须同时兼容两种完全不同形态的输入分布，学习难度剧增。

相反，如果采用 VAS 路线（先融音频 A，最后融台词 S）：

  • 画面先与相对稳定的音频结合成稳定的 VAVA 特征底座；
  • 最后再按需接入最稀疏的台词信息，模型的优化路径平稳许多。

彻底排除干扰的对照实验：
作者专门筛选出“画面、声音、台词全都齐全”的完整子集（CM-Pool）进行训练和评测，结果发现即便在没有任何缺失数据的理想环境下，VAS 依然胜过 VSA！这意味着仅靠“缺失率”还不足以解释全部现象，必须引入第二原则。

🌟 原则二：查询保鲜法则（Principle II）——与搜索意图同源的模态，必须压轴登场

在深度神经网络层层传递的过程中，“最后被融合进网络的信息，其特征保留得最充分、最不易被后续操作稀释或降质”。

这直接衍生出检索任务中的“对齐定律”：

  • 文本搜视频（Text-to-Video）：用户的 Query 是文本语言，而视频里的“台词（S）”在本质上也是文本语义。将台词 SS 放在最后一步融合（VAS 路线），能最大化保留语言级别的细粒度表征，从而最利于文本 Query 的点对点匹配。

神级推论与反向验证

为了检验原则二的普适性，作者设计了两场堪称教科书级别的预测实验：

验证 1：换成【音频搜视频】（Audio Query）

如果用户的搜索输入是一段声音剪辑（Query 是音频）：

  • 按照原则二推断：此时应该把“音频（A）”放在最后压轴！即最优顺序应当反转为 VSA（画面 ➔ 台词 ➔ 声音）。
  • 实验结果：在完全样本测试集上，VSA 在音频搜视频的 R@1 上以 56.6% 对 55.2% 反超 VAS！假说得到完美印证。

验证 2：换成【以图搜视频】（Image Query）

如果用户的搜索输入是一张图片（Query 是视觉）：

  • 画面 VV 往往一开始就作为基底输入了，如何让视觉在最后“压轴”？
  • 作者大胆预测：采用 VASV 路线（画面 ➔ 音频 ➔ 台词 ➔ 重新回炉引入原始视觉特征 VV 做最后一层门控增强）！
  • 实验结果：在 MSR-VTT 上，VASV 方案直接斩获了 97.9% 的 R@1 惊人成绩，超越了所有对照组（VAS、VSAV、VVAS），成为全场第一！
1
2
3
4
【查询模态决定最终压轴模态】
文本 Query  ──> 最优路线: [V ➔ A ➔ S]   (台词 S 压轴)
音频 Query  ──> 最优路线: [V ➔ S ➔ A]   (声音 A 压轴)
图像 Query  ──> 最优路线: [V ➔ A ➔ S ➔ V] (视觉 V 重新压轴)

⚖️ 两大法则的动态权衡（Balancing Act）

那么，当两大法则发生冲突时，听谁的？

作者做了一个极为硬核的压力测试：在音频检索任务中（原则二倾向于选 VSA），人为逐步提高训练集和测试集中的 “台词缺失率”（从 0% 一路删减到 100%）：

1
2
3
台词缺失率: 0% ──────────── 60% ──────────── 80% ──────────── 100%
最优方案:    VSA 胜出            交叉临界点           VAS 反超胜出
主要驱动力: [原则二: 声音压轴]  ─── 激烈博弈 ───>  [原则一: 避免残缺输入搞崩模型]
  • 当台词缺失率小于 60% 时：信息保鲜更重要，VSA 稳占上风；
  • 当台词缺失率超过 70% 时：由于台词极度残缺，VSA 的中间层输入被严重搞乱，此时原则一（学习稳定性）反客为主，VAS 逆势翻盘！

结论：在实际工程中，不能死板套用单一顺序，必须根据底层业务数据的残缺比例与线上主流搜索 Query 模态，进行动态权衡。

04. UniPRO 的三大配套“神助攻”模块

为了让逐步融合发挥出最强威力，作者在特征输入与中间对齐环节加入了三个极具实用价值的工程化算法模块：

flowchart TD
    subgraph InputPrep["模态预处理 & 语义提炼"]
        RAW_S[原始 ASR 转录台词] --> POSR[POSR 词性规则提炼<br/>筛选名词/动词/形容词, 压入77 Token]
        RAW_A[原始音频轨] --> AST_ENC[AST 声学编码器]
    end

    subgraph REM_Block["REM 关系增强模块"]
        POSR --> RESAMP_S[Resampler 降维]
        AST_ENC --> RESAMP_A[Resampler 降维]
        RESAMP_S <-->|双向 Cross-Attention| RESAMP_A
    end

    subgraph MFSA_Block["MFSA 全模态软对齐"]
        TEACHER[ImageBind 预训练大模型<br/>充当教师生成跨模态先验矩阵]
        REM_Block -.-> MFSA_LOSS[计算 V-A, V-S, A-S 三对皮尔逊距离损失]
        TEACHER -.-> MFSA_LOSS
    end

    MFSA_Block --> FUSION["进入最终的门控逐步融合 (VAS / VSA)"]

1. POS Rules（词性提炼规则，POSR）

  • 背景痛点：Whisper 自动语音识别（ASR）吐出的台词又臭又长，充满虚词口癖，且 CLIP 文本端最大只能吞下 77 个 Token，直接硬截断会丢掉大量后半段的关键实体。
  • 解法：通过 spaCy 标注词性，设定保留优先级：专有名词/名词 > 动词 > 形容词 > 其他。无损压进 77 Token，在消融实验中为整体检索召回带来了 4.8 点的显著提升！

2. Relation Enhancement Module（同源关系增强，REM）

  • 背景痛点：声音和台词本质上是从同一根音频轨道里分流出来的。但在常规网络中，它们分别被送进 AST 和 Whisper，导致上下文关系割裂。
  • 解法：在进入融合层前，用轻量级的 Transformer Resampler 让音频和台词特征做一次双向交叉注意力（Bidirectional Attention），互通有无。

3. Multi-Feature Soft Alignment（多特征软对齐，MFSA）

  • 背景痛点：各模态特征空间分布不同，若直接粗暴融合容易造成特征冲突。
  • 解法：借助多模态全能大模型 ImageBind 作为指导老师，不仅拉齐（画面-声音），还同时把（画面-台词）和（声音-台词）三组配对全部对齐；损失函数采用强调相对排名的皮尔逊距离（Pearson Distance），而非绝对均方误差（MSE），深度契合搜索排名的本质需求。

05. 总结与架构落地思考

虽然这篇论文定位为偏重算法机理探究的学术论文，但其结论对工业界的工程团队构建音视频搜索、多模态 RAG 以及智能媒体资产库具有极其深远的指导意义：

思考维度 传统认知 论文带来的架构认知升级
融合架构选型 盲目堆叠多个 Cross-Attention 层或拼接向量 逐步门控融合（One-by-one Gated）在表达能力和梯度传播上显著更优
特征流水线顺序 随手按 V/A/S 写死处理链路 必须以 Query 类型为导向：用户拿什么搜，就把什么特征留到最后一层融合
应对脏数据/残缺模态 缺失特征直接填 0 盲跑 如果某模态缺失严重（如无声/无字幕），绝不能让它放在前面做中间过渡层
长字幕预处理 暴力截断前 N 个字符 基于词性分析（POS tagging）提取核心语义骨干，性价比极高

在“大模型堆叠参数”逐渐遭遇边际效应递减的今天，这篇论文提醒了我们：哪怕完全不增加参数量、不换更大的模型底座，单凭对信息流向与融合顺序的精妙编排，也能榨取出巨大的性能红利！