【论文分享】如何让大模型看懂10分钟长视频？中科院&可灵团队 PIGEONS 论文解析

发表于 2026-10-26 阅读次数：本文字数： 2.7k 阅读时长 ≈ 10 分钟

最近研读了中科院自动化所（CASIA）与快手可灵大模型团队（Kling Team）联合发布的最新长视频理解论文《PIGEONS: Incremental Long-Video Captioning with Persistent Identity Gallery and Evolving Overarching Narrative Summary》。

对于从事技术但非算法背景的工程师来说，长视频理解（Video Captioning）看起来只是“让多模态大模型多读几张图”，但实际深入后会发现，长程视频在**主体指代一致性（认准人）和长程叙事连贯性（讲对事）**上面临着极其严峻的工程与算法挑战。本文从工业落地和技术原理的角度，梳理这篇论文的核心突破与思考。

论文题目：PIGEONS: Incremental Long-Video Captioning with Persistent Identity Gallery and Evolving Overarching Narrative Summary
作者团队：中科院自动化所 (CASIA)、中国科学院大学、快手可灵团队 (Kling Team)、香港科技大学、北京大学、南京大学
论文链接：https://arxiv.org/abs/2610.16066
项目主页：https://pigeons-captioner.github.io/

01. 行业痛点：长视频解说的“失忆症”与“胡言乱语”

在多模态大模型（MLLM）领域，短视频（几秒到几十秒）的画面解说和字幕生成技术已经相对成熟。然而，当视频长度延伸至 5 分钟、10 分钟乃至更长时，当前主流方案会迅速撞上上下文窗口（Context Window）的物理天花板。

目前的权宜之计通常是**“分段切片（Segment-wise），各写各的，最后拼接（Concat）”**。但这立刻引发了两个致命缺陷：

1. 人脸失忆与称呼崩溃（主体指代不一致）

同一个男主角，在片段 1 里穿着深色西装，模型称他为“穿西装的男人”；到了片段 2 他在室内脱了外套，模型叫他“穿红短袖的男子”；到了片段 3，模型又改口称他为“灰衬衫青年”。

对于视频问答/检索：下游的大模型智能体根据这段解说做推理时，根本不知道这三个人其实是同一个人，人物关系完全乱套。
对于视频重建/生成：如果拿着这段解说去调用文生视频模型（如 Sora、可灵），生成的角色长相会频繁坍塌、彻底变样。

2. 盲人摸象与叙事割裂（缺乏长程因果连贯）

由于每个小片段是孤立生成的，模型缺乏前因后果的记忆：

容易忽视既定事实，把因果关联的情节写成孤立动作；
每一段都在喋喋不休地重新介绍已经登场过的场景与人物；
如果把过去所有段落的解说全部塞进上下文（Prompt），几分钟后文字量就会爆炸，带来极高的推理开销与信息干扰。

02. PIGEONS 的破局之道：两大法宝解耦长程记忆

针对上述困境，PIGEONS（意为“信鸽”，象征信息的精准传递）提出了一套增量式长视频理解架构。其核心哲学是：不把所有历史视频和文本死磕塞进单一上下文，而是把记忆提炼解耦成两部分——“固定的花名册”与“演进的故事本”。

【第一遍扫描：构建全局锚点】
全片切片扫描 ──► 候选观察名单 ──(关键情节累计≥4次)──► 固化全局人物图库 (Persistent Identity Gallery)
                                                                 │
═════════════════════════════════════════════════════════════════╪═════════════════════════════════
【第二遍扫描：增量式写解说】                                      │ (作为固定视觉 Prompt)
                                                                 ▼
当前片段 vk  +  上一段解说 ck-1  +  故事笔记本 sk-1  +  【人物图库 G_I】 
      │
      ▼ (多模态模型单次前向推理)
当前段落解说 ck (精准指代、人物不乱)  +  更新后的四维故事笔记本 sk

法宝 1：持久主体图库（Persistent Identity Gallery）

事前扫描建档：在正式撰写解说前，模型先全片快速巡检一次，寻找推动故事发展的核心角色。
候补晋升机制：前期偶尔露面的角色先记入“候选名单（Candidate Gallery）”，一旦其参与的关键事件累计达到阈值（实验设定为 4 次），自动晋升进入正式图库。
视觉参考锚点：正式图库固化后，包含每个主角的唯一标识符（如 Man A、Woman A）以及一张经过精细抠图的高清人脸/主体参考照片。在后续整个解说生成流程中，该图库全程固定，作为模型“认人”的物理视觉基准。

法宝 2：动态演进的故事笔记本（Evolving Overarching Narrative Summary）

模型拒绝机械堆积历史冗长解说，而是在每写完一个切片后，将全局剧情压缩在四大核心维度中：

已有场景（Existing Scenes）：发生过情节的地点、光线、环境；
人物关系（Character Relationships）：显式确立的社会关系（如父女、同事、雇主与保姆）；
主体角色（Subject Roles）：主角的社会职业与功能定位；
已确立事实（Established Facts）：推进后续情节必需的核心剧情共识。

写下一个切片时，模型同时输入：人物图库 + 四维故事笔记本 + 紧邻上一小段解说。既保证了主角不认错、大局不走样，又保证了相邻镜头文字过渡的自然顺畅。

03. 算法与训练架构：三阶段精细调优

将通用多模态大模型（以 Qwen3-Omni-Instruct 为底座）特训出上述能力，作者团队设计了循序渐进的三阶段训练策略：

flowchart LR
    A["Stage 1: 图库构建 SFT<br/>(16K 样本，自查纠错)"] --> B["Stage 2: 图库强化学习 RL<br/>(GSPO，精度+效率双奖励)"] --> C["Stage 3: 解说生成 SFT<br/>(16K 长视频混合多上下文)"]

Stage 1: 图库构建监督微调（IG-SFT）：
- 训练模型从视频中定位主体，输出代表性时间戳与检测框（Bounding Box），并内嵌“自查与微调”指令，让模型学会自我评估所截图片的质量。
Stage 2: 图库强化学习（IG-RL）：
- 痛点：时间戳和坐标 Token 在大模型文本输出中占比不足 4%，普通有监督训练容易被大量描述文字稀释，导致“画框不准”。
- 解法：采用序列级强化学习算法（GSPO），引入两大目标奖励函数：
  - 准确度奖励 $R_{acc}$ ：后台调用 ArcFace（人脸特征）和 DINOv3（非人脸物体特征），结合匈牙利二分图匹配算法打分，逼大模型截出最具辨识度的参考图；
  - 效率奖励 $R_{eff}$ ：对过度的自省迭代轮数施加惩罚，避免模型陷入无休止的“反复纠结修改”。
Stage 3: 解说生成监督微调（Cap-SFT）：
- 结合多上下文输入训练长程解说与摘要更新能力。为避免大模型发生灾难性遗忘，本阶段按比例回流混入了阶段一的图库构建样本。

04. 实验效果：字数减半，干货翻倍

在覆盖几秒到 10 分钟以上的基准评测集（CapRiCorn-1K、WorldSense、UGC-VideoCap）上，PIGEONS 展现出显著优势：

指标全面领先：在 CapRiCorn-1K 上，PIGEONS 的综合准确率（Acc）、覆盖度（Cov）和主体一致性（Ref）全面超越开源及闭源大模型（包括 Gemini-3.1-Pro、Gemini-3-Flash）。
主体一致性跃升：在 8~10 分钟超长视频上，主流开源模型的主体一致性通常只有个位数（0.1~4.0），而 PIGEONS 稳定保持在 50.5 以上，彻底解决了“换个衣服就叫错人”的问题。
高信息密度：与之前的 SOTA 模型 AVoCaDO 相比，PIGEONS 在取得更高准确度与召回率的同时，平均文本长度缩减了超过一半（从 3025 字压缩至 1271 字），剔除了大量前后重复的套话。

05. 深度思考与架构讨论

研读这篇论文时，有几个非常有价值的底层工程与学术问题值得深究：

1. 为什么不采用“轻量 CNN + 人脸识别”的小模型流水线？

直觉上，用 YOLO 检测人脸、用 ReID 聚类、生成 Prompt 告诉大模型人数，成本似乎更低。但在复杂真实视频中，这种传统流水线存在四大暗坑：

级联误差放大：小模型一旦在侧脸、暗光处将 ID 判错，传递给 LLM 的文本就是错的，LLM 自身无法反向纠正；
换装与遮挡灾难：传统 ReID 严重依赖衣服色彩，电影主角频繁换装会导致 ID 剧烈漂移；
非人主体无力：影视中推动剧情的可能是宠物、特定车辆或关键道具，传统 CNN 无法通用覆盖；
语言失真：纯文本的“黑发中年西装男”存在严重歧义，远不如一张直观的 200×200 高清切片贴在 Prompt 里的锚定效果好。

2. 为什么非要“先跑一遍建库，再跑一遍写文”？

在附录 C.1 中，作者通过严密的数学证明解答了这个问题：如果采用“边读片段边更新图库边写文”的在线方式，一旦第 8 分钟的一个路人在第 9 分钟“转正”成为核心大反派，系统将被迫回溯重写前面 8 分钟的所有解说。这种回溯重算的计算开销呈 $O(N^2)$ （二次方爆炸）；而先整体建库再流水线生成的开销是严格的 $O(N)$ （线性增长）。

3. 数据闭环与模型蒸馏范式

论文 16,000 个视频的高质量训练集，完全是通过 Gemini-3.1-Pro 生成 + GPT-5.5 严格质检过滤 的自动化流水线产出的。这种“顶尖商用闭源大模型互相对抗清洗，产出高净值垂直数据训练专有开源模型”的模式，正成为当前多模态应用落地的黄金标准。

06. 总结与展望

PIGEONS 提供了一个极为优雅的工程范式：面对超长时序多模态输入，解决上下文限制的最佳手段往往不是一味扩充显存去堆叠窗口，而是对核心认知要素进行精准抽象与解耦。

通过将“演职员表（图库）”与“剧情速记本（四维摘要）”作为紧凑的跨上下文接力棒，PIGEONS 成功让大模型在极低的计算负荷下，实现了长达 10 分钟以上连贯、细腻、角色不失忆的高质量视频理解。这不仅为视频解说、智能剪辑提供了关键技术支柱，也为下一代长视频生成模型的预训练数据处理铺平了道路。