Lewlh's blog

在多模态视频理解领域，有一项非常经典的底层任务叫 Video Captioning（视频描述生成）：让 AI 看完一段视频，输出一段语言总结视频里发生了什么。

然而在面对软件 UI 交互、数据图表变化、2D 游戏等高精度动态视频时，我们常常撞上一堵坚硬的墙：自然语言太模糊、太冗长，且天生缺乏数学和物理时钟感。 你费尽口舌写了上千字“小球以微小的加速度向右滚动并在触碰边界时反弹”，另一台计算机依然无法分秒不差地将其无损复原。

近期，由 南京大学与快手可灵大模型团队（Kling AI） 联合清华、交大、北大等多家机构，在 arXiv 上发布了一项极具脑洞的前沿工作——《CodeCap-Bench: Can Code Serve as a Good Video Caption?》，首次系统性地探讨了这一颠覆性命题：

“代码即视频描述（Code as Video Caption）：与其用冗长模糊的自然语言描述 2D 动效，不如让 AI 直接手写一段能够跑通渲染的 HTML5 / Canvas / JavaScript 前端代码；代码自带严谨的图形基元与连续时间函数 $f(t)$，不仅重构保真度更高、下游问答推理更准，还能分秒不差地重现视频！”

在这篇博客中，我们不仅会深入拆解 CodeCap-Bench 的数据集构成、多级评分体系与各大前沿大模型的真实测评战况，还会结合工业落地与系统工程的深度思辨，直面该方案在模型调用成本、计算管线重量、以及代码资产大规模检索建库等方面的现实瓶颈，并剖析可灵团队背后真正瞄准的“数据金矿”。

论文题目：CodeCap-Bench: Can Code Serve as a Good Video Caption?
作者团队：Jiafu Tang, Yifan Xu, Eric Tang, Junjie Zhao, Shipeng Luo, Pengfei Wan, Jiaheng Liu 等 (南京大学, 快手可灵 Kling AI, 天津大学, 上海交通大学, 中科院自动化所, 北京大学)
论文链接：https://arxiv.org/abs/2610.37341
arXiv HTML：https://arxiv.org/html/2610.37341

在我们之前对 Yogesh Kumar 博士论文三部曲的研读中：

• 第一篇 《QDETRv》 解决了 “Where（它在哪儿）” —— 用时序记忆矩阵让 AI 在长视频中死咬住未知物体；
• 第二篇 《Few-Shot RRV》 解决了 “How（怎么互动）” —— 用时空随机场看清主宾之间的动态动作因果。

今天，我们终于迎来了整套体系的终极压轴之作 —— 解决“When（关键事件在时间轴的几分几秒发生）”！

这篇发表于顶级计算机视觉会议 ICCV 2025 的前沿论文 —— 《Aligning Moments in Time using Video Queries》（提出了大名鼎鼎的 MATR 架构，即 Moment Alignment Transformer），彻底颠覆了传统的以文搜视频范式：

“无需苍白的文字提示，直接甩给 AI 一段 5 秒的短视频（Video Query），利用可微动态时间规整（Soft-DTW）拉齐时间快慢，在数小时的长视频甚至全网海量视频库中，秒级锁定相同动作或战术发生的起止时间戳（精确到 0.1 秒）！”

更让软件工程师兴奋的是：这项研究与现代软件工程中的“读写分离（CQRS）”以及我们之前探讨的 MyScaleDB 向量数据库 可以产生极其强悍的生产级工业联动！

在这篇博客中，我们将彻底拆解 MATR 的数学原理、PyTorch 代码实现，并结合软件架构视角，给出 “向量数据库海量粗筛 + MATR 时序弹性精排” 的万小时视频检索全套落地架构。

论文题目：Aligning Moments in Time using Video Queries
作者团队：Yogesh Kumar, Uday Agarwal, Manish Gupta, Anand Mishra (IIT Jodhpur, Microsoft)
收录会议：ICCV 2025 (IEEE/CVF International Conference on Computer Vision)
论文链接：https://openaccess.thecvf.com/content/ICCV2025/html/Kumar_Aligning_Moments_in_Time_using_Video_Queries_ICCV_2025_paper.html
博士毕业论文汇总 (arXiv)：https://arxiv.org/abs/2610.21422 (Chapter 4 / Survey)
arXiv HTML 预览：https://arxiv.org/html/2610.21422v1
开源代码库：https://github.com/vl2g/MATR
核心领域：Video-to-Video Moment Retrieval (Vid2VidMR), Temporal Grounding, Differentiable DTW, Action Spotting
技术亮点：可微软动态时间规整 (Soft-DTW)、双阶段序列对齐 (Dual-Stage Alignment)、自监督时序增广预训练

在真实世界的计算机视觉应用中，我们经常会遇到这样一类近乎苛刻的需求：

“失主在游乐园丢了一款极其罕见的定制公仔，手机里只有一张随手拍的正面特写。能否让 AI 在园区长达数小时的全景监控录像中，把这个公仔出现的所有时间片段和具体空间位置全部抓捕出来？”

面对这种 “单样本目标定位（One-Shot Object Localization）” 任务，工业界传统的目标检测算法（如 YOLO、Faster R-CNN）几乎全军覆没：

1. 闭集死记硬背（Closed-Set Dilemma）：模型只认识训练集标注过的几十种常见物体（人、车、狗等），遇到没见过的长尾罕见物品直接沦为“功能盲”；
2. 时序失忆与闪烁（Temporal Amnesia）：若采用单帧独立匹配，物体一旦发生 180 度大转身（露出从未见过的背面），或者被树木、立柱遮挡 1 秒钟，算法立刻跟丢，轨迹彻底碎裂；
3. 数据标注贵到破产（Annotation Scarcity）：在视频中为目标逐帧标注连续时空包围盒，成本是静态图片的成百上千倍。

在人工智能顶级学术会议 AAAI 2024 上，来自印度理工学院与埃森哲实验室（Accenture Labs）的联合研究团队发表了重磅突破论文 —— 《QDETRv: Query-Guided DETR for One-Shot Object Localization in Videos》。

论文不仅巧妙将静态检测神器 DETR（Detection Transformer）改造为具备“时空雷达”的视频跟踪架构，更开创性地提出了 “循环对象查询记忆矩阵（Recurrent Memory）” 与 “合成轨迹自监督预训练（Synthetic Object Trajectories）” 两大杀手锏。

[!IMPORTANT]
站在 2026 年的前沿视角审视：这项研究最具前瞻性的地方在于，它所确立的 “利用 Memory 缓存跨时序解决遮挡与形变” 以及 “利用合成轨迹克服视频无标注难题” 的工程范式，与后续 Meta 轰动全球的现象级模型 SAM 2（Segment Anything Model 2） 的底层流式记忆架构（Streaming Memory Bank）形成了惊人的一致与深远的技术呼应！

在这篇博客中，我们将彻底拆解 QDETRv 的数学推导、模型机械架构实现细节，并深度对比它与 Meta SAM 2 之间的技术血脉演进。

论文题目：QDETRv: Query-Guided DETR for One-Shot Object Localization in Videos
作者团队：Yogesh Kumar, Saswat Subhajyoti Mallick, Anand Mishra, Sowmya Rasipuram, Anutosh Maitra, Roshni Ramnani (IIT Jodhpur, Accenture Labs)
收录会议：AAAI 2024 (Association for the Advancement of Artificial Intelligence)
论文链接：https://doi.org/10.1609/aaai.v38i3.28063
博士毕业论文汇总 (arXiv)：https://arxiv.org/abs/2610.21422 (Chapter 2 / Survey)
arXiv HTML 预览：https://arxiv.org/html/2610.21422v1
开源代码库：https://github.com/yogesh-iitj/QDETRV
核心领域：One-Shot Object Localization, Video Object Detection, Video Tracking, DEtection TRansformer
技术亮点：Query-Context 特征融合 (QCF)、循环时序记忆矩阵 (Recurrent Memory)、合成轨迹自监督预训练 (SOT)

在我们之前分享的 【论文分享】告别“近视眼”：对比场景图（Contrastive Scene Graphs）如何用数学与结构重塑多模态认知？ 中，我们深入探讨了如何利用图结构与对比学习治愈大模型在 2D 静态图片上的“关系盲”，让模型分清到底是谁压在谁身上。

但现实世界并不是一张张静止的切片，而是一条奔流不息的时间长河。当我们将目光投向动态视频时，一个更为严峻的认知鸿沟横亘在面前：

给 AI 输入一段长视频并询问：“穿红衣服的骑手跃过栅栏的动作发生在哪里？”

• 传统目标检测与大模型可以轻松框出画面里的“人”、“马”和“栅栏”；
• 但只要画面里有多匹马、多个骑手，或者发生动作的瞬间只有短短几秒，模型就会彻底陷入“时空迷失”——它分不清到底哪个人和哪匹马正在完成“跃过”动作，更无法在几百帧的连续画面中稳定咬住这一对交互轨迹。

更致命的是，现实世界中的动态交互千奇百怪，视频标注成本是图片的成百上千倍，我们根本不可能提前为每一种冷门动作收集成千上万条带时空标注的训练视频。

在计算机视觉顶会 CVPR 2023 上，来自印度理工学院（IIT Jodhpur）的研究团队发表了一篇极具开创性的重磅论文 —— 《Few-Shot Referring Relationships in Videos》。论文提出了一套优雅而强大的数学图模型框架：

“无需海量标注，仅凭 2~3 个参考演示视频（Few-Shot），借助 $T$-分部随机场（$T$-partite Random Field）与置信度传播（Belief Propagation）算法，就能在充满干扰的长视频中，精确提取出罕见动态交互的完整时空时序管道（Spatio-Temporal Tubelets）！”

在这篇博客中，我们将用最通俗易懂的语言，彻底拆解这篇论文背后的数学原理、图模型推导、四大核心机械架构与元学习工程落地。

论文题目：Few-Shot Referring Relationships in Videos
作者团队：Yogesh Kumar, Anand Mishra (印度理工学院焦特布尔分校 IIT Jodhpur)
收录会议：CVPR 2023 (IEEE/CVF Conference on Computer Vision and Pattern Recognition)
论文链接：https://openaccess.thecvf.com/content/CVPR2023/html/Kumar_Few-Shot_Referring_Relationships_in_Videos_CVPR_2023_paper.html
博士毕业论文汇总 (arXiv)：https://arxiv.org/abs/2610.21422 (Chapter 3 / Survey)
arXiv HTML 预览：https://arxiv.org/html/2610.21422v1
开源代码库：https://github.com/vl2g/RefRelations
核心领域：Video Understanding, Visual Relationship Grounding, Few-Shot Learning, Spatio-Temporal Modeling
技术亮点：$T$-partite 随机场时空建模、查询条件平移嵌入 (TransE)、全局/局部双重语义聚合 (GSA/LLA)、置信度传播 (Belief Propagation)

在抖音、快手等现代短视频平台中，一个视频天然蕴含着三种感官线索：视觉画面（Visual）、环境背景音（Acoustic） 以及 语音台词（Speech transcript）。为了让用户能够精准搜到想要的视频，多模态检索算法需要把这三路信息融合成一个高维向量。

过去几年，学术界和工业界的大部分精力都放在了“大力出奇迹”上——换更大的基础模型、抽取更精细的特征、对齐更多的模态。但在最终把视觉、声音和台词组合在一起时，大家的做法却非常粗糙：要么 “一股脑全混在一起（Stacked Fusion）”，要么 “随便选个顺序挨个叠（Progressive Fusion）”。

近日发表在 arXiv 上的前沿论文 《When Fusion Order Matters: Insights on Progressive Multimodal Representation Learning for Cross-modal Retrieval》（arXiv:2610.35125）提出了一个极具颠覆性的灵魂拷问：

在多模态融合时，特征进入的先后顺序到底有没有讲究？先融声音还是先融台词，做出来的模型表现能一样吗？

论文作者通过严格的对照试验给出了确凿的答案：融合顺序不仅有关系，而且对最终的检索准确率有着决定性影响！更绝的是，作者总结出了指导顺序选择的 “两大黄金法则”，并成功预测了文本搜视频、音频搜视频、以图搜视频的最佳融合路线。

论文题目：When Fusion Order Matters: Insights on Progressive Multimodal Representation Learning for Cross-modal Retrieval
作者团队：Haoxiang Zhao, Bin Wang, Yaofei Wang, Xiao Lan, Yunfeng Diao, Xu Wang
论文链接：https://arxiv.org/abs/2610.35125
HTML 预览：https://arxiv.org/html/2610.35125