Lewlh's blog

在多模态视频理解领域，时序视频定位（Temporal Video Grounding, TVG） 是一个非常经典但也极具挑战的刚需场景：输入一段动辄数分钟乃至数小时的未剪辑长视频，并附带一句自然语言（如 “找到男主角打翻水杯的瞬间”），算法需要精确输出事件发生的起止时间戳（Start & End Timestamps）。

随着 Qwen2.5-VL 等开源多模态大模型与 DeepSeek-R1 式强化学习（RL）的爆火，近期行业主流纷纷采用强化学习直接优化时间重叠度（IoU）奖励。然而，华南理工大学与字节跳动团队在被 ICLR 2026 录用的前沿论文《Invert4TVG》中揭示了一个被大众忽视的致命陷阱——纯粹刷时间指标会让大模型退化成“不辨动作的应试做题家”。

本文从系统架构、工程落地与实操成本等视角，对这篇论文的核心突破与工业思考进行系统梳理。

论文题目：Invert4TVG: A Temporal Video Grounding Framework with Inversion Tasks Preserving Action Understanding Ability
作者团队：华南理工大学 (SCUT)、字节跳动 (ByteDance)、广东省人工智能与数字经济实验室 (SZ)
论文链接：https://arxiv.org/abs/2508.07388
收录会议：ICLR 2026

最近研读了发表在《Machine Intelligence Research》(MIR) 上的最新长视频理解论文《Training-free Dense Video Captioning with Large-scale Pretrained Models》（提出 FreeDVC 框架）。

对于从事后端或 AI 基础设施开发的软件工程师来说，视频理解一直是一个“门槛极高”的重算法领域：传统的密集视频字幕（Dense Video Captioning, DVC）往往需要动用海量经过人工精细打标（标注到秒级时间戳）的视频数据进行端到端微调，算力成本昂贵且极难泛化。

而 FreeDVC 最让人眼前一亮的地方在于它的 “纯工程解法”：不改动任何模型权重、完全无需特定任务训练（Training-free），而是将现成成熟的视觉、语音与语言大模型组合成高效的“多模型流水线”，并在跨领域的零样本（Zero-shot）任务中展现出了极强的表现。更重要的是，它为海量长视频资产的“细粒度特征提取与向量数据库结构化”提供了完美的落地范式。

论文题目：Training-free Dense Video Captioning with Large-scale Pretrained Models
作者团队：南京航空航天大学 (NUAA) 计算机科学与技术学院 / 人工智能学院 等
论文链接：https://www.mi-research.net/article/doi/10.1007/s11633-025-1585-x
发表期刊：Machine Intelligence Research (MIR 2026)

最近研读了一篇非常有启发性的多模态定位前沿论文《Think, Compress, Answer: Reinforcement Learning for Multimodal Grounding via Reasoning Compression》（简称 TCA）。

在当前大模型言必谈“长思维链（o1/R1 模式）”的浪潮下，这篇论文反其道而行之，敏锐地指出了视觉定位任务中的致命问题——“大模型想得越多，错得越离谱”。论文提出了一套“先发散思考、再极简提炼、后精准定位”的框架，配合四阶段轻量级强化学习，在完全不改变模型骨干的情况下大幅刷新了图像与视频指代分割的 SOTA。在此整理一篇通俗而系统的分享笔记，记录核心洞见与工程实现细节。

论文题目：Think, Compress, Answer: Reinforcement Learning for Multimodal Grounding via Reasoning Compression
作者团队：延世大学 (Yonsei University) 等
论文链接：https://arxiv.org/abs/2610.25640
Papers.cool：https://papers.cool/arxiv/2610.25640

最近研读了中科院自动化所（CASIA）与快手可灵大模型团队（Kling Team）联合发布的最新长视频理解论文《PIGEONS: Incremental Long-Video Captioning with Persistent Identity Gallery and Evolving Overarching Narrative Summary》。

对于从事技术但非算法背景的工程师来说，长视频理解（Video Captioning）看起来只是“让多模态大模型多读几张图”，但实际深入后会发现，长程视频在 主体指代一致性（认准人）和长程叙事连贯性（讲对事） 上面临着极其严峻的工程与算法挑战。本文从工业落地和技术原理的角度，梳理这篇论文的核心突破与思考。

论文题目：PIGEONS: Incremental Long-Video Captioning with Persistent Identity Gallery and Evolving Overarching Narrative Summary
作者团队：中科院自动化所 (CASIA)、中国科学院大学、快手可灵团队 (Kling Team)、香港科技大学、北京大学、南京大学
论文链接：https://arxiv.org/abs/2610.16066
项目主页：https://pigeons-captioner.github.io/

最近看了一下 NeurIPS 2026 录用的一篇论文《EventLens: Event-Structure Reinforcement Learning for Video Understanding》，顺手整理了一篇阅读笔记给自己做个归档与复盘。文章梳理了视频大模型在时序理解上的真实痛点，并记录了 EventLens 基于视觉线索的强化学习设计、零标注成本的规则打分机制，以及两阶段多导师同策略在线蒸馏（MT-OPD）架构和工程落地细节。

论文题目：EventLens: Event-Structure Reinforcement Learning for Video Understanding
作者团队：中国人民大学高瓴人工智能学院 (AIM3 Lab) & 快手可灵AI (Kling AI)
论文链接：https://arxiv.org/abs/2610.16172
项目主页：https://lostgreen.github.io/EventLens/