最近研读了发表在《Machine Intelligence Research》(MIR) 上的最新长视频理解论文《Training-free Dense Video Captioning with Large-scale Pretrained Models》(提出 FreeDVC 框架)。

对于从事后端或 AI 基础设施开发的软件工程师来说,视频理解一直是一个“门槛极高”的重算法领域:传统的密集视频字幕(Dense Video Captioning, DVC)往往需要动用海量经过人工精细打标(标注到秒级时间戳)的视频数据进行端到端微调,算力成本昂贵且极难泛化。

而 FreeDVC 最让人眼前一亮的地方在于它的 “纯工程解法”:不改动任何模型权重、完全无需特定任务训练(Training-free),而是将现成成熟的视觉、语音与语言大模型组合成高效的“多模型流水线”,并在跨领域的零样本(Zero-shot)任务中展现出了极强的表现。更重要的是,它为海量长视频资产的“细粒度特征提取与向量数据库结构化”提供了完美的落地范式。

论文题目:Training-free Dense Video Captioning with Large-scale Pretrained Models
作者团队:南京航空航天大学 (NUAA) 计算机科学与技术学院 / 人工智能学院 等
论文链接:https://www.mi-research.net/article/doi/10.1007/s11633-025-1585-x
发表期刊:Machine Intelligence Research (MIR 2026)

阅读全文 »

最近研读了一篇非常有启发性的多模态定位前沿论文《Think, Compress, Answer: Reinforcement Learning for Multimodal Grounding via Reasoning Compression》(简称 TCA)。

在当前大模型言必谈“长思维链(o1/R1 模式)”的浪潮下,这篇论文反其道而行之,敏锐地指出了视觉定位任务中的致命问题——“大模型想得越多,错得越离谱”。论文提出了一套“先发散思考、再极简提炼、后精准定位”的框架,配合四阶段轻量级强化学习,在完全不改变模型骨干的情况下大幅刷新了图像与视频指代分割的 SOTA。在此整理一篇通俗而系统的分享笔记,记录核心洞见与工程实现细节。

论文题目:Think, Compress, Answer: Reinforcement Learning for Multimodal Grounding via Reasoning Compression
作者团队:延世大学 (Yonsei University) 等
论文链接:https://arxiv.org/abs/2610.25640
Papers.cool:https://papers.cool/arxiv/2610.25640

阅读全文 »

最近研读了中科院自动化所(CASIA)与快手可灵大模型团队(Kling Team)联合发布的最新长视频理解论文《PIGEONS: Incremental Long-Video Captioning with Persistent Identity Gallery and Evolving Overarching Narrative Summary》。

对于从事技术但非算法背景的工程师来说,长视频理解(Video Captioning)看起来只是“让多模态大模型多读几张图”,但实际深入后会发现,长程视频在 主体指代一致性(认准人)和长程叙事连贯性(讲对事) 上面临着极其严峻的工程与算法挑战。本文从工业落地和技术原理的角度,梳理这篇论文的核心突破与思考。

论文题目:PIGEONS: Incremental Long-Video Captioning with Persistent Identity Gallery and Evolving Overarching Narrative Summary
作者团队:中科院自动化所 (CASIA)、中国科学院大学、快手可灵团队 (Kling Team)、香港科技大学、北京大学、南京大学
论文链接:https://arxiv.org/abs/2610.16066
项目主页:https://pigeons-captioner.github.io/

阅读全文 »

最近看了一下 NeurIPS 2026 录用的一篇论文《EventLens: Event-Structure Reinforcement Learning for Video Understanding》,顺手整理了一篇阅读笔记给自己做个归档与复盘。文章梳理了视频大模型在时序理解上的真实痛点,并记录了 EventLens 基于视觉线索的强化学习设计、零标注成本的规则打分机制,以及两阶段多导师同策略在线蒸馏(MT-OPD)架构和工程落地细节。

论文题目:EventLens: Event-Structure Reinforcement Learning for Video Understanding
作者团队:中国人民大学高瓴人工智能学院 (AIM3 Lab) & 快手可灵AI (Kling AI)
论文链接:https://arxiv.org/abs/2610.16172
项目主页:https://lostgreen.github.io/EventLens/

阅读全文 »

在多模态视频理解与智能检索领域,我们长期面临一个看似简单却极难解决的痛点:传统的视频 AI 只能粗略看懂“整段视频大概发生了什么”,却根本看不懂“视频里具体哪个人/哪辆车做了一套什么动作”。

如果你向传统视频大模型搜索:“十字路口有汽车在开”,它能轻松搜出来;但如果你搜索:“那辆突然左转并变道加塞的白色 SUV”,传统模型就会立刻抓瞎——因为在传统的“全局向量(Global Embedding)”里,画面里所有的行人、车辆和背景动态都被强行压缩、乱炖成了一锅粥。

近期由中国电信星辰大模型实验室(Xingchen AGI Lab / TeleAI)与北京大学等团队发表的前沿论文 《VTrajEmbed: Aligning Text with Video Object Trajectories via Spatiotemporal Embeddings》(arXiv:2610.22842),正式打破了这一僵局。该方案将视频解构为独立的**“对象时空轨迹(Object Trajectories)”**,并实现了自然语言与连续运动轨迹之间的精准对齐。

更重要的是,这套方案的可工程落地性极高。本文将结合系统架构拆解、底层改造原理、向量数据库实战范式以及在单卡消费级显卡(如 RTX 3080 Ti 12GB)上的自主可控低成本复现指南,为你全景盘点这篇论文的硬核干货。

论文题目:VTrajEmbed: Aligning Text with Video Object Trajectories via Spatiotemporal Embeddings
作者团队:中国电信星辰大模型实验室 (Xingchen AGI Lab / China Telecom)、北京大学等
论文链接:https://arxiv.org/abs/2610.22842

阅读全文 »
0%