【论文分享】长视频切片如何破局?亚马逊新作 Scene-VLM:基于多模态大模型与上下文滑窗重构视频场景分割
在长视频处理(如电影、电视剧、纪录片)与流媒体工程中,视频场景分割(Video Scene Segmentation) 是一项基础且关键的技术。无论是智能生成视频精彩章节、精细化定位广告插播点、人机协同内容审核,还是按情景检索视频资产,系统都需要把长达数小时的连续视频切分为若干个语义完整、叙事独立的故事单元(Scene)。
然而,传统的算法流水线在工业落地中一直面临难以克服的工程瓶颈与准确率瓶颈:
- 视觉偏见与过度切分(Visual-Centric Bias):传统方法重度依赖画面特征(如机位切换、光流、特征向量距离)。当男女主角在咖啡厅来回正反打切镜头时,背景画面剧烈跳变,老算法极易“误切”,无法感知到台词和对话逻辑依然完全连续。
- 孤立打标与缺乏因果依赖(Shot in Isolation):将每个镜头(Shot)割裂开来独立做二分类,缺乏全局时序叙事上下文,导致边界判决忽左忽右。
- 黑盒判决与零解释性(Lack of Explainability):传统分类模型只吐出一个 0 或 1,遇到误切或漏切,业务审核与排障人员无从得知判决依据,难以建立人机协同(Human-in-the-Loop)工作流。
针对这些顽疾,来自亚马逊(Amazon Prime Video)与特拉维夫大学等机构在 CVPR 上提出了全新范式:
《Scene-VLM: Multimodal Video Scene Segmentation via Vision-Language Models》 (arXiv:2512.21778)
论文链接:https://arxiv.org/abs/2512.21778
HTML 格式:https://arxiv.org/html/2512.21778
核心关键词:视频场景分割、多模态大模型、上下文-焦点窗口、Qwen2.5-VL、LoRA 微调、可解释性
作者团队打破了堆叠专用小模型的传统路线,将视频场景分割重塑为 “多模态时序滑动窗口推理 + 因果自回归生成”。在权威基准 MovieNet 上,Scene-VLM 实现了断层式性能跨越,AP 提升 +6.0,F1 暴涨 +13.7%,为多模态大模型重构多媒体长视频工程提供了极具参考价值的范式。