在多模态检索增强生成(Multimodal RAG)与图文检索领域,基于视觉语言大模型的 视觉文档检索(Visual Document Retrieval, 如 ColPali) 彻底颠覆了传统的“OCR 提取文字 + 文本分块”模式。它直接把 PDF 页面当成高分辨率图片,输入视觉大模型切片成上千个细粒度 Patch 向量,通过晚期交互(Late Interaction / MaxSim)直接对齐复杂的排版、表格和图表,检索准确率达到全新高度。

然而,在学术成果走向工业落地的第一天,软件架构师们就被迎面而来的工程噩梦拦住了去路:极其恐怖的存储与显存开销。一页文档就需要保存约 1024 个高维向量,100 万页文档意味着要在向量数据库中常驻 10 亿个向量,单机内存根本无法承载,甚至会直接把云端向量数据库的账单打爆。

近日,来自阿卜杜拉国王科技大学(KAUST)与 Edge Hill University 的研究团队在 arXiv 上发表了一篇极具工程洞察力和落地价值的论文:

《Generative Late-Interaction Embeddings For Visual Document Retrieval》 (arXiv:2609.11808, 2026)

论文提出了 GLIE(生成式晚期交互嵌入) 框架。研究团队通过微分几何分析发现:虽然页面有上千个切片向量,但其本质自由度(内在维度)极低。基于此,GLIE 提出了 “存几枚骨架锚点,现场按需超分辨率还原” 的全新范式——每页仅存 4 到 16 个代码向量(存储缩减 98% ~ 99.6%),在仅有 415K 参数的极轻量网络驱动下,召回候选后动态还原出 1024 个向量做精排,保留了原本模型 80% 以上的高保真精度!

论文题目:Generative Late-Interaction Embeddings For Visual Document Retrieval
作者团队:Mohamed Eltahir, Talal Aloushan, Rose Khairoalsendi, Jana Shata, Mohammed Alhassan, Leen Alrehaili, Tanveer Hussain, Naeemullah Khan (KAUST, Edge Hill University)
论文链接:https://arxiv.org/abs/2609.11808
开源代码:https://github.com/mohammad2012191/GLIE
核心领域:Visual Document Retrieval (VDR), Multimodal RAG, Late Interaction, ColPali, Vector Compression, Video Search

阅读全文 »

在多模态大模型(MLLM)加速席卷计算机视觉的今天,视频理解(Video Understanding) 正逐渐从传统的离线短视频分类、单帧问答,走向更具工业价值的 长视频结构化解析(Long-form Video)与实时在线流式交互(Streaming Video)。

然而,对于关注系统吞吐、显存开销与工程落地的软件与架构工程师而言,现有主流多模态方案(如基于 2D ViT 拼接的大模型)普遍面临极其沉重的 “时空冗余与算力墙困境”:

  1. Token 维度爆炸:连续视频帧之间存在 80% 以上的高频背景冗余,但传统图像分词器(Image Tokenizer)只做孤立编码,将上万个视觉 Token 粗暴塞入大语言模型(LLM),导致 O(N2)O(N^2) 的自注意力计算使显存迅速 OOM、首字时延(TTFT)难以忍受;
  2. 时序建模滞后:时间维度的交互被推迟到最昂贵的 LLM 层,把宝贵的推理算力浪费在低级运动感知上;
  3. 实时流式场景失衡:面对持续推流的摄像头或在线视频流,缺乏自适应机制,全量高分辨率推理成本高昂,固定低分辨率又丢失细微动作与文字线索;
  4. 开源生态不完整:许多所谓开源模型仅开放权重,核心训练代码、配方和高质量数据集依然闭源。

针对这一系列痛点,南京大学王利民教授团队联合上海人工智能实验室、南洋理工大学及北京大学等机构,推出了全新的全栈开源视频大模型:《VideoChat3: Fully Open Video MLLM for Efficient and Generalist Video Understanding》。该模型仅用 4B 参数量级,不仅在长视频与细粒度时序定位(Temporal Grounding)任务上跨级超越了众多 7B/8B 乃至千亿级巨模,更从底层架构与数据工程上为工业界提供了一套极具启发性的高吞吐、低延迟解决方案。

论文题目:VideoChat3: Fully Open Video MLLM for Efficient and Generalist Video Understanding
论文链接:https://arxiv.org/abs/2607.14935
HTML 格式:https://arxiv.org/html/2607.14935v1
代码仓库:https://github.com/MCG-NJU/VideoChat3
模型权重与数据集:https://huggingface.co/collections/MCG-NJU/videochat3

阅读全文 »

在多模态视频大模型(Video-LLM)领域,长视频理解(从 10 分钟到 2 小时)一直是一块极其难啃的硬骨头。与短视频不同,超长视频往往包含多个在时间轴上高度稀疏分散的关键事件(例如:“在长达 90 分钟的监控里,嫌疑人一共从包里掏出了几次工具?”、“事件 A 和事件 B 发生的先后顺序是什么?”)。

面对这类任务,现有的视频大模型方案普遍面临无法回避的资源死锁与工程架构缺陷:

  1. 静态均匀降采样 / Token 剪枝:为了不撑爆大模型的上下文窗口(Token Budget),粗暴地对整段视频降低帧率或剪裁 Token。结果是高频关键细节被严重抹杀,连画面里拿的是手机还是钱包都看不清。
  2. 两阶段检索级联流水线(Filter & Process):先用轻量模型筛出候选关键帧,再喂给大模型做深度推理。这种单向数据流水线最大的工程死穴是没有容错补偿机制——只要前置粗筛环节漏检了一个微小事件,下游的大模型就永远失去补救机会,造成灾难性的级联误差(Error Propagation)。

为了打破长视频 Token 预算受限与多事件细节捕捉的对立,来自清华大学计算机系朱文武教授团队在 arXiv 上公开了一篇兼具系统调度思维与算法深度的成果:

《Modularized Dynamic-Granularity Video LLM for Multi-Event Long Video Understanding》 (arXiv:2607.15778)
论文链接:https://arxiv.org/abs/2607.15778
HTML 格式:https://arxiv.org/html/2607.15778
核心关键词:长视频理解、动态粒度调度、反事实校验、强化学习、DPO、MEventBench

作者提出了 MoD-VLLM(模块化动态粒度视频大模型):将单向流水线重构成一个带自省机制的闭环反馈控制系统。系统通过动态粒度调度器,将 98% 的冗余背景压缩为极低码率(1 小时背景仅耗费约 900 Token 保留全局时间骨架),腾出超过 85% 的 Token 预算对核心关注区实施超密集、超高分辨率重采样;同时引入反事实探针双路复核攻克漏检死锁,并利用下游问答损失反向驱动端到端 DPO 策略学习。

论文题目:Modularized Dynamic-Granularity Video LLM for Multi-Event Long Video Understanding
作者团队:Wei Feng, Xin Wang, Yu-Wei Zhan, Yuwei Zhou, Wenwu Zhu (Tsinghua University)
论文链接:https://arxiv.org/abs/2607.15778
代码与数据:包含 1,200 组复杂多事件视频长基准 MEventBench

阅读全文 »

在多模态与长视频处理领域,时序定位(Temporal Grounding) 是一项至关重要的核心基础设施能力:给定一段长视频和一个自然语言查询(例如:“讲师是在哪一分哪一秒第一次引入反向传播概念的?”),系统需要精准返回事件发生的起止时间戳 [tstart,tend][t_{start}, t_{end}]。

然而,过去的学术研究长期陷入了 “短视频刷榜的虚假繁荣”——绝大多数基准(如 Charades-STA、QVHighlights)时长仅有 30 秒到 2 分钟。在 30 秒的片段里定位一个 7 秒的动作,事件本身就占据了 25% 的视频长度,大模型根本不需要真正的全局寻址与搜索,凭单帧目标识别就能蒙对答案。

面对真实工业场景下动辄 1 小时至数小时 的长录像、长会议与监控视频,如果直接把几十万帧视频数据硬塞给当红的多模态大模型(Video-LLM),会发生什么?

来自 NAVER Cloud AI 与 KAIST AI 的研究团队在论文 《Natural-Language Temporal Grounding in Hour-Long Videos is a Search Problem: A Benchmark and Empirical Decomposition》 中给出了极其震撼的实验实测:所有开源与商业单体视频大模型在小时级长视频上全面雪崩;而一个 2021 年老旧、甚至连语言模型都没有的纯逐帧 CLIP 向量检索 Baseline,竟然将最先进的视频大模型全方位吊打!

为了系统性拆解这一工程断层,论文发布了首个真正意义上的开放小时级时序定位基准——ExtremeWhenBench,并通过实证证明:长视频定位不是识别算法问题,而是经典的“两阶段检索(Search + Localize)”工程架构问题。

论文题目:Natural-Language Temporal Grounding in Hour-Long Videos is a Search Problem: A Benchmark and Empirical Decomposition
论文作者:Sukmin Seo, Geewook Kim (NAVER Cloud AI & KAIST AI)
论文链接:https://arxiv.org/abs/2606.12300
HTML 格式:https://arxiv.org/html/2606.12300
开源代码与评测集:https://github.com/naver-ai/ExtremeWhenBench

阅读全文 »

在智能安防、视频切片剪辑 Agent、车载记录仪检索以及多模态视频 RAG 等系统的工程研发中,视频时序定位(Video Temporal Grounding, VTG) 是一项基础核心能力:给定一段未经剪辑的原始视频和一句自然语言指令(如“找出小狗咬住飞盘的瞬间”),系统需要快速返回精确到秒级甚至毫秒级的起止时间戳 [tstart,tend][t_{start}, t_{end}]。

随着多模态大模型(Video-LLM)能力的飞速提升,学术界近年掀起了一股 “端到端全交给大模型” 的浪潮:把视频抽帧转化为成千上万个视觉 Token 塞进上下文窗口,让大模型自回归逐字生成时间数字字符串(如“从 12.3 秒到 18.5 秒”)。

然而,当软件开发工程师真正将这套方案搬上测试环境或生产环境时,往往会遭遇残酷的现实毒打:

  1. 数值脆弱与高抖动(Brittle Numerics & High Jitter):大模型本质是离散词表概率生成器,强行让它做连续实数坐标回归,输出的时间戳方差极大。同一视频调两次,结果可能完全漂移;
  2. 黑盒不可观测(Zero Observability):一旦时间戳算偏了,系统完全是个黑盒,无法断点定位是大模型“没认出动作”、“认错动作”,还是“看懂了但数字算错了”;
  3. 推理性价比极低:为了输出短短几个数字,线上每次请求都要让庞大的多模态大模型自回归解码,推理成本和并发吞吐直接劝退中小团队。

近日,来自中国科学院大学(UCAS)、哈尔滨工业大学(HIT)、香港城市大学(CityU HK) 等机构的研究团队在机器学习顶会 ICML 2026 上发表了一篇立足于结构化感知的破局之作:

《Foresee-to-Ground: From Predictive Temporal Perception to Evidence-Driven Reasoning for Video Temporal Grounding》 (arXiv:2605.21973)
论文会议:ICML 2026
论文链接:https://arxiv.org/abs/2605.21973
HTML 格式:https://arxiv.org/html/2605.21973
开源项目:https://github.com/zelion2003/Foresee-to-Ground
核心创新:颠覆传统“黑盒直接回归时间戳”模式,提出 Identify-then-Measure(先识别候选,再微调测量) 分治架构。通过自监督预训练构建全局紧凑证据池,并引入带有显式 ID 引用的契约化接口,全面提升严苛定位精度与推理稳定性。

本文将立足于 软件开发工程师、系统架构师与后端研发 的视角,深入拆解 F2G 的问题解决范式、三阶段工程流水线、接口契约设计,并结合小团队与初创企业的现实资源约束,客观反思端到端 Video-LLM 方案的落地性价比与降本迁移路径。

阅读全文 »
0%