Lewlh's blog

在当今的多模态大模型世界里，几乎所有主流模型都带着一个醒目的尾缀：“-VL”（Vision-Language，如 Qwen2.5-VL、Qwen3-VL、InternVL）。

但不知道你是否曾产生过这样一个疑问：为什么语言大模型（如纯文本的 Qwen、DeepSeek）从来不需要带什么奇怪的后缀，而一旦加上视觉，就非得搞成一个“-VL”的特殊拼装版本？

答案其实藏在底层最根本的数据形态鸿沟中：

• 语言大模型（LLM）的本质是“纯离散的世界”：无论是汉字还是英语单词，在模型眼里全都是一个个带有固定编号的“整数积木”（Token ID，如 1024、3892）。大模型的全部魔力，都来自于最纯粹的“猜下一个积木编号是谁（Next-Token Prediction）”；
• 视觉世界（Vision）却被当成了“连续的浮点小数”：目前绝大多数多模态模型，都是用一个外挂的视觉编码器（ViT）把图片扫描成一堆带小数点的高精度向量（连续浮点数，如 [0.3421, -1.0543, ...]），然后像打点滴一样硬生生灌进语言模型。

这种“外挂拼装”虽然看图能力极强，但却带来了巨大的遗憾：大模型能看图、能说话，却不能像写字一样自己画画，更无法像人类在草稿纸上勾勾画画那样实现“视觉思维链（Visual CoT）”。

学界一直梦寐以求的圣杯，叫做 “原生大一统多模态（Native Multimodal）”——把图片也切成离散的词语编号（离散 Token），让图片和文字在同一个字典里平起平坐！然而，长久以来的一个“思想教条”牢牢禁锢了这一探索：“离散化一定会带来量化误差，量化误差必定导致语义丢失，因此离散模型的理解能力永远不可能赶上连续模型。”

近日，来自华中科技大学（HUST）与美团 LongCat 团队（由第一作者邹佳侣、指导教师王兴刚教授等共同主导）联合发布了一篇具有里程碑意义的重磅论文：

“量化误差根本不决定语义保真度！只要给足有效比特预算，配合全新的‘因子化矢量量化（FVQ）’，纯离散视觉 Token 不仅能做到语义无损，而且在工业级多模态测试中，第一次全面追平甚至超越了当前最顶尖的连续模型 Qwen3-VL！”

在这篇分享中，我们将用最通俗易懂的语言、直观的代码透视和生动的比喻，彻底拆解这篇论文背后的思想颠覆、算法玄机，以及它对未来大模型演进的深远影响。

论文题目：Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals?
作者团队：Jialv Zou, Xiaotong Li, Zhengrong Yue, Xu Huang, Yaxin Luo, Wenhao Yan, Haodong Li, Wenyu Liu, Xinggang Wang (华中科技大学, 美团 LongCat, 上海交大, 北大, 清华, 港中文, MBZUAI)
论文主页：https://doctor-james.github.io/FVQ-Page/
代码仓库：https://github.com/hustvl/FVQ
arXiv 链接：https://arxiv.org/abs/2610.37662
核心领域：Native Multimodal Foundation Models, Discrete Visual Representation, Factorized Vector Quantization (FVQ)
技术亮点：打破量化误差教条、有效比特预算缩放法则、16 组紧框架对称码本、首个全指标抗衡连续基线（Qwen3-VL）的纯离散多模态模型

在 AIGC（AI 生图、视频生成）和智能手机画质增强已经烂大街的今天，我们几乎每天都在和图像修复、超分辨率（Super-Resolution）打交道。但如果让你当裁判，给一张 AI 修复后的图片把关，你会怎么做？

绝大多数普通人都会把图片放大，凑近看细节：

• “这张人脸整体看着挺美，但右下角的手指怎么是扭曲的？”
• “这只小猫的毛发很顺，但耳朵边缘为什么有一团奇怪的塑料噪点？”

然而令人哭笑不得的是，目前市面上绝大多数基于多模态大模型（MLLM）的图像质量评估系统（IQA, Image Quality Assessment），表现得就像一个只给宏观总分的“近视眼考官”——它扫一眼整张图，自信满满地给出一个总分“4.1分（满分5分）”或者一句评语“整体画质良好，轻微模糊”。

但如果你追问它：“到底哪儿坏了？能不能把瑕疵用框圈出来？”——它立刻哑口无言。

近日，由 西安电子科技大学 ISN 国家重点实验室 与 华为通用大模型团队（Huawei Foundation Model Department） 联合在 arXiv 上发布了一篇极具实用价值的工作——《VGIQA: Fine-Grained Image Quality Assessment with Visual Grounding Rewards》，提出了一套彻底打破这一僵局的“细粒度视觉定位”新架构：

“让 AI 质检员告别粗枝大叶的概览，学会‘先看细节、再下定论（Look and then judge）’！通过自研的视觉定位强化学习奖励函数与隔离机制，哪怕仅有 7B（70亿）参数的小模型，也能在画框找茬的精准度上大幅碾压 72B 参数的开源大模型巨无霸！”

在这篇博客中，我们将用最通俗易懂的语言，深度拆解 VGIQA 是如何打通“全局打分”与“局部画框找茬”的，并剖析其背后的多任务强化学习隔离设计、人机协同双盲评测集，以及这项技术在下游生成式 AI 闭环修图中的工业想象力。

论文题目：VGIQA: Fine-Grained Image Quality Assessment with Visual Grounding Rewards
作者团队：Weichang Wang, Liyu Chen, Shuyue Guan, Jie Hu, Fei Gao, Wei Li, Nannan Wang (西安电子科技大学, 华为通用大模型团队)
论文链接：https://arxiv.org/abs/2610.37186
arXiv HTML：https://arxiv.org/html/2610.37186
核心领域：Image Quality Assessment (IQA), Multimodal LLM, Visual Grounding, Reinforcement Learning (GRPO)
技术亮点：先看后判 CoT 范式、任务专属奖励隔离机制、首个细粒度局部定位评估数据集 VGSR-2K

在多模态视频理解领域，有一项非常经典的底层任务叫 Video Captioning（视频描述生成）：让 AI 看完一段视频，输出一段语言总结视频里发生了什么。

然而在面对软件 UI 交互、数据图表变化、2D 游戏等高精度动态视频时，我们常常撞上一堵坚硬的墙：自然语言太模糊、太冗长，且天生缺乏数学和物理时钟感。 你费尽口舌写了上千字“小球以微小的加速度向右滚动并在触碰边界时反弹”，另一台计算机依然无法分秒不差地将其无损复原。

近期，由 南京大学与快手可灵大模型团队（Kling AI） 联合清华、交大、北大等多家机构，在 arXiv 上发布了一项极具脑洞的前沿工作——《CodeCap-Bench: Can Code Serve as a Good Video Caption?》，首次系统性地探讨了这一颠覆性命题：

“代码即视频描述（Code as Video Caption）：与其用冗长模糊的自然语言描述 2D 动效，不如让 AI 直接手写一段能够跑通渲染的 HTML5 / Canvas / JavaScript 前端代码；代码自带严谨的图形基元与连续时间函数 $f(t)$，不仅重构保真度更高、下游问答推理更准，还能分秒不差地重现视频！”

在这篇博客中，我们不仅会深入拆解 CodeCap-Bench 的数据集构成、多级评分体系与各大前沿大模型的真实测评战况，还会结合工业落地与系统工程的深度思辨，直面该方案在模型调用成本、计算管线重量、以及代码资产大规模检索建库等方面的现实瓶颈，并剖析可灵团队背后真正瞄准的“数据金矿”。

论文题目：CodeCap-Bench: Can Code Serve as a Good Video Caption?
作者团队：Jiafu Tang, Yifan Xu, Eric Tang, Junjie Zhao, Shipeng Luo, Pengfei Wan, Jiaheng Liu 等 (南京大学, 快手可灵 Kling AI, 天津大学, 上海交通大学, 中科院自动化所, 北京大学)
论文链接：https://arxiv.org/abs/2610.37341
arXiv HTML：https://arxiv.org/html/2610.37341

在我们之前对 Yogesh Kumar 博士论文三部曲的研读中：

• 第一篇 《QDETRv》 解决了 “Where（它在哪儿）” —— 用时序记忆矩阵让 AI 在长视频中死咬住未知物体；
• 第二篇 《Few-Shot RRV》 解决了 “How（怎么互动）” —— 用时空随机场看清主宾之间的动态动作因果。

今天，我们终于迎来了整套体系的终极压轴之作 —— 解决“When（关键事件在时间轴的几分几秒发生）”！

这篇发表于顶级计算机视觉会议 ICCV 2025 的前沿论文 —— 《Aligning Moments in Time using Video Queries》（提出了大名鼎鼎的 MATR 架构，即 Moment Alignment Transformer），彻底颠覆了传统的以文搜视频范式：

“无需苍白的文字提示，直接甩给 AI 一段 5 秒的短视频（Video Query），利用可微动态时间规整（Soft-DTW）拉齐时间快慢，在数小时的长视频甚至全网海量视频库中，秒级锁定相同动作或战术发生的起止时间戳（精确到 0.1 秒）！”

更让软件工程师兴奋的是：这项研究与现代软件工程中的“读写分离（CQRS）”以及我们之前探讨的 MyScaleDB 向量数据库 可以产生极其强悍的生产级工业联动！

在这篇博客中，我们将彻底拆解 MATR 的数学原理、PyTorch 代码实现，并结合软件架构视角，给出 “向量数据库海量粗筛 + MATR 时序弹性精排” 的万小时视频检索全套落地架构。

论文题目：Aligning Moments in Time using Video Queries
作者团队：Yogesh Kumar, Uday Agarwal, Manish Gupta, Anand Mishra (IIT Jodhpur, Microsoft)
收录会议：ICCV 2025 (IEEE/CVF International Conference on Computer Vision)
论文链接：https://openaccess.thecvf.com/content/ICCV2025/html/Kumar_Aligning_Moments_in_Time_using_Video_Queries_ICCV_2025_paper.html
博士毕业论文汇总 (arXiv)：https://arxiv.org/abs/2610.21422 (Chapter 4 / Survey)
arXiv HTML 预览：https://arxiv.org/html/2610.21422v1
开源代码库：https://github.com/vl2g/MATR
核心领域：Video-to-Video Moment Retrieval (Vid2VidMR), Temporal Grounding, Differentiable DTW, Action Spotting
技术亮点：可微软动态时间规整 (Soft-DTW)、双阶段序列对齐 (Dual-Stage Alignment)、自监督时序增广预训练

在真实世界的计算机视觉应用中，我们经常会遇到这样一类近乎苛刻的需求：

“失主在游乐园丢了一款极其罕见的定制公仔，手机里只有一张随手拍的正面特写。能否让 AI 在园区长达数小时的全景监控录像中，把这个公仔出现的所有时间片段和具体空间位置全部抓捕出来？”

面对这种 “单样本目标定位（One-Shot Object Localization）” 任务，工业界传统的目标检测算法（如 YOLO、Faster R-CNN）几乎全军覆没：

1. 闭集死记硬背（Closed-Set Dilemma）：模型只认识训练集标注过的几十种常见物体（人、车、狗等），遇到没见过的长尾罕见物品直接沦为“功能盲”；
2. 时序失忆与闪烁（Temporal Amnesia）：若采用单帧独立匹配，物体一旦发生 180 度大转身（露出从未见过的背面），或者被树木、立柱遮挡 1 秒钟，算法立刻跟丢，轨迹彻底碎裂；
3. 数据标注贵到破产（Annotation Scarcity）：在视频中为目标逐帧标注连续时空包围盒，成本是静态图片的成百上千倍。

在人工智能顶级学术会议 AAAI 2024 上，来自印度理工学院与埃森哲实验室（Accenture Labs）的联合研究团队发表了重磅突破论文 —— 《QDETRv: Query-Guided DETR for One-Shot Object Localization in Videos》。

论文不仅巧妙将静态检测神器 DETR（Detection Transformer）改造为具备“时空雷达”的视频跟踪架构，更开创性地提出了 “循环对象查询记忆矩阵（Recurrent Memory）” 与 “合成轨迹自监督预训练（Synthetic Object Trajectories）” 两大杀手锏。

[!IMPORTANT]
站在 2026 年的前沿视角审视：这项研究最具前瞻性的地方在于，它所确立的 “利用 Memory 缓存跨时序解决遮挡与形变” 以及 “利用合成轨迹克服视频无标注难题” 的工程范式，与后续 Meta 轰动全球的现象级模型 SAM 2（Segment Anything Model 2） 的底层流式记忆架构（Streaming Memory Bank）形成了惊人的一致与深远的技术呼应！

在这篇博客中，我们将彻底拆解 QDETRv 的数学推导、模型机械架构实现细节，并深度对比它与 Meta SAM 2 之间的技术血脉演进。

论文题目：QDETRv: Query-Guided DETR for One-Shot Object Localization in Videos
作者团队：Yogesh Kumar, Saswat Subhajyoti Mallick, Anand Mishra, Sowmya Rasipuram, Anutosh Maitra, Roshni Ramnani (IIT Jodhpur, Accenture Labs)
收录会议：AAAI 2024 (Association for the Advancement of Artificial Intelligence)
论文链接：https://doi.org/10.1609/aaai.v38i3.28063
博士毕业论文汇总 (arXiv)：https://arxiv.org/abs/2610.21422 (Chapter 2 / Survey)
arXiv HTML 预览：https://arxiv.org/html/2610.21422v1
开源代码库：https://github.com/yogesh-iitj/QDETRV
核心领域：One-Shot Object Localization, Video Object Detection, Video Tracking, DEtection TRansformer
技术亮点：Query-Context 特征融合 (QCF)、循环时序记忆矩阵 (Recurrent Memory)、合成轨迹自监督预训练 (SOT)