Lewlh's blog

在多模态大语言模型（MLLM）迅速迈向视觉深度推理与长视频理解的今天，我们往往要求 AI 具备两种看起来形影不离的核心本领：

1. 细粒度区域理解（Region Understanding / Captioning）：给模型画面中的一个指定区域（比如一个红框、一段分割掩码、或视频中的某几秒），模型能详尽写出这里究竟发生了什么；
2. 指代性定位（Referring Localization / Grounding）：反过来，给模型一句自然语言（如“穿黄色雨衣戴红帽子的男孩”），模型能准确把物体框出来，或者在视频时间轴上精准标记出起止时间戳。

然而，长期以来业界在这两个方向的训练上存在着严重的割裂与监督瓶颈：

• 教模型“写描述”通常依赖成本极其高昂的人工文字标注；
• 教模型“找位置”则依赖规则化的几何坐标损失；
• 两种训练彼此独立、缺乏约束——一句文字通顺流畅的描述，可能根本无法唯一锁定源物体；而一个定位极其精准的检测器，也无法反哺语言描述能力的进化。

近日，来自新加坡国立大学（NUS）、中国科学院大学（UCAS）、南洋理工大学（NTU）以及陶大程院士团队发表了重磅前沿成果：

《Generalized CycleGRPO for Fine-Grained Multimodal Understanding and Grounding》 (arXiv:2610.29552)

该研究在他们此前 ECCV 空间图像成果的基础上，提出了一套通用的广义循环强化学习框架（Generalized CycleGRPO）。它利用“费曼学习法”式的自省逻辑：让模型先看区域写出描述，再根据自己写的描述把原区域“找回去”。找回的几何重叠度（IoU）就是天然客观、无需人工裁判的强化学习奖励。 更重要的是，该方法一举打通了 2D 静态图像空间、1D 视频时序区间以及四维时空动态轨迹。

论文题目：Generalized CycleGRPO for Fine-Grained Multimodal Understanding and Grounding
作者团队：Xin Zhang, Haochen Wang, Beibei Lin, Zhaoxiang Zhang, Robby T. Tan, Jason Li, Dacheng Tao (NUS, UCAS, NTU 等)
论文链接：https://arxiv.org/abs/2610.29552
arXiv HTML：https://arxiv.org/html/2610.29552v1
项目主页：https://devinxzhang.github.io/Generalized-CycleGRPO-Page/
核心领域：Multimodal LLMs, Reinforcement Learning (GRPO), Temporal Grounding, Referring Segmentation, DOVE Benchmark

在具身智能（Embodied AI）与机器人规划控制领域，视频生成模型（Video Generative Models） 正在扮演越来越核心的角色。从 Sora、Wan2.1 到英伟达的 Cosmos-Predict2，业界越来越倾向于直接把预训练的视频模型作为世界模型（World Models） 或动作策略骨干——让机器人在物理交互前，先在脑海中“生成未来的动作模拟视频”。

但这种范式存在一个致命前提：生成的视频必须严格遵守现实世界的物理定律。 如果生成的预测视频里，小球凭空蒸发、机械臂穿透了桌子（穿模）、物体毫无重力地浮空瞬移，基于此做规划的机器人就会在现实执行中遭遇灾难性的翻车。

如何自动检测视频生成模型“懂不懂物理”？传统的评测方法存在严重的硬伤：

• 粗粒度黑盒评分：只给整段视频打一个“是否合规”的布尔值或模糊的分数，根本看不出哪里违规；
• 无法时间定位：一段 10 秒的视频，前 8 秒都正常，第 9 秒突然穿模，现有基准无法给出违规发生的具体起止秒数；
• 直接询问视觉大模型基本靠猜：直接把视频扔给 GPT-4o 或 Gemini 问“这符合物理吗？”，权威测试表明准确率只有 52% 左右——几乎跟抛硬币无异。

近日，来自韩国釜山大学与独立研究团队发表了一篇构思极为巧妙的最新论文：

《PhysTrace: Interpretable Temporal Evaluation of Physical Consistency in Video Generative Models》 (arXiv:2610.31429)

作者团队提出了一个无需微调重新训练（Training-free）的创新评测框架 PhysTrace。更引人入胜的是，作者不仅实现了对任意视频物理违规的秒级定位与文字可解释归因，还设计了一套“逆向 CT 机”，首次完整透视了 Wan2.1 和 Cosmos 等生成模型在擦除噪点的数十步过程中，其脑海中的物理常识究竟是在哪个时间步逐步成型、又在哪些定律上终生残疾。

论文题目：PhysTrace: Interpretable Temporal Evaluation of Physical Consistency in Video Generative Models
作者团队：Taekoan Yoo, Wonkyung Jung, Kyunghun Kim, Kyeongbo Kong（釜山大学 等）
论文链接：https://arxiv.org/abs/2610.31429
arXiv HTML：https://arxiv.org/html/2610.31429
代码开源：https://github.com/PhysTrace/PhysTrace
核心领域：Video Generative Models, Physical Consistency, Temporal Evaluation, World Models, Diffusion Models

在大模型与多模态检索（Multimodal Retrieval）领域，对比学习（Contrastive Learning） 几乎是所有人都在使用的标准训练范式——将文字、图像或图文混合输入映射到同一个向量空间中，“拉近同义正样本，推开无关负样本”。

在过去几年里，学术界和各大机构围绕对比学习卷出了无数眼花缭乱的“微调技巧”：

• 梯度调节（Gradient Modulation）：遇到高相似度的难样本？加大惩罚权重狠狠推开！
• 假负例缓解（False-Negative Mitigation）：标注有噪声？用各种阈值动态过滤假错题！
• 智能批次构建（Batch Construction）：随机打包 Batch 太粗糙？用花式采样法重构训练题库！

每一篇顶会论文发表时，都在各自的实验设定下宣称 “涨点显著”。但当你真正把这些技巧拿来落地，或是想在自己的多模态大模型基座上复现时，往往会遭遇当头棒喝：为什么不仅没涨点，反而性能雪崩了？这些技巧到底是真突破，还是超参数精调出来的“幸存者偏差”？

近日，来自南洋理工大学（NTU）与阿里巴巴集团的研究团队发表了一篇堪称 “算法界《流言终结者》” 的重磅严谨对比论文：

《What Really Works for Universal Multimodal Embeddings? A Controlled Study of Contrastive Training Strategies》 (arXiv:2610.15035)

作者团队统一了基座模型（Qwen2-VL-2B/7B、Qwen3.5-2B）、对齐了所有超参数与提示词格式，在包含 36 个评测数据集的权威基准 MMEB 上进行了一场彻底的 “无滤镜大阅兵”。

实验结果给整个多模态向量研究领域泼了一盆透心凉的冷水：

绝大多数曾被顶会吹上天的“花哨技巧”，单用几乎全部无效甚至带来明显负优化；而真正能够稳定带来 6.0% 显著提升的，唯有一套被长期忽视的系统工程打法——“假负例清洗 + 难负例提炼 + 图结构智能批次”的三位一体协同设计（B3 范式）。

本文将为你深度拆解这篇论文的核心实验、颠覆性洞察，以及作者为了彻底查清“模型到底错在哪”而独创的 MLLM-as-a-Judge（大模型裁判员） 诊断体系。

论文题目：What Really Works for Universal Multimodal Embeddings? A Controlled Study of Contrastive Training Strategies
作者团队：Duo Li, Haojun Pan, Zuhao Yang, Xintong Wang, Chengfu Huo, Shijian Lu, Liang Ding（南洋理工大学 CCDS、阿里巴巴集团等）
论文链接：https://arxiv.org/abs/2610.15035
arXiv HTML：https://arxiv.org/html/2610.15035v1
核心领域：Universal Multimodal Embeddings, Contrastive Learning, MLLM, MMEB Benchmark

在当今的多模态大模型世界里，几乎所有主流模型都带着一个醒目的尾缀：“-VL”（Vision-Language，如 Qwen2.5-VL、Qwen3-VL、InternVL）。

但不知道你是否曾产生过这样一个疑问：为什么语言大模型（如纯文本的 Qwen、DeepSeek）从来不需要带什么奇怪的后缀，而一旦加上视觉，就非得搞成一个“-VL”的特殊拼装版本？

答案其实藏在底层最根本的数据形态鸿沟中：

• 语言大模型（LLM）的本质是“纯离散的世界”：无论是汉字还是英语单词，在模型眼里全都是一个个带有固定编号的“整数积木”（Token ID，如 1024、3892）。大模型的全部魔力，都来自于最纯粹的“猜下一个积木编号是谁（Next-Token Prediction）”；
• 视觉世界（Vision）却被当成了“连续的浮点小数”：目前绝大多数多模态模型，都是用一个外挂的视觉编码器（ViT）把图片扫描成一堆带小数点的高精度向量（连续浮点数，如 [0.3421, -1.0543, ...]），然后像打点滴一样硬生生灌进语言模型。

这种“外挂拼装”虽然看图能力极强，但却带来了巨大的遗憾：大模型能看图、能说话，却不能像写字一样自己画画，更无法像人类在草稿纸上勾勾画画那样实现“视觉思维链（Visual CoT）”。

学界一直梦寐以求的圣杯，叫做 “原生大一统多模态（Native Multimodal）”——把图片也切成离散的词语编号（离散 Token），让图片和文字在同一个字典里平起平坐！然而，长久以来的一个“思想教条”牢牢禁锢了这一探索：“离散化一定会带来量化误差，量化误差必定导致语义丢失，因此离散模型的理解能力永远不可能赶上连续模型。”

近日，来自华中科技大学（HUST）与美团 LongCat 团队（由第一作者邹佳侣、指导教师王兴刚教授等共同主导）联合发布了一篇具有里程碑意义的重磅论文：

“量化误差根本不决定语义保真度！只要给足有效比特预算，配合全新的‘因子化矢量量化（FVQ）’，纯离散视觉 Token 不仅能做到语义无损，而且在工业级多模态测试中，第一次全面追平甚至超越了当前最顶尖的连续模型 Qwen3-VL！”

在这篇分享中，我们将用最通俗易懂的语言、直观的代码透视和生动的比喻，彻底拆解这篇论文背后的思想颠覆、算法玄机，以及它对未来大模型演进的深远影响。

论文题目：Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals?
作者团队：Jialv Zou, Xiaotong Li, Zhengrong Yue, Xu Huang, Yaxin Luo, Wenhao Yan, Haodong Li, Wenyu Liu, Xinggang Wang (华中科技大学, 美团 LongCat, 上海交大, 北大, 清华, 港中文, MBZUAI)
论文主页：https://doctor-james.github.io/FVQ-Page/
代码仓库：https://github.com/hustvl/FVQ
arXiv 链接：https://arxiv.org/abs/2610.37662
核心领域：Native Multimodal Foundation Models, Discrete Visual Representation, Factorized Vector Quantization (FVQ)
技术亮点：打破量化误差教条、有效比特预算缩放法则、16 组紧框架对称码本、首个全指标抗衡连续基线（Qwen3-VL）的纯离散多模态模型

在 AIGC（AI 生图、视频生成）和智能手机画质增强已经烂大街的今天，我们几乎每天都在和图像修复、超分辨率（Super-Resolution）打交道。但如果让你当裁判，给一张 AI 修复后的图片把关，你会怎么做？

绝大多数普通人都会把图片放大，凑近看细节：

• “这张人脸整体看着挺美，但右下角的手指怎么是扭曲的？”
• “这只小猫的毛发很顺，但耳朵边缘为什么有一团奇怪的塑料噪点？”

然而令人哭笑不得的是，目前市面上绝大多数基于多模态大模型（MLLM）的图像质量评估系统（IQA, Image Quality Assessment），表现得就像一个只给宏观总分的“近视眼考官”——它扫一眼整张图，自信满满地给出一个总分“4.1分（满分5分）”或者一句评语“整体画质良好，轻微模糊”。

但如果你追问它：“到底哪儿坏了？能不能把瑕疵用框圈出来？”——它立刻哑口无言。

近日，由 西安电子科技大学 ISN 国家重点实验室 与 华为通用大模型团队（Huawei Foundation Model Department） 联合在 arXiv 上发布了一篇极具实用价值的工作——《VGIQA: Fine-Grained Image Quality Assessment with Visual Grounding Rewards》，提出了一套彻底打破这一僵局的“细粒度视觉定位”新架构：

“让 AI 质检员告别粗枝大叶的概览，学会‘先看细节、再下定论（Look and then judge）’！通过自研的视觉定位强化学习奖励函数与隔离机制，哪怕仅有 7B（70亿）参数的小模型，也能在画框找茬的精准度上大幅碾压 72B 参数的开源大模型巨无霸！”

在这篇博客中，我们将用最通俗易懂的语言，深度拆解 VGIQA 是如何打通“全局打分”与“局部画框找茬”的，并剖析其背后的多任务强化学习隔离设计、人机协同双盲评测集，以及这项技术在下游生成式 AI 闭环修图中的工业想象力。

论文题目：VGIQA: Fine-Grained Image Quality Assessment with Visual Grounding Rewards
作者团队：Weichang Wang, Liyu Chen, Shuyue Guan, Jie Hu, Fei Gao, Wei Li, Nannan Wang (西安电子科技大学, 华为通用大模型团队)
论文链接：https://arxiv.org/abs/2610.37186
arXiv HTML：https://arxiv.org/html/2610.37186
核心领域：Image Quality Assessment (IQA), Multimodal LLM, Visual Grounding, Reinforcement Learning (GRPO)
技术亮点：先看后判 CoT 范式、任务专属奖励隔离机制、首个细粒度局部定位评估数据集 VGSR-2K