【论文分享】当 AI 图像质检拿上放大镜：VGIQA 如何用“视觉定位奖励”治愈大模型的画质近视？

发表于 阅读次数： 本文字数： 3.6k 阅读时长 ≈ 13 分钟

在 AIGC（AI 生图、视频生成）和智能手机画质增强已经烂大街的今天，我们几乎每天都在和图像修复、超分辨率（Super-Resolution）打交道。但如果让你当裁判，给一张 AI 修复后的图片把关，你会怎么做？

绝大多数普通人都会把图片放大，凑近看细节：

  • “这张人脸整体看着挺美，但右下角的手指怎么是扭曲的？”
  • “这只小猫的毛发很顺，但耳朵边缘为什么有一团奇怪的塑料噪点？”

然而令人哭笑不得的是，目前市面上绝大多数基于多模态大模型（MLLM）的图像质量评估系统（IQA, Image Quality Assessment），表现得就像一个只给宏观总分的“近视眼考官”——它扫一眼整张图，自信满满地给出一个总分“4.1分（满分5分）”或者一句评语“整体画质良好，轻微模糊”。

但如果你追问它：“到底哪儿坏了？能不能把瑕疵用框圈出来？”——它立刻哑口无言。

近日，由 西安电子科技大学 ISN 国家重点实验室 与 华为通用大模型团队（Huawei Foundation Model Department） 联合在 arXiv 上发布了一篇极具实用价值的工作——《VGIQA: Fine-Grained Image Quality Assessment with Visual Grounding Rewards》，提出了一套彻底打破这一僵局的“细粒度视觉定位”新架构：

“让 AI 质检员告别粗枝大叶的概览，学会‘先看细节、再下定论（Look and then judge）’！通过自研的视觉定位强化学习奖励函数与隔离机制，哪怕仅有 7B（70亿）参数的小模型，也能在画框找茬的精准度上大幅碾压 72B 参数的开源大模型巨无霸！”

在这篇博客中，我们将用最通俗易懂的语言，深度拆解 VGIQA 是如何打通“全局打分”与“局部画框找茬”的，并剖析其背后的多任务强化学习隔离设计、人机协同双盲评测集，以及这项技术在下游生成式 AI 闭环修图中的工业想象力。

论文题目：VGIQA: Fine-Grained Image Quality Assessment with Visual Grounding Rewards
作者团队：Weichang Wang, Liyu Chen, Shuyue Guan, Jie Hu, Fei Gao, Wei Li, Nannan Wang (西安电子科技大学, 华为通用大模型团队)
论文链接：https://arxiv.org/abs/2610.37186
arXiv HTML：https://arxiv.org/html/2610.37186
核心领域：Image Quality Assessment (IQA), Multimodal LLM, Visual Grounding, Reinforcement Learning (GRPO)
技术亮点：先看后判 CoT 范式、任务专属奖励隔离机制、首个细粒度局部定位评估数据集 VGSR-2K

01. 行业盲区：从“给总分的考官”到“手拿放大镜的质检员”

回顾计算机视觉里的图像质量评估（IQA）演进史，大致经历了三个时代：

  1. 手工特征时代（PSNR / SSIM / BRISQUE）：纯靠数学统计公式和像素差。这类指标非常机械，经常出现“数学指标很高、但人眼看着极其别扭”的脱节现象；
  2. 深度学习特征时代（NIMA / ManIQA / CLIP-IQA）：利用卷积神经网络或 CLIP 对齐人类的主观打分（MOS）。打分准了很多，但依然是一个端到端的黑盒回归数字；
  3. 多模态大模型时代（Q-Align / Q-Insight）：引入大模型后，AI 终于能够输出长文本解释，阐述光影、构图与清晰度。
1
2
3
4
5
6
【现有 MLLM 图像质检的尴尬现状】
输入图像 ──▶ MLLM 思考 ──▶ 输出：“该图像得分为 3.6 分，画面存在生成伪影与轻微模糊。”
                              │
                              ▼
下游自动修复管线：“？？？请问瑕疵具体在哪个像素区域？我该对哪里做局部重绘？”
MLLM：“对不起，我画不出框。”

在当下的扩散模型（Diffusion）和生成式超分辨率时代，这一痛点被无限放大：现代画质损伤不再是全局均匀老化的雪花点，而是高度集中的局部缺陷。
例如：

  • 生成伪影（Generation Artifacts）：几何边缘断裂、纹理黏连成块；
  • 语义不一致（Semantic Inconsistency）：原本参考图里是一件针织毛衣，AI 高清放大后擅自变成了塑料皮革；
  • 物理幻觉（Unrealistic Hallucinations）：背景凭空多出半只融化的人手或诡异的光斑。

如果没有具体的空间坐标框（Bounding Box），任何下游自动化工具（如局部重绘 Inpainting、局部超分增强）都无从下手。

02. 架构范式：“先看细节，再下定论”的两阶段训练流

为了让大模型学会像专业质检员一样“手持放大镜逐区排查”，VGIQA 提出了统一兼顾 局部定位（Local） 与 全局评估（Global） 的“先看后判（Look and then judge）”范式。

整个框架采用基座模型 Qwen2.5-VL-7B-Instruct，并划分为两个紧凑的训练阶段：

flowchart TD
    subgraph S1["阶段一：冷启动 (Cold Start SFT)"]
        direction TB
        RAW_DATA["2,288 条精炼思维链数据 (源自 Qwen3-VL-Plus 蒸馏)"] --> SFT["格式规范微调 (SFT)"]
        SFT --> PRIOR["注入质检专业先验，规范 <think> 与 <answer> 输出框格式"]
    end

    subgraph S2["阶段二：多任务强化学习 (Multi-Task GRPO)"]
        direction TB
        TASK1["局部质量定位 (Local Task)"] --> REW1["专属空间奖励: 匈牙利匹配 + DIoU + F1"]
        TASK2["退化类型感知 (Degradation)"] --> REW2["退化类别 + 严重等级奖励"]
        TASK3["全局质量打分 (Score Regression)"] --> REW3["MOS 评分容差奖励"]
        
        REW1 & REW2 & REW3 --> GATE{"严格奖励隔离门控 (λ 路由)"}
        GATE --> POLICY["GRPO 策略网络梯度更新 (无任务间干扰)"]
    end

    PRIOR --> S2

阶段一：冷启动（Cold Start）

如果一开始就直接上无监督或大范围强化学习，模型很容易在巨大的空间坐标搜索空间中漫无目的地瞎猜崩溃。

  • 作者团队从更高级的 Qwen3-VL-Plus 中提炼出 2,288 条结构化 CoT（思维链）样本；
  • 强制让模型掌握“先推理、后出框”的标准解题模板：在 <think> 中剖析两张对比图的瑕疵成因，在 <answer> 中输出符合规范的坐标框 [ymin, xmin, ymax, xmax]。

阶段二：多任务强化学习（GRPO）

冷启动完成后，模型已经懂得了基本格式，接下来就要在做题实战中快速进化。团队采用了无需单独训练复杂 Critic 打分模型的 GRPO（Group Relative Policy Optimization） 算法，通过组内样本相对排序来驱动参数迭代。

03. 核心算法精髓：如何用“严格奖励隔离”驯服多任务？

强化学习最怕什么？奖励作弊与目标冲突（Objective Confusion）。

在 VGIQA 中，模型既要学会画框定位，又要学会辨别退化类型，还要学会打出连续的质量总分（1~5分）。如果简单地把这些奖励加权求和扔给模型，强化学习算法往往会找到“走捷径”的投机解——比如模型发现画空框（不报错）最稳妥，或者为了迁就空间损失把整体打分的感知给学坏了。

为此，论文提出了极其清晰优雅的严格奖励隔离机制（Reward Isolation Mechanism）。

1. 局部定位奖励函数（专治画框）

针对模型预测的候选框列表 Bp\mathcal{B}^p 与真实标注框 Bg\mathcal{B}^g：

  • 场景类别基础奖（rbaser_{base}）：根据图里是“无瑕疵（empty）”、“全图坏（whole）”还是“局部坏（partial）”给与类别均衡基础分，防止样本偏置；
  • 二分图最佳匹配（Hungarian Matching）：利用匈牙利算法，在预测框与真实框之间构建一对一的最优匹配；
  • 距离交并比连续引导（DIoU）：匹配上的框计算 DIoU（Distance-IoU），不仅考核重合面积，还惩罚两个框中心点的几何欧氏距离：

    rcont=1∣π∣∑i=1∣π∣1+DIoU(bip,bπ(i)g)2r_{cont} = \frac{1}{|\pi|} \sum_{i=1}^{|\pi|} \frac{1 + \text{DIoU}(b_i^p, b_{\pi(i)}^g)}{2}

  • 最终局部奖励：结合目标检测经典的 F1F_1 分数与连续回归项：

    rlocal=rbase+ωlocal(F1+rcont)r_{local} = r_{base} + \omega_{local}(F_1 + r_{cont})

2. 隔离路由门控（专款专用）

整个多任务的总奖励函数被设计为：

r=rformat+λlocalrlocal+λscorerscore+λdeg(α1rdeg+α2rlev)r = r_{format} + \lambda_{local} r_{local} + \lambda_{score} r_{score} + \lambda_{deg}(\alpha_1 r_{deg} + \alpha_2 r_{lev})

其中，λlocal,λscore,λdeg\lambda_{local}, \lambda_{score}, \lambda_{deg} 是三个互斥的门控指示变量（当前是局部定位任务时，只有 λlocal=1\lambda_{local}=1，其他全为 0）。这种“专款专用”的数学隔离，确保了空间坐标梯度与全局抽象评分梯度完全解耦，彻底杜绝了任务间的交叉干扰。

04. 破局基石：自研 VGSR-2K 数据集与严谨的双盲流水线

在深度学习领域，没有高质量的数据集，一切精妙的算法都是空中楼阁。而细粒度局部图像质检在过去几乎是一片空白。

为了填补这一空白，作者团队基于 SRBench 和 DiffIQA 构建了业内首个专用的细粒度局部质检基准 VGSR-2K。为了防止人工主观随意画框带来的误差，团队制定了一套严苛的人机协同（Human-in-the-Loop）双盲流水线：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
【VGSR-2K 严苛数据构建流水线】

[超分与参考图像对 (1,798 对)]
        │
        ▼ 步骤 1: 候选生成 (Qwen3-VL-Plus 与 Seed1.6-VL 各推理3次，共生成6组候选框)
[6 组机器候选坐标框]
        │
        ▼ 步骤 2: 双盲选择 (标注人员分为 A、B 两组独立盲选最佳基准框，遇分歧由专家终审)
[初筛基准框]
        │
        ▼ 步骤 3: 双盲纠错与算法合并
        │  * 人类标注员“只准删错框、补漏框，严禁手工微调现有坐标” (规避手抖误差)
        │  * 算法自动求两组留存框交集，补充框通过匈牙利算法按 DIoU > 0.5 自动融合
[高纯净度局部标注]
        │
        ▼ 步骤 4: 专家终审与数据配比均衡 (涵盖生成伪影、语义漂移、反物理幻觉)
[VGSR-2K 正式数据集发布]

这套流程的设计非常耐人寻味：充分发挥人类对语义和审美的判断力，同时把最容易出错的坐标精修交给几何算法，为高质量视觉标注提供了极其优秀的工程示范。

05. 实验战况：7B 小模型如何越级碾压 72B 巨无霸？

论文在多个标准评测任务上对 VGIQA 进行了全方位“压力测试”。

1. 局部找茬：以小博大，断层式领先

在核心的 VGSR-2K 局部质量评估测试中（指标为 F1F_1 分数与 DIoU 框重合度）：

参评模型 参数规模 F1F_1 Score (越高越好) DIoU (越高越好)
Q-Insight 7B 0.1452 0.1673
Qwen2.5-VL-72B-Instruct 72B 0.1770 0.1997
Qwen3-VL-32B-Instruct 32B 0.1756 0.2185
VGIQA (Ours) 7B 0.3024 0.3235
  • 可以看到，即便是比自身大 10 倍的巨无霸模型 Qwen2.5-VL-72B，在细粒度找茬任务上也只有 0.17 左右的分数；
  • 而经过两阶段定位强化学习训练的 VGIQA-7B，各项指标直接翻倍（达到 0.30+），展现出了近乎代差级的局部定位敏锐度！

2. 全局感知：因为看懂细节，所以全局更准

学会了看局部，会不会导致模型“一叶障目，不见泰山”？实验结果恰恰相反！在全局退化感知（辨识模糊、JPEG 压缩块、欠曝、噪点等）任务中：

  • VGIQA 的平均退化识别准确率从上一代强化学习模型 Q-Insight 的 66.57% 大幅跃升至 82.18%；
  • 尤其在极其考验细微纹理的 噪点检测（Noise） 上，准确率从 16.13% 狂飙到 62.21%；在“完全无损伤（Null）”的判别上更是从 64.93% 提升至 94.03%。
  • 核心启示：只有看清微观瑕疵，模型才能真正对全局的退化分布形成坚实、本质的认知，而不是靠大模型预训练的文本常识在瞎蒙。

3. 全局评分：更挑剔的质检大师

在标准的 KonIQ、SPAQ 等全局主观打分回归任务上，VGIQA 依然保持了与当前最强学术界 SOTA（如 DeQA）相当的高相关系数。由于模型对局部瑕疵极度敏感，它在打分时表现得像一个更加严谨、苛刻的质检专家，不再会因为整张图远看光鲜亮丽就轻易给出高分。

06. 工业落地思辨：当 AI 真正具备像素级挑刺能力之后

这篇论文虽然是一篇偏学术的图像评估工作，但其背后的理念对于当下的 AI 工程落地有着极其深远的启发：

1. 打造“生图-质检-重绘”的无人值守工业闭环

现在很多企业在跑批量 AIGC（如电商模特换装、游戏原画生成）时，最头疼的就是人工挑图成本。

  • 传统的自动化脚本只能根据整图美学分筛图；
  • 有了 VGIQA 这类模型，系统可以在生成图片后，自动圈出“右手第3指结构异常 [210, 540, 260, 580]”；
  • 紧接着，这个坐标框可以直接作为 Mask 传给 Inpainting（局部重绘）模型进行针对性打补丁，将过去需要人工圈选的修图管线彻底变成全自动闭环。

2. 充当生图大模型的“高分辨率 RL 反馈哨兵”

现在无论是视频生成（Sora、可灵）还是图像生成（FLUX、SD3），都在向强化学习（RLAIF）寻求上限突破。传统的奖励模型给的是一个整图的标量奖励（Scalar Reward），生图模型很难从一个模糊的分数中反思“到底我画的哪一笔错了”。如果能引入 VGIQA 这种细粒度的定位奖励反馈，生图模型的训练效率和对解剖结构的理解势必迎来又一次飞跃。

总结

从 “只报喜忧的算命先生”，到 “手拿放大镜且能精准画圈的质检工程师”，VGIQA 用一套精妙的 两阶段 CoT 引导 + 严格隔离的多任务 GRPO 强化学习，证明了结构化细粒度认知在多模态理解中的巨大威力。

即使参数量不是千亿万亿，只要训练策略设计得当、奖励逻辑对齐严密，小模型同样能在专业垂直领域展现出让人惊叹的硬核实力。