在当下的多模态大模型(LVLM)演进中,视觉思维链(Visual Chain-of-Thought, Visual-CoT) 正成为模型实现高阶推理的核心能力。

与早先简单粗暴的“输入图片直接猜答案”不同,具备 Visual-CoT 能力的模型(如 DeepEyes)在看图作答时展现出类似于人类专家的系统性思考模式:

  1. 推理解析(Reasoning):“要回答这道题,我需要先在图里找到对应的标线或元器件。”
  2. 视觉定位(Grounding):“找到了,定位坐标框为 [120, 340, 180, 420]。”
  3. 最终答题(Answer):“结合上述视觉证据,得出最终结论。”

然而,在产业落地与多端部署中,算法与工程团队常常陷入一个两难的尴尬境地:

  • 大模型很聪明,但吃不下资源:拥有完整 Visual-CoT 能力的开源模型往往体积庞大、依赖昂贵算力,难以在边缘端或低延时服务中大规模部署。
  • 小模型跑得飞快,但“眼瞎心盲”:若想让 3B、4B 或其他异构架构的模型也拥有同等能力,传统的唯一路径是重训或监督微调(SFT / DPO)。但这需要昂贵的多模态高质量打标数据、漫长的训练周期,并且一旦基座升级,所有适配成本都得从头再来。

针对这一痛点,中国科学技术大学与新加坡国立大学团队近期在 arXiv 提出了一个极具软件工程美感的全新范式:

论文题目:Viscot-steer: Disentangling and Transferring Visual Chain-of-Thought via Activation Steering
论文编号:arXiv:2611.11209
论文链接:https://arxiv.org/abs/2611.11209
HTML 预览:https://arxiv.org/html/2611.11209
核心成果:完全无需反向传播训练(Training-Free,0 参数更新),仅凭“静态提取能力向量差分 + 运行时时序状态机动态注入”,跨架构成功将 DeepEyes-7B 的 Visual-CoT 能力无缝移植到 Qwen2.5-VL、Qwen3-VL、InternVL 等异构小模型上,并在 V*、HR-Bench 4K 上实现 +6.28% 至 +14.13% 的显著涨点。

初读这篇论文,算法工程师可能会关注其激活差分与频域变换的数学细节;但站在软件工程师、后端架构师与系统研发的角度,这篇论文堪称一份令人拍案叫绝的 “AI 运行时热补丁(Monkey Patch)与 AOP 切面拦截”架构实战。

本文将剥开晦涩的学术包装,用软件开发者的代码与系统视角,深入拆解其工程实现范式与问题解决直觉。

阅读全文 »

01. 长视频多模态切片的核心矛盾与2026年学术界范式转移

在构建基于多模态大语言模型(Qwen3-VL)、多模态向量化模型(Qwen3-VL-Embedding / Qwen3-Embedding)、支持结构化与非结构化混合存储的OLAP向量数据库(MyScaleDB)以及模型上下文协议(MCP)的视频湖数据分析系统时,长视频的时序切片(Video Chunking / Temporal Segmentation) 是决定整个系统检索召回率(Recall)、时序定位精度(Temporal Grounding mIoU)以及离线算力成本上限的咽喉工程。

工程实践表明,将完整长视频直接送入多模态大语言模型会导致灾难性的 “上下文Token爆炸” 与显存溢出。以 Qwen3-VL 的视觉分词器(Visual Tokenizer)为例,其Token计算逻辑近似遵循帧数与时间戳及单帧视觉Token乘积的线性扩张关系,即 Token总数≈Nframes×(Ntimestamp+Nvisual_tokens_per_frame)\text{Token总数} \approx N_{\text{frames}} \times (N_{\text{timestamp}} + N_{\text{visual\_tokens\_per\_frame}})。当以 1 FPS1\text{ FPS} 的基础采样率处理一段2小时的长视频时,系统将产生 7,2007,200 帧图像,经过 Qwen3-VL 视觉编码后会膨胀至 1,620,0001,620,000(1.62M1.62\text{M})个视觉Token,远超常规单次推理的上下文预算(如 224K224\text{K} 至 256K256\text{K} 上下文上限)。即便针对一段仅 6161 秒、分辨率为 720×1280720 \times 1280 的短视频,在 vLLM 在线推理环境下以 1 FPS1\text{ FPS} 抽帧,其输入Prompt Token数量亦高达 11,98111,981 个(合每秒约 196196 个视觉Token),且 Qwen3-VL 引入的时间戳编码与动态分辨率缩放(smart_resize)进一步增加了在线推理调度的复杂性。

因此,将单个视频切片严格限制在 10s10\text{s} 至 15s15\text{s} 以内,是将单切片视觉Token稳定控制在 2,0002,000 至 3,0003,000 区间、防止模型静默截断(Silent Truncation)并实现高吞吐并发特征提取的刚性物理约束。

然而,如何在满足 10s10\text{s}–15s15\text{s} 刚性时长上限的同时,确保每个切片在语义上是高内聚、细粒度的原子叙事事件(Atomic Narrative Unit),学术界在2025年至2026年11月期间经历了一场深刻的反思与范式重构。

控制 Qwen3-VL 视觉Token膨胀并引入多模态叙事边界可显著提升检索精度
Qwen3-VL 视觉 Token 开销与视频时长对比(1 FPS 采样,对数尺度) 硬件上限: 224,000 Tokens
10–15s 推荐原子切片 (安全区) 61s 镜头片段 (短片段) 2小时完整长视频 (上下文爆炸) 224K 硬约束阈值
Qwen3-VL 上限: 224K
10–15s 原子切片 (目标12s)
2,400 Tokens
61s 镜头片段 (720p)
11,981 Tokens
2小时完整长视频
1.62M Tokens
1K 10K 100K 1M
叙事切分: Scene-VLM 相对增益
MovieNet-318 测试集(视觉+字幕多模态)
F1 增益 (+pt) AP 增益 (+pt)
对比 Trans4mer
+13.7
+6.0
对比 MEGA
+6.8
+8.2
+0 +5 +10 +16
时序定位: Movie RAG + 动态窗口扩展
CoM²-Bench (Qwen3-VL-Embedding-2B)
固定切片基线 + AWS 动态扩展
mIoU (平均交并比)
18.5%
26.8%
R@1@0.7 (高召回率)
34.8%
43.2%
0% 20% 40% 52%

说明与数据来源:

  • 说明:上半部分展示在 1 FPS 采样率下不同视频时长对应的 Qwen3-VL 视觉 Token 消耗量,将切片控制在 10 至 15 秒可将单次推理负载压缩至 2,000–3,000 Token 安全区间。下半部分展示 2026 年代表性范式的实测增益:左侧为 Scene-VLM 相比传统编码器方法在 MovieNet-318 上的 F1 与 AP 提升百分点;右侧为基于 Qwen3-VL-Embedding-2B 的 Movie RAG 引入动态窗口搜索(AWS)前后的时序定位精度对比。
  • Data sources: arXiv: Scene-VLM, ResearchGate: Grounding Confusable Movie Moments, arXiv: Movie RAG (CoM²-Bench), Shimmyo Lab (Token 计算), Qwen3-VL 规格 (Issue #1540), Qwen3-VL 实测 (Issue #1795)。
阅读全文 »

在当前大模型检索增强生成(RAG)与智能体(Agent)知识库的工程实践中,整个技术圈几乎陷入了一种 “重型基础设施内卷”:

只要遇到复杂的知识检索或多跳推理需求,团队的第一反应往往是:上昂贵的 Embedding 向量模型、上分布式向量数据库(Milvus / Qdrant)、甚至耗费数十万次 LLM 调用提取离线知识三元组去堆砌复杂的 GraphRAG。

然而,当系统真正进入生产运维阶段,软件开发工程师很快就会遭遇残酷的工程痛点:

  1. 离线建库成本爆炸:成千上万篇文档切片向量化和图抽取极度缓慢,耗尽 GPU 算力;
  2. 增量维护是一场噩梦:业务文档改动频繁,知识图谱或稠密向量只要修改一行,全局拓扑与索引的一致性维护让人痛苦不堪;
  3. 多跳逻辑严重脱节:向量相似度本质是“表面语义匹配”,根本无法解决诸如“A 关联 B,B 关联 C,但 A 与 C 语义差异极大”的隐式多跳事实链。

近日,来自 Zleap AI(智跃深空) 的独立研究者 吴宇超(Yuchao Wu) 发表了一篇极具反叛精神与工程启发性的论文:

《SAG2: Embedding-Free Multi-Hop Retrieval with BM25 and JEV》 (arXiv:2610.22588)
论文链接:https://arxiv.org/abs/2610.22588
HTML 格式:https://arxiv.org/html/2610.22588
开源项目:https://github.com/Zleap-AI/SAG-Wiki
基准评测:https://github.com/Zleap-AI/SAG-Benchmark
核心结论:彻底抛弃向量(Embedding-Free),不做离线图抽取,仅依靠单文件 SQLite 倒排索引(BM25)与轻量判别模型 JEV 的在线扩展,在 MuSiQue、2WikiMultiHopQA 等多个多跳基准上全面超越传统向量 RAG 与 GraphRAG!

本文将站在软件开发工程师、系统架构师与后端研发的视角,深入剖析 SAG2 的问题解决范式、状态机检索循环、工程直觉,并对其闭源 JEV 依赖的局限性、自研开源替代方案(以及近期开源的 AgentScope Piccolo 决策模型所带来的终极平替),以及向视频文字多跳检索的架构泛化进行深度探讨。

阅读全文 »

在视频多模态大模型(Video-VLM)领域,视频时序定位(Temporal Video Grounding, TVG) 是评估模型是否真正“看懂时间”的核心标尺:给定一段长视频与一句用户自然语言查询(例如“找出小猫跳进纸箱的瞬间”),模型需要精准返回目标事件在时间轴上的物理起止点 [s,e][s, e](秒)。

尽管当前的通用视频大模型(如 Qwen2.5-VL、InternVL 等)在长视频问答、事件摘要上表现惊艳,但在输出具体起止时间戳时却频频翻车、误差巨大。

为了提升定位精度,传统工业界与学术界不得不陷入两难泥潭:要么斥巨资雇佣大量人工“逐秒逐帧打标起止边界”,搞昂贵的监督微调(SFT);要么在推理端挂上一堆繁琐特征提取与滑动窗口聚类等外挂后处理流水线(Training-free 方案),导致线上服务延迟爆炸、运维成本失控。

难道离开昂贵的人工标注,大模型就真的无法学会精准感知时间吗?

近日,来自上海交通大学与蚂蚁集团的研究团队在 arXiv 上公开了一篇兼具敏锐直觉与工程巧思的前沿成果:

《SAPO: Self-Supervised Attention Policy Optimization for Improving Temporal Video Grounding in Vision–Language Models》 (arXiv:2610.25923)
论文链接:https://arxiv.org/abs/2610.25923
HTML 格式:https://arxiv.org/html/2610.25923
核心关键词:视频时序定位、自监督对齐、强化学习微调、GRPO、时序注意力

作者通过严谨的白盒解剖提出了一个颠覆性的发现:大模型其实“心里门儿清,只是嘴上说不出来”! 模型内部的跨模态注意力早在浅中层就已经锁定了正确的时间区间,只是在自回归解码为文本字符时丢失了精度。

基于这一洞察,作者提出了 SAPO(Self-Supervised Attention Policy Optimization) 框架:全程无需任何人工起止标注(Zero Ground Truth),巧妙地将模型自身的内部注意力作为自我监督信号,引入组相对策略优化(GRPO),仅凭区区 2,000 条未标注视频,便让 Qwen2.5-VL-3B 定位精度暴涨 33.7%,且在生产端具备 0 额外推理延迟!

本文将从系统架构与工程实现的视角,深度拆解 SAPO 的核心诊断、奖励引擎机制、高价值样本筛选算法与工业落地价值。

论文题目:SAPO: Self-Supervised Attention Policy Optimization for Improving Temporal Video Grounding in Vision–Language Models
作者团队:Zixuan Chen, Depeng Wang, Wei Chen, Ke Xu, Ya Guo, Huijia Zhu, Tanfeng Sun, Xinghao Jiang(上海交通大学、蚂蚁集团)
收录情况:arXiv 预印本(2026年10月)
论文链接:https://arxiv.org/abs/2610.25923

阅读全文 »

在多模态大模型(MLLM,如 Qwen-VL、InternVL、LLaVA)加速走向端侧智能硬件(智能手机、车机座舱、具身机器人、AI 智能眼镜与工业边缘网关)的过程中,每一位负责模型工程化部署的软件工程师都会撞上一堵冰冷的物理现实之墙:

16-bit 浮点(BF16/FP16)模型太重了,既吃光了端侧极为拮据的板载内存(DRAM),又在端侧无风扇散热被动受限的微瓦/毫瓦级功耗下频繁触发热降频。

以一个典型的 2B~3B 端侧多模态模型为例,仅权重本身就需要 4GB~6GB 存储,加上 KV Cache 和激活值,在边缘设备上几乎无法常驻;而端侧边缘 AI 芯片(NPU / ASIC)往往只配置了低功耗的整数计算单元(INT MACs),浮点算力极为昂贵。因此,将模型做权重与激活值的“双低比特量化”(如 W4A8、W4A4)是端侧部署的必经之路。

然而,一旦将模型从 8-bit(W8A8)进一步下压到 4-bit(W4A8/W4A4),工程师们会遭遇灾难性的“量化雪崩”:

  • 小尺寸模型容错率极低:在 70B 大模型上表现良好的量化技巧,用到 2B 模型上会瞬间瘫痪;
  • 视觉认知彻底失控:直接量化后,语言生成能力尚存,但多模态图表理解与细粒度感知准确率直接归零(0%);
  • 学术界既有方案的工程落地困境:许多算法论文引入复杂的在线旋转矩阵(如 Hadamard Rotation),看似刷高了准确率,但在端侧专用芯片上却需要专门开辟硬件逻辑或引入昂贵的额外算子,带来严重的运行时延迟与硬件开销。

2026 年 11 月,来自香港科技大学(HKUST)、西北工业大学(NWPU)、中国电信人工智能研究院(TeleAI)与清华大学(Tsinghua)的联合研究团队在 arXiv 上发表了针对端侧多模态量化训练的破局之作:

论文题目:ProQuant: Progressive Quantization-aware Training for Edge MLLMs
论文作者:Yufei Xue, Yushi Huang, Jiawei Shao, Pingcheng Dong, Yonghao Tan, Shiyao Li, Kwang-Ting Cheng, Jun Zhang
论文链接:https://arxiv.org/abs/2611.08216
HTML 格式:https://arxiv.org/html/2611.08216
开源代码:https://github.com/yufeixue-ai/ProQuant/
核心成果:面向端侧多模态的低比特量化感知训练框架 ProQuant,提出自重标注(SRL)消灭数据风格偏差,首创解耦视觉与语言能力的渐进式分块激活(PBA),并在台积电 22nm 真实流片 ASIC 芯片上验证了最高 3.64× 的 Prefill 提速与 3.9× 的 Decode 稳定提速。

本文将摒弃复杂的算法公式堆砌,立足于 软件开发工程师、系统架构师与后端研发 的视角,从数据契约对齐、系统分阶段灰度调度、端侧硬件 Memory-bound / Compute-bound 物理瓶颈等工程维度,深度拆解这一极具实用价值的工程落地范式。

阅读全文 »
0%