【论文分享】不用重训模型也能打补丁?Viscot-Steer:基于激活干涉与状态机重塑视觉思维链迁移
在当下的多模态大模型(LVLM)演进中,视觉思维链(Visual Chain-of-Thought, Visual-CoT) 正成为模型实现高阶推理的核心能力。
与早先简单粗暴的“输入图片直接猜答案”不同,具备 Visual-CoT 能力的模型(如 DeepEyes)在看图作答时展现出类似于人类专家的系统性思考模式:
- 推理解析(Reasoning):“要回答这道题,我需要先在图里找到对应的标线或元器件。”
- 视觉定位(Grounding):“找到了,定位坐标框为
[120, 340, 180, 420]。” - 最终答题(Answer):“结合上述视觉证据,得出最终结论。”
然而,在产业落地与多端部署中,算法与工程团队常常陷入一个两难的尴尬境地:
- 大模型很聪明,但吃不下资源:拥有完整 Visual-CoT 能力的开源模型往往体积庞大、依赖昂贵算力,难以在边缘端或低延时服务中大规模部署。
- 小模型跑得飞快,但“眼瞎心盲”:若想让 3B、4B 或其他异构架构的模型也拥有同等能力,传统的唯一路径是重训或监督微调(SFT / DPO)。但这需要昂贵的多模态高质量打标数据、漫长的训练周期,并且一旦基座升级,所有适配成本都得从头再来。
针对这一痛点,中国科学技术大学与新加坡国立大学团队近期在 arXiv 提出了一个极具软件工程美感的全新范式:
论文题目:Viscot-steer: Disentangling and Transferring Visual Chain-of-Thought via Activation Steering
论文编号:arXiv:2611.11209
论文链接:https://arxiv.org/abs/2611.11209
HTML 预览:https://arxiv.org/html/2611.11209
核心成果:完全无需反向传播训练(Training-Free,0 参数更新),仅凭“静态提取能力向量差分 + 运行时时序状态机动态注入”,跨架构成功将 DeepEyes-7B 的 Visual-CoT 能力无缝移植到 Qwen2.5-VL、Qwen3-VL、InternVL 等异构小模型上,并在 V*、HR-Bench 4K 上实现 +6.28% 至 +14.13% 的显著涨点。
初读这篇论文,算法工程师可能会关注其激活差分与频域变换的数学细节;但站在软件工程师、后端架构师与系统研发的角度,这篇论文堪称一份令人拍案叫绝的 “AI 运行时热补丁(Monkey Patch)与 AOP 切面拦截”架构实战。
本文将剥开晦涩的学术包装,用软件开发者的代码与系统视角,深入拆解其工程实现范式与问题解决直觉。