【论文分享】给大模型推理安上“并发预读器”:解密阿里通义新作 SpecOPD 如何用分支并行在线蒸馏破除推测解码吞吐魔咒
在大语言模型(LLM)与复杂的智能体系统(Agentic Workloads、代码生成、长链条推理)走向企业级生产落地的过程中,软件工程师与系统架构师们最常遭遇的性能梦魇就是——大模型“逐字蹦”带来的高交互延迟。
即使后端硬件堆满了顶级的企业级 GPU,显卡算力往往依然被严重闲置。大模型自回归(Autoregressive)串行生成的本质,使得推理过程极度受限于显存带宽(Memory-Bound)。为了打破这一物理枷锁,推测解码(Speculative Decoding, SD) 成为了近年来大模型服务层(如 vLLM、SGLang、TensorRT-LLM)的核心标配:由轻量级“草稿小模型(Drafter)”极速草拟一批候选 Token,再由高精度“目标大模型(Target)”在单次前向计算中批量核验。
然而,推测解码在迈向超高加速比的过程中遇到了新的死穴:小模型的采纳率(Acceptance Length)极易撞上天花板,而为了突破天花板所必需的“在线策略蒸馏(On-Policy Distillation)”,其数据采集过程又陷入了严重的串行循环,导致 GPU 利用率低下、训练吞吐量惨不忍睹。
2026 年 11 月,阿里巴巴通义团队(Qwen Business Unit)联合中科大、浙大、CMU、爱丁堡大学等顶尖机构,在 arXiv 上发布了重磅前沿论文:
《SpecOPD: Branch-Parallel On-Policy Distillation for Speculative Decoding》 (arXiv:2611.02846, 2026)
论文提出了 SpecOPD(基于分支并行的在线策略蒸馏) 框架。研究团队深刻洞察到:在线策略监督并不依赖于传统“猜一步-验一步”的串行回放,而是可以从基准上下文锚点并发派生独立分支。通过候选树前缀计算复用与直接面向连续采纳长度优化的 E2E-TV 目标,SpecOPD 实现了 的训练数据吞吐量暴增,使草稿模型的平均采纳长度最高跃升 ,并为大模型推理带来了最高 的端到端推理加速!
论文题目:SpecOPD: Branch-Parallel On-Policy Distillation for Speculative Decoding
作者团队:Tianyu Liu, Jun Zhang, Wenjie Huang, Yuhao Shen, Tianqi Xu, Xinyue Hao, Hongyaoxing Gu, Xuyang Liu, Baolin Zhang, Yating Zhu, Shuang Ge, Jun Dai, Lei Chen, Yue Li, Mingchen Wan (Alibaba Qwen, USTC, ZJU, CMU, Edinburgh, HK PolyU)
论文链接:https://arxiv.org/abs/2611.02846
开源生态基线:DFlash (GitHub) | Draft-OPD (GitHub) | Qwen3.8-27B-DFlash2 (HuggingFace)
核心领域:Large Language Models (LLM), Speculative Decoding, On-Policy Distillation, Inference Serving, Agentic Workloads, Training Efficiency