【论文分享】告别被动问答:AURA 2.0 如何用流式事件循环与分级记忆打造 344ms 极速主动多模态助手
在过往的多模态大模型(Multimodal LLMs)应用开发中,后端与算法工程师普遍面临着一个根本性的交互范式桎梏:系统本质上是一个单向、被动、同步阻塞的“请求-响应”(Request-Response / RPC)模型。
- 传统模式(Passive Query-Driven):用户不主动打字或发语音,模型就处于深度休眠;用户上传一段 30 秒的视频并提问,服务端执行一次耗时数秒的重量级 Pre-fill 推理,然后全量吐回结果。
- 理想模式(Proactive Event-Driven):AI 助手应该像坐在你副驾驶的老司机或身旁的真人助理一样,保持对环境的“全天候低功耗感知”。大多数时候它安安静静,但在发现关键事件(如你锅里的水烧开了、组装家具用错了螺丝、窗外出现著名地标)时,能够主动开麦提醒(Model-Initiated Conversation, MIC),并在说话时同步调取外部 API(SATC)或在屏幕画框标出目标(IVG)。
然而,要想在工程上落地这种“全天候流式视频交互”,有两座近乎绝望的大山挡在软件工程师面前:
- 显存与计算的 爆炸:源源不断的视频流以每秒数十帧的速率推入,如果把历史帧无休止塞进 Context Window,显存不出几分钟就会 OOM,且自注意力延迟随时间持续飙升;
- 极高频决策下的并发吞吐崩溃:如果系统每秒对视频帧轮询判定一次,那么在真实世界 95% 以上“无事发生”的平淡场景下,服务器都在浪费宝贵的 GPU 算力执行无效前向传播与语音合成。
针对这些痛点,香港中文大学(CUHK)等团队重磅推出了开源流式视频大模型框架 AURA 2.0:
论文题目:《AURA 2.0: From User-Driven Responses to Model-Initiated Conversations in Streaming Video》
论文链接:https://arxiv.org/abs/2611.17048 (HTML 版本:https://arxiv.org/html/2611.17048)
官方开源仓库:https://github.com/aurateam2026/AURA
开源模型权重:https://huggingface.co/aurateam/AURA (基于 Qwen3.5-9B 全参数微调)
核心工程贡献:基于流式时间片(Chunk)的状态机控制协议、LSM-Tree 风格的分级记忆压缩(LHIM)、三阶段防遗忘微调流水线、以及端到端仅 344ms 客户端首包音频延迟(TTFP) 的极低时延推理优化。
本文站在 软件开发工程师与分布式系统架构师 的视角,跳过复杂的学术套话,深度拆解其 系统架构、分级存储设计、双端短路机制与工程权衡(Trade-offs)。