最近研读了一篇极具工程启发意义的长视频大模型(Video LLM)前沿论文——《WIRE: Weight Space Implicit Representation Encoding of Frozen Video LLMs》。

在当前的视频大模型领域,大家在面对几十甚至上千帧的长视频时,普遍面临着极其严峻的工程瓶颈:Token 海啸、Prefill 耗时漫长、显存(KV Cache)频频溢出。

这篇论文跳出了传统“只在输入端(Token)打转”的思维惯性,提出了一个兼具理论美感与工程实效的破局方案:将原本塞在输入序列里的微观视频信息,通过轻量级超网络实时提炼成临时的 LoRA 补丁,直接“刷”进大模型的权重空间中。在基准测试中,它将视觉序列长度压缩了 3.5 倍,长视频前置处理速度提升了 3~4 倍,同时显存开销锐减至约 28%,且完全不影响自回归打字速度。

在此将论文的核心洞见、系统工程实现、LoRA 的特殊生成机制以及多模态权衡整理成一篇系统的技术分享笔记。

论文题目:WIRE: Weight Space Implicit Representation Encoding of Frozen Video LLMs
作者团队:Ameen Ali, Tamim Zoabi, Lior Wolf, Chaim Baskin (特拉维夫大学 / Technion 等)
论文链接:https://arxiv.org/abs/2610.17355
Papers.cool:https://papers.cool/arxiv/2610.17355

阅读全文 »

继前几天研读了通过超网络前向生成权重的前沿论文 《打破长视频的显存与计算魔咒:解析前沿论文 WIRE》 之后,今天我们来深入探讨同一时期在计算机视觉顶会开源社区引发广泛讨论的另一篇重量级论文——《Memory Internalization via Test-Time Training for Long-Video Understanding》(引入了 MIT³ 框架)。

如果说上一篇 WIRE 走的是“极速流式压缩、输入端保留压缩 Token、超网络毫秒级生成补丁”的工程路线;那么这篇来自上海交通大学与同济大学团队的 MIT³ 则走了一条更为激进且极具科幻感的“内化”路线:

“拿到一部长视频,AI 先通过测试时训练(Test-Time Training)把整部视频的记忆一次性‘刻’进脑神经网络;记完之后,彻底销毁原视频!后续不管你问 10 个还是 1000 个问题,AI 全程两手空空,以纯文本(Video-free)模式闭卷秒回。”

在这篇分享中,我们将摒弃晦涩抽象的数学黑话,系统拆解 MIT³ 的核心哲学、破解的工业难题、因果追踪与视觉记忆蒸馏的底层原理、工程复现细节以及与 WIRE 的横向架构对比。

论文题目:Memory Internalization via Test-Time Training for Long-Video Understanding
作者团队:Haonan Zhao, Jiaxuan Chen, Qingyang Liu, Shuochen Chang, Siyu Sun, Jiangtong Li, Li Niu (上海交通大学、同济大学)
论文链接:https://arxiv.org/abs/2610.26910
arXiv HTML:https://arxiv.org/html/2610.26910

阅读全文 »

在多模态长视频大模型领域,我们通常会面临一个非常棘手的矛盾:视频太长,上下文塞不下;即便勉强塞进去,每次提问都要重复扫描整部视频,算力和显存开销高得令人无法接受。

近期由 浙江大学与微软亚洲研究院(MSRA) 团队联合发布了一篇非常亮眼的前沿工作——《Write Once, Query Many: Evolving Compact Reusable Memory for Long Videos》(引入了 Video-EMem 体系),并在开源社区提供了配套的自进化脚手架框架 VideoEvoHarness。

这篇论文最吸引人的地方在于,它并没有一味追求把模型参数堆得更大,而是从经典软件架构的“读写分离(CQRS)”思想切入,提出了极具工程智慧的解决思路:

“一次写入,多次查询(Write Once, Query Many):长视频只做一次轻量化感知编译,提炼为体积削减 99.86% 的多尺度记忆;后续面对成百上千个未知问题,AI 绝不再去碰原视频,只凭精炼记忆秒级作答;更妙的是,整套记笔记与查笔记的 Python 策略代码,还能通过内置的 Coding Agent 自我演变进化!”

在这篇博客中,我们不仅会深入拆解 Video-EMem 的核心架构、双轨生成与召回率保障机制,还会结合工程师视角的深度思辨,探讨为什么学术界的自进化沙箱在生产线上不能直接动态跑,以及如何通过补齐 Embedding 环节结合 MyScaleDB 向量数据库,将这一单视频方案推向海量工业级沉睡视频流的检索实战。

论文题目:Write Once, Query Many: Evolving Compact Reusable Memory for Long Videos
作者团队:Kerui Chen, Jinglu Wang, Yun Wang, Xinjiang Wang, Yan Lu (浙江大学, 微软亚洲研究院 MSRA)
论文链接:https://arxiv.org/abs/2610.24537
arXiv HTML:https://arxiv.org/html/2610.24537
开源代码库:https://github.com/lewlh/VideoEvoHarness (原版仓库: Wei-Xin-Xu/VideoEvoHarness)

阅读全文 »

在近期大模型领域(尤其是具备长思维链 CoT 深度推理的多模态大模型)的发展中,一个普遍且棘手的痛点逐渐暴露:“过度思考(Overthinking)”。

面对奥数、几何证明等复杂难题时,深度思考(Slow Thinking)确实能显著提升准确率;但在面对海量简单问题(例如“图片里的猫是什么颜色?”、“发票总金额是多少?”)时,大模型依然会不受控地在后台自言自语,生成成百上千字的冗长推理链。这不仅带来了极高的显存延迟和 Token 计费成本,有时甚至会因为“想太多”而把自己绕晕,把简单送分题做错。

近期发布在 arXiv 上的亮眼前沿工作——《TempoMoE: Identifying and Steering Fast-Slow Thinking Experts for Efficient Multimodal Reasoning》(arXiv: 2610.25999),提出了一种极具工程巧思与认知科学隐喻的全新范式:

“大模型内部并不是铁板一块,MoE(专家混合模型)各层网络中自然分化出了擅长直觉感知的‘快思考专家’与擅长严密逻辑推导的‘慢思考专家’。通过一套完全免训练(Training-Free)的两阶段动态调度框架,系统在读题的一瞬间就能通过‘信息熵’度量题目难易度,进而动态调整专家话语权:简单题快答,难题深思——砍掉高达 35.4% 的冗余计算 Token,同时准确率反而提升 2.6%!”

本文将以通俗易懂的系统工程视角,带你彻底拆解 TempoMoE 的内在机理、从自然语言到数学熵值的端到端流水线、核心代码逻辑,以及它给工业级开源模型私有化部署带来的落地启示。

论文题目:TempoMoE: Identifying and Steering Fast-Slow Thinking Experts for Efficient Multimodal Reasoning
作者团队:Xiyue Zhang, Keru Zhou, Ziyi Wang, Bing Hu, Li Wang
论文链接:https://arxiv.org/abs/2610.25999
arXiv HTML:https://arxiv.org/html/2610.25999
核心标签:Training-Free / Multimodal MoE / Fast-Slow Thinking / System 1 & 2 / Inference Steering

阅读全文 »

在抖音、淘宝、TikTok 等电商直播业务的工程研发中,“直播高光自动化切片(Livestream Video Clipping)” 是近年来最吸金也是最具业务价值的场景之一:系统需要从主播连续数小时的带货录像中,自动识别出“主播正在讲货架上的哪件商品”,并精准把主播试穿、展示面料、讲解核心卖点的几十秒片段“咔嚓”切出来,自动合成带货短视频或挂载到商品详情页。

面对这一需求,传统的后端微服务架构设计通常会自然而然地拆解为两个独立模块:

  1. 服务 A(商品检索服务):把视频截一段,丢给多模态检索模型,在 3 万件 SKU 的底库里搜出是哪个商品(Product Retrieval);
  2. 服务 B(时间定位服务):给定商品名称或查询词(如“试穿环节”),在视频轨里通过时间定位算法找起止时间戳 [tstart,tend][t_{start}, t_{end}](Moment Localization)。

然而,当工业界真正把这套解耦架构推上线时,却遭遇了残酷的 “级联崩溃(Cascading Error)”:即使服务 A 的商品识别准确率单测能达到近 40%,但由于两个微服务特征割裂、无法互相提供支撑证据,到了实际联合评测时,系统的联合切片准确率(Pair mAP)暴跌到惨不忍睹的 10.13%!

近日,针对长视频电商直播的开创性基准与模型研究在 arXiv 发布:

论文题目:《Grounded Product Understanding in Livestream Videos》
论文链接:https://arxiv.org/abs/2609.20508
HTML 页面:https://arxiv.org/html/2609.20508
核心资产:

  1. GPUB 基准:涵盖 3,000 个真实直播切片、8,975 个高光证据段、31,831 个精细服装 SKU 的大规模评估基准;
  2. UniPro 模型:基于 2B 级小底座(Qwen3-VL-Embedding-2B)打造的多任务联合理解模型,将 Pair mAP 从 10.13% 大幅拉升到 24.58%,Top-1 联合成功率飙升至 38.81%。

本文立足于 软件开发工程师、系统架构师与后端研发 的视角,深入拆解为什么传统“检索+截取”微服务会失效、UniPro 如何用“共享缓存 + 锚点降维 + 轻量扇出”化解时序长视频的算力爆炸,以及仅需 4 张显卡的三阶段低成本工程微调落地方案。

阅读全文 »
0%