论文分享栏目索引,按主题分类,随论文笔记持续增量更新,各分类内按论文原文日期降序排列。

“论文日期”指论文原文首次公开的时间:arXiv 论文取 v1 提交日期,期刊与会议论文取正式出版时间。

阅读全文 »

在多模态大模型(MLLM)和多模态向量嵌入(Multimodal Embedding Models, MEMs)飞速发展的今天,各大模型厂商的宣发通稿里,“支持 32K 甚至 128K 超长上下文”、“支持全模态统一特征对齐”几乎成了标配。

对于许多想要开发 “多模态输入 + 向量数据库(SQL 混合检索)+ 精准视频片段召回” 产品的软件开发工程师而言,直觉上的架构设计似乎非常简单直接:

“既然模型支持 32K 超长上下文,那我就把长达 10 分钟甚至 1 小时的长视频直接抽帧,塞给多模态 Embedding 模型提取一个整体高维向量,存入 pgvector 或 Milvus,用户输入一句话或者一张图,直接做余弦相似度查询不就完事了吗?”

然而,一旦在真实业务中上线这套方案,系统往往会遭遇密集的 Bad Case 轰炸:

  1. 时序动作彻底错乱:用户搜“先倒油再下锅煎蛋”,排在第一位的视频片段居然是“先下锅煎蛋再倒油”;
  2. 中间时段频繁漏检:一段 10 分钟的视频,发生在第 5 分钟的核心动作死活搜不出来,反而开头和结尾的无关画面频频被召回;
  3. 图文混合噪点污染:用户传了一张参考图加一句话,结果检索出的视频被背景里的无关元素带偏;
  4. 算力成本居高不下:咬牙花大价钱租卡上线了 8B 参数的大模型提向量,检索质量却跟 2B 模型毫无两样。

难道厂商宣传的长上下文向量模型,在工业落地上真的是一张“空头支票”?

近日,来自 苏州大学(Soochow University)与蚂蚁集团(Ant Group) 的研究团队在自然语言处理顶会 EMNLP 2026 上发表了一篇极具工程洞察的重磅论文:

《MMLongEmbed: Benchmarking Multimodal Embedding Models in Long-Context Scenarios》
论文链接:https://aclanthology.org/2026.emnlp-main.2586.pdf
开源代码:https://github.com/AmamiSora1228/MMLongEmbed
评测模型:Qwen3-VL-Embedding (2B/8B), Ops-MM-embedding (2B/7B), RzenEmbed-v2-7B, Doubao-Seed-1.6, Embed-RL, GME-Qwen2-VL, VLM2Vec 等 11 款主流开源与商用模型

作者设计了一套严密而苛刻的基准测试集 MMLongEmbed,不仅用控制变量法彻底“实锤”了当前长多模态向量模型的 四大核心工程缺陷,还为真实检索系统的Token算力规划、两阶段粗排精排、分层索引设计以及数据库表结构提供了教科书级别的实战指导。

本文将完全抛弃生涩的算法数学证明,从 软件开发工程师(后端/全栈/系统架构) 的视角,深入拆解这篇论文的核心结论,并给出基于 PostgreSQL + pgvector 的全链路落地解决方案。

阅读全文 »

在上一篇博文《告别多模态内耗:为什么传统对比学习会“左右互搏”?ICML 2026 新作 UniAlign 深度拆解》中,我们曾深入剖析过多模态表示学习在几何受力层面的噩梦:当模态数量从 2 个扩展到 3 个及以上时,传统的 InfoNCE 对比学习会在空间里引发排斥与拉拢的内耗冲突(ζ\zeta 冲突)与多方非共线拔河的撕裂(χ\chi 冲突),最终导致特征空间四分五裂,形成坚不可摧的“模态鸿沟(Modality Gap)”。

UniAlign 给出了一套极其优雅的解法——通过解耦模态内排斥与单向锚点对齐,在几何上把扭曲撕裂的空间“熨平”了。

然而,一个更深层的终极拷问随之而来:
如果我们把几何受力调平了、模态鸿沟填上了,多模态融合就算真正成功了吗?

答案可能会出乎很多人的意料:远远没有!

近日,来自西南财经大学、电子科技大学、中科院深圳先进院等机构的研究团队在人工智能顶级会议 NeurIPS 2026 发表了一篇极具批判性视角的力作:

《HRIL: Learning Multimodal Synergy via Higher-Order Tensor Modeling》 (arXiv:2610.12393)
论文链接:https://arxiv.org/abs/2610.12393
开源仓库:https://github.com/brightest66/HRIL

更有趣的是,这篇论文在第 3.2 节中,白纸黑字地将 UniAlign(arXiv:2602.09507)作为核心参考文献 [51] 引了进来。如果说 UniAlign 治好的是多模态在空间几何上的“肢体骨折”,那么 HRIL 试图治愈的,则是多模态在信息论层面的“灵魂失忆”——协同效应(Synergy,即跨模态化学反应)的彻底丢失!

本文将结合代码实现、数学推导与实验数据,带你深入拆解这篇刚刚出炉的 NeurIPS 2026 论文,并以程序员的工程视角,冷思考它距离工业级大模型落地究竟还有多远。

阅读全文 »

在当今企业级多模态检索系统、视频知识库、多模态智能体(Agentic RAG)与本地端侧 AI 应用的研发中,软件工程师与系统架构师们最常遭遇的工程梦魇莫过于——多模态处理链路的“胶水化”与“臃肿化”。

面对音视频、图片与图文混排文档,传统的工程做法往往是将系统拆分为多级微服务流水线:音频 -> ASR 语音识别服务 -> 纯文本 -> 文本向量模型;或者 图片/视频帧 -> Caption 视觉打标服务 -> 文本向量模型。这种架构在工程上带来了灾难性的级联延迟、显存翻倍与网络 I/O 开销,更导致了严重的不可逆信息衰减(ASR 错字导致整条检索失败,Caption 抹杀细粒度几何视觉与背景声音)。而另一派做法——直接调用 8B 乃至几十 B 的重型多模态大模型(MLLM)提取向量,高昂的 GPU 显存门槛和低下的 QPS 吞吐,又让端侧部署与高并发服务化沦为天方夜谭。

2026 年 10 月底,Google 的 EmbeddingGemma 团队在 arXiv 上发布了最新前沿工作:

《EmbeddingGemma 2: Unified and Efficient Multimodal Representations》 (arXiv:2610.37364, 2026)

论文提出了轻量级、开源全模态向量模型 EmbeddingGemma 2。它仅用 744M 总参数量(纯文本仅 271M,图文仅 439M),以极具工业美感的“微内核 + 插件化”架构,将文本、图像、音频、视频乃至任意交错图文音混合数据原生映射至同一个 768 维超球面几何空间。在 Google Pixel 11 Pro 端侧设备上,其 INT4 量化版本的运行时峰值内存最低仅需 191 MB,一举打破了多模态表征在大模型时代的“显存墙”与“延迟墙”!

论文题目:EmbeddingGemma 2: Unified and Efficient Multimodal Representations
作者团队:Henrique Schechter Vera, Sahil Dua, Jovan Andonov, Tom Duerig, Mojtaba Seyedhosseini 等(Google EmbeddingGemma Team)
论文链接:https://arxiv.org/abs/2610.37364
开源地址:https://ai.google.dev/gemma/docs/embeddinggemma
开源协议:CC BY 4.0(权重与代码完全开源开放)
核心领域:Multimodal Embeddings, Vector Retrieval, Video Moment Retrieval, Audio Understanding, On-Device AI, Matryoshka Representation Learning (MRL)

阅读全文 »

在多模态大语言模型(MLLM)迅速迈向视觉深度推理与长视频理解的今天,我们往往要求 AI 具备两种看起来形影不离的核心本领:

  1. 细粒度区域理解(Region Understanding / Captioning):给模型画面中的一个指定区域(比如一个红框、一段分割掩码、或视频中的某几秒),模型能详尽写出这里究竟发生了什么;
  2. 指代性定位(Referring Localization / Grounding):反过来,给模型一句自然语言(如“穿黄色雨衣戴红帽子的男孩”),模型能准确把物体框出来,或者在视频时间轴上精准标记出起止时间戳。

然而,长期以来业界在这两个方向的训练上存在着严重的割裂与监督瓶颈:

  • 教模型“写描述”通常依赖成本极其高昂的人工文字标注;
  • 教模型“找位置”则依赖规则化的几何坐标损失;
  • 两种训练彼此独立、缺乏约束——一句文字通顺流畅的描述,可能根本无法唯一锁定源物体;而一个定位极其精准的检测器,也无法反哺语言描述能力的进化。

近日,来自新加坡国立大学(NUS)、中国科学院大学(UCAS)、南洋理工大学(NTU)以及陶大程院士团队发表了重磅前沿成果:

《Generalized CycleGRPO for Fine-Grained Multimodal Understanding and Grounding》 (arXiv:2610.29552)

该研究在他们此前 ECCV 空间图像成果的基础上,提出了一套通用的广义循环强化学习框架(Generalized CycleGRPO)。它利用“费曼学习法”式的自省逻辑:让模型先看区域写出描述,再根据自己写的描述把原区域“找回去”。找回的几何重叠度(IoU)就是天然客观、无需人工裁判的强化学习奖励。 更重要的是,该方法一举打通了 2D 静态图像空间、1D 视频时序区间以及四维时空动态轨迹。

论文题目:Generalized CycleGRPO for Fine-Grained Multimodal Understanding and Grounding
作者团队:Xin Zhang, Haochen Wang, Beibei Lin, Zhaoxiang Zhang, Robby T. Tan, Jason Li, Dacheng Tao (NUS, UCAS, NTU 等)
论文链接:https://arxiv.org/abs/2610.29552
arXiv HTML:https://arxiv.org/html/2610.29552v1
项目主页:https://devinxzhang.github.io/Generalized-CycleGRPO-Page/
核心领域:Multimodal LLMs, Reinforcement Learning (GRPO), Temporal Grounding, Referring Segmentation, DOVE Benchmark

阅读全文 »
0%