【论文分享】把1000个向量压成4个!解密KAUST前沿论文GLIE:如何用生成式晚期交互破除多模态RAG与视频检索的存储魔咒
在多模态检索增强生成(Multimodal RAG)与图文检索领域,基于视觉语言大模型的 视觉文档检索(Visual Document Retrieval, 如 ColPali) 彻底颠覆了传统的“OCR 提取文字 + 文本分块”模式。它直接把 PDF 页面当成高分辨率图片,输入视觉大模型切片成上千个细粒度 Patch 向量,通过晚期交互(Late Interaction / MaxSim)直接对齐复杂的排版、表格和图表,检索准确率达到全新高度。
然而,在学术成果走向工业落地的第一天,软件架构师们就被迎面而来的工程噩梦拦住了去路:极其恐怖的存储与显存开销。一页文档就需要保存约 1024 个高维向量,100 万页文档意味着要在向量数据库中常驻 10 亿个向量,单机内存根本无法承载,甚至会直接把云端向量数据库的账单打爆。
近日,来自阿卜杜拉国王科技大学(KAUST)与 Edge Hill University 的研究团队在 arXiv 上发表了一篇极具工程洞察力和落地价值的论文:
《Generative Late-Interaction Embeddings For Visual Document Retrieval》 (arXiv:2609.11808, 2026)
论文提出了 GLIE(生成式晚期交互嵌入) 框架。研究团队通过微分几何分析发现:虽然页面有上千个切片向量,但其本质自由度(内在维度)极低。基于此,GLIE 提出了 “存几枚骨架锚点,现场按需超分辨率还原” 的全新范式——每页仅存 4 到 16 个代码向量(存储缩减 98% ~ 99.6%),在仅有 415K 参数的极轻量网络驱动下,召回候选后动态还原出 1024 个向量做精排,保留了原本模型 80% 以上的高保真精度!
论文题目:Generative Late-Interaction Embeddings For Visual Document Retrieval
作者团队:Mohamed Eltahir, Talal Aloushan, Rose Khairoalsendi, Jana Shata, Mohammed Alhassan, Leen Alrehaili, Tanveer Hussain, Naeemullah Khan (KAUST, Edge Hill University)
论文链接:https://arxiv.org/abs/2609.11808
开源代码:https://github.com/mohammad2012191/GLIE
核心领域:Visual Document Retrieval (VDR), Multimodal RAG, Late Interaction, ColPali, Vector Compression, Video Search