Lewlh's blog

在当今的大模型世界里，多模态（看图、看视频、图文互搜）已经成了各大 AI 巨头的标配。但只要你稍微深入测试过现在的多模态大模型，就会发现一个令人啼笑皆非的现象——它们普遍都是严重的“近视眼”加“逻辑关系盲”。

给 AI 一张图片：“一只猫趴在一条大狗的背上”。

• 问它：“图里有猫吗？有狗吗？” —— 它回答神速且准确：“有猫，有狗。”
• 追问它：“到底是谁趴在谁背上？谁压着谁？” —— 它立刻开始抛硬币瞎猜，经常自信地把“猫骑在狗身上”说成“狗压在猫身上”。

在国际著名的多模态因果评测集（如 Winoground）上，让主流多模态模型区分“一个人咬了一条狗”和“一条狗咬了一个人”，模型的表现跟瞎蒙相差无几。

近日发表的前沿重磅论文 《Multimodal Grounding via Contrastive Scene Graphs》 提出了一个直击多模态认知底层的灵魂拷问：

当多模态大模型面对真实画面时，它到底是在靠海量参数“盲猜字词撞衫”，还是真正看懂了物体之间的“空间拓扑与因果因由”？

论文作者通过严格的数学推导与对比实验给出了颠覆性的解法：打破传统的“像素小切片拼图”范式，将图像升维为结构化的“对比场景图（Contrastive Scene Graphs）”！这一架构不仅让模型在复合视觉问答（Compositional VQA）上的得分暴涨 18 个百分点，更以极小的算力代价，为多模态模型从“盲目堆算力数像素”的 1.0 时代迈向“认知结构化”的 2.0 时代指明了清晰路径。

论文题目：Multimodal Grounding via Contrastive Scene Graphs (SceneAlign: Aligning Multimodal Reasoning to Scene Graphs)
作者团队：Chuhan Wang, Xintong Li, Jennifer Yuntong Zhang, Junda Wu, Julian McAuley, Jingbo Shang 等 (UC San Diego, U of Toronto)
论文链接：https://arxiv.org/abs/2601.05600
arXiv HTML：https://arxiv.org/html/2601.05600
开源代码库：https://github.com/chuhanw/SceneAlign
核心领域：Multimodal Grounding, Scene Graphs, Compositional Reasoning, Vision-Language
技术亮点：结构化关系嵌入、硬负样本对比学习、端到端图文对齐

在大模型研发领域，长期存在着一种说不清道不明的“糊涂账”：很多团队宣称自己的数据清洗天下第一，但在训练时，他们往往悄悄换了更先进的位置编码、加了特殊的优化器、调整了模型超参数。外界根本分不清：它的模型跑分高，到底是因为数据真的洗干净了，还是因为它的模型架构偷偷占了便宜？

在我们上一篇探讨的 【论文分享】大模型“醒酒哲学”：Hugging Face 如何从 15 万亿互联网泥沙中淘出纯金（FineWeb） 中，我们见证了 Hugging Face 如何用极具匠心的工艺打造出一套顶级的“数据淘金滤网”。

而在同一时期，由 Apple、华盛顿大学（UW）、丰田研究院（TRI）、哥伦比亚大学 等顶尖机构联合发布的重磅里程碑论文 《DataComp-LM: In search of the next generation of training sets for language models》（简称 DCLM），则带着极其罕见的**“科学洁癖”，直接为全世界的大模型数据建立了一套绝对公平的“标准化高考竞技场”**！

这篇论文最大的特色，就是彻底排除了一切模型架构的干扰，将神经网络和训练参数全部焊死为唯一的基准控制组，只拿数据说话。而它交出的最终实验成绩单，更是直接震撼了整个 AI 工业界：

一个标准的 7B（70 亿参数）语言模型，仅仅吃下 3000 亿（300B）精选 Token，在 53 门标准化统考中的表现，直接打平甚至反超了吃了整整 2 万亿（2.0T）Token 的行业标杆（如 LLaMA-2 7B）！

论文题目：DataComp-LM: In search of the next generation of training sets for language models
作者团队：Jeffrey Li, Alex Fang, Georgios Smyrnis, Ludwig Schmidt 等 (Apple, UW, TRI, Columbia)
论文链接：https://arxiv.org/abs/2406.11794
HTML 预览：https://arxiv.org/html/2406.11794
开源项目主页：https://datacomp.library.cmu.edu/dclm

在过去两年里，开源大模型与闭源巨头（GPT-4、Claude）之间始终隔着一道难以逾越的鸿沟。很多团队一度陷入了严重的认知误区：

• “是不是闭源大厂的 Transformer 架构有什么未公开的绝密黑科技？”
• “是不是我们的算力不够庞大、卡堆得不够多？”

全球最大的开源 AI 社区 Hugging Face 联合顶尖研究团队，在重磅论文 《The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale》 中彻底揭开了大模型行业最大的“遮羞布”：架构早就全面开源了，各大巨头真正藏在深闺里的终极武器，从来不是模型代码，而是他们秘密打磨的高纯度数据集！

这篇论文最迷人的地方在于其标题中的词汇——Decanting（醒酒/倾析）。如同侍酒师品鉴一瓶历经十年的名庄红酒一样：互联网上十年的公开网页，就像一坛积满了泥沙与碎屑的陈年浊酒；而 Hugging Face 的使命，就是把最上层清澈醇厚的 15 万亿“黄金酒液”缓缓倒出，将瓶底沉淀的粗俗垃圾尽数抛弃！

在模型架构早已全面开源的今天，大模型真正的“智商护城河”到底在哪里？是继续盲目堆叠海量无序算力，还是向数据源头的纯度要答案？

论文作者通过长达数月的工业级清洗与严密对照实验给出了震撼全行业的答卷：通过五道精密的“醒酒滤网”，不仅洗出了 15 万亿 Token 的 FineWeb 纯净语料，其教育精选版 FineWeb-Edu 更是让模型在综合学科知识（MMLU）和科学常识（ARC）上暴涨 5~10 个百分点！

论文题目：The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale
作者团队：Guilherme Penedo, Hynek Kydlíček, Loubna Ben Allal, Anton Lozhkov, Margaret Mitchell, Colin Raffel, Leandro von Werra, Thomas Wolf (Hugging Face)
论文链接：https://arxiv.org/abs/2406.17557
HTML 预览：https://arxiv.org/html/2406.17557
开源数据集：https://huggingface.co/datasets/HuggingFaceFW/fineweb

在日常使用 ChatGPT、Claude 或 DeepSeek 时，几乎每个人都踩过同一个啼笑皆非的坑——大模型一本正经地胡说八道（AI 幻觉，Hallucination）。

更让人抓狂的是，当你试图质问它：“你确定吗？你再仔细核对一下你刚才给的答案！”，AI 往往会泰然自若地看一眼自己刚才说的话，信誓旦旦地回答：“我非常确定，这完全准确。”

来自 Meta AI（前 Facebook 人工智能实验室） 的顶尖研究团队在 ACL 顶会上发表了一篇极具影响力的开创性论文：《Chain-of-Verification Reduces Hallucination in Large Language Models》（简称 CoVe，验证链）。

这篇论文没有改动神经网络的一行底层代码，也没有花几百万美元去重新训练模型，仅仅设计了一套优雅的 “自审控制流”，就将大模型在各类事实性任务中的幻觉错误直接砍掉了近 40%！

论文题目：Chain-of-Verification Reduces Hallucination in Large Language Models
作者团队：Shehzaad Dhuliawala, Mojtaba Komeili, Jing Xu, Roberta Raileanu, Xian Li, Asli Celikyilmaz, Jason Weston (Meta AI)
论文链接：https://arxiv.org/abs/2309.11495
发表会议：Findings of the Association for Computational Linguistics (ACL)

在视频安防领域，监控摄像头和无人机积累了海量视频数据。这些数据通常仅在有明确目标需求时通过人工查看，成本高且效率低，导致大部分视频数据未被有效利用，长期处于“沉默”状态，甚至最终被销毁。为充分挖掘这些视频数据的价值，我们需要通过抽帧分析提取特征，并支持以自然语言检索视频数据，从而显著提升使用效率、降低成本。要实现这一目标，类似CLIP的模型是关键技术路径。本文主要研究模型的技术水平，帮助技术人员做方案决策。本文由 Deep Research with Gemini 2.5 Pro 撰写。