【论文分享】索引(持续更新)
论文分享栏目索引,按主题分类,随论文笔记持续增量更新,各分类内按论文原文日期降序排列。
“论文日期”指论文原文首次公开的时间:arXiv 论文取 v1 提交日期,期刊与会议论文取正式出版时间。
01. 多模态向量检索与 Embedding 训练(Embedding、Reranker、检索系统与训练配方)
| 论文日期 | 论文分享笔记 | 内容简介 |
|---|---|---|
| 2026-10-26 | 【论文分享】多模态融合的“做菜哲学”:短视频检索中融合顺序(Fusion Order)为什么至关重要? | 探究短视频多模态特征融合的先后顺序影响,实证“音频→台词→视觉”渐进融合显著优于粗暴混叠,揭示语义保真与信息瓶颈规律。 |
| 2026-10-16 | 【论文分享】看懂视频里的“谁在干什么”:VTrajEmbed 轨迹级文本-视频时空向量检索解析与轻量级复现指南 | 针对传统全局向量无法捕捉细粒度实体动态的缺陷,提出将视频解构为时空轨迹进行跨模态对齐,实现针对“谁在干什么”的高精度轨迹级检索。 |
| 2026-10-10 | 【论文分享】AI“炼丹”流言终结者:通用多模态向量到底怎样训练才真正有效?(NTU & 阿里新作硬核拆解) | 破除多模态对比学习的调参迷信,在严格基准与 MLLM 裁判下系统评估各类技巧,实证难负例加权陷阱并给出真正稳定通用的向量训练配方。 |
| 2026-06-05 | 【论文分享】别被 32K 窗口忽悠了:长视频多模态检索为何频频“翻车”?EMNLP 2026 蚂蚁与苏大新作 MMLongEmbed 深度剖析与工程实战 | 蚂蚁与苏大提出的首个长视频多模态向量基准,实测揭穿超长窗口模型“迷失在中间”与时序钝化缺陷,提供落地的切片层级检索架构指南。 |
| 2026-04-24 | 【论文分享】告别思维链内耗:为什么检索不需要“做题家逻辑”?腾讯微信 ACM MM 2026 新作 RIME 深度拆解 | 反思思维链(CoT)在向量检索中带来的冗余与语义漂移痛点,微信团队提出基于结构化改写与精炼强化学习的 RIME 架构,免除无效内耗。 |
| 2026-01-08 | 【论文深度拆解】阿里千问 Qwen3-VL 检索双子星全景解析:面向视频与多模态检索系统的工程落地实战指南 | 阿里千问多模态检索双子星全景拆解,详解双塔 Embedding 灵活截断(MRL)、QAT 量化加速与 Cross-Encoder 重排架构及端到端微服务落地范式。 |
02. 多模态表示学习与融合原理(对比学习、张量建模、视觉 Token 路线)
| 论文日期 | 论文分享笔记 | 内容简介 |
|---|---|---|
| 2026-10-27 | 【论文分享】告别“-VL”拼装车时代:华科与美团 FVQ 如何用离散 Token 追平顶尖连续视觉大模型? | 打破连续视觉表征垄断,提出因子化向量量化 FVQ 证明离散 Token 可做到语义无损,让纯离散视觉大模型追平顶尖连续视觉编码器性能。 |
| 2026-10-08 | 【论文分享】多模态融合不仅要防打架,更要化学反应:NeurIPS 2026 新作 HRIL 深度拆解 | NeurIPS 2026 论文,针对传统双模态对齐忽略多模态协同效应的问题,提出高阶张量乘积建模多模态深度“化学反应”,兼顾高维表达与轻量计算。 |
| 2026-02-10 | 【论文分享】告别多模态内耗:为什么传统对比学习会“左右互搏”?ICML 2026 新作 UniAlign 深度拆解 | ICML 2026 论文,揭示跨模态对齐与模态内均匀度相互拉扯引发的“左右互搏”内耗,提出解耦优化架构 UniAlign,从理论根源优化多模态对比学习。 |
| 2026-01-09 | 【论文分享】告别“近视眼”:对比场景图(Contrastive Scene Graphs)如何用数学与结构重塑多模态认知? | 针对多模态大模型缺乏空间拓扑感与“关系盲”痛点,引入对比场景图(CSG)结构化建模实体交互关系,大幅提升细粒度视觉定位与图文理解。 |
03. 视频时序定位与时刻检索(VTG、Moment Retrieval、视频目标定位)
| 论文日期 | 论文分享笔记 | 内容简介 |
|---|---|---|
| 2026-11 | 【论文分享】突破时域低通陷阱:MDPI 2026 论文 FE-DETR 如何用频域专家与区分损失实现毫秒级视频时刻精准定位 | 针对 Transformer 时域低通滤波导致边界模糊的硬伤,引入 1D 傅里叶频域专家网络与区分损失,实现高动态视频时刻的毫秒级精准定位。 |
| 2026-05-13 | 【论文分享】告别昂贵的人工标注:NeurIPS 2026 EvoGround 开启视频时序定位的“双智能体自进化”新范式 | NeurIPS 2026 论文,构建生成与验证“双智能体自进化”博弈框架,摆脱昂贵人工标注,以数据自闭环驱动视频时序定位模型自主迭代。 |
| 2025-08-21 | 【论文分享】以视频搜视频的“时间橡皮筋”:解析 ICCV 顶会《MATR》如何用 Soft-DTW 与向量数据库重塑海量视频秒级定位 | ICCV 顶会论文,针对以视频搜视频中节奏与时长差异难题,提出基于 Soft-DTW 的弹性时间规整算法(MATR),重塑海量视频秒级子片段匹配。 |
| 2025-08-10 | 【论文分享】长视频定位别做“猜时间题的做题家”:ICLR 2026 华南理工&字节跳动 Invert4TVG 论文解析 | ICLR 2026 华工与字节跳动新作,逆转“直接猜时间戳”的盲猜范式,将视频时序定位重构为候选时间窗口反向验证任务,显著提升时序敏感度与精度。 |
| 2024-02 | 【论文分享】看图寻物的“时空雷达”:解析 AAAI 顶会《QDETRv》如何用记忆模块与合成轨迹重塑视频目标追踪(兼论 SAM 2 的底层思想渊源) | AAAI 顶会工作,基于单图查询与记忆模块在长视频中持续追踪未知目标,结合合成时空轨迹抵抗遮挡形变,揭示 SAM 2 核心记忆机制的思想渊源。 |
| 2023-06 | 【论文分享】看懂动态世界的因果:解析 CVPR 顶会《Few-Shot Referring Relationships in Videos》的时空图与置信度传播 | CVPR 顶会成果,构建时空交互动态图与条件置信度传播机制,在少样本条件下精准定位与推理视频中多实体之间的动态时空因果关系。 |
04. 长视频理解与记忆机制(权重化记忆、压缩记忆、长视频解说)
| 论文日期 | 论文分享笔记 | 内容简介 |
|---|---|---|
| 2026-10-17 | 【论文分享】把长视频“刻进脑神经”:解析 MIT³ (Memory Internalization via Test-Time Training) | 引入测试时训练(TTT)前沿思想,在推理期将超长视频上下文梯度更新进模型局部权重内,打破 KV Cache 显存墙,实现恒定显存长视频推理。 |
| 【论文分享】长视频大模型的“读写分离”革命:解析 Video-EMem 与自进化架构 VideoEvoHarness | 浙大与微软提出长视频“一次写入、多次查询”的读写分离架构,将海量视频帧浓缩为紧凑可复用的演进记忆槽,使后续问答吞吐提升数倍。 | |
| 2026-10-12 | 【论文分享】如何让大模型看懂10分钟长视频?中科院&可灵团队 PIGEONS 论文解析 | 中科院与快手可灵团队新作,通过维护持久角色身份画廊与演进宏观叙事摘要,破解 10 分钟以上长视频解说中实体张冠李戴与剧情遗忘痛点。 |
| 【论文分享】打破长视频的显存与计算魔咒:解析前沿论文 WIRE (Weight Space Implicit Representation Encoding) | 跳出输入端堆叠帧 Token 的传统思维,利用超网络将长视频隐式编码为大模型权重空间的特定适配参数,从根源消除长序列计算与显存灾难。 | |
| 2026-05-26 | 【论文分享】无需训练即可看懂长视频?MIR 2026 论文 FreeDVC 解析及多模态视频资产库工程实践 | MIR 2026 论文,构建免训练(Training-Free)的多模型协同流水线,融合镜头切分、音频线索与迭代自校正,零调优打败微调专用模型。 |
05. 强化学习与推理效率(GRPO、奖励设计、MoE 快慢思考)
| 论文日期 | 论文分享笔记 | 内容简介 |
|---|---|---|
| 2026-10-21 | 【论文分享】给多模态大模型装上“自省闭环”:arXiv 2026 新作 Generalized CycleGRPO 统一空间、时间与时空细粒度理解与定位 | 提出广义循环强化学习算法(CycleGRPO),通过“理解-定位-反向重构”自省闭环取代外部昂贵奖励,统一度量空间、时间与时空四维多模态定位。 |
| 2026-10-19 | 【论文分享】多模态大模型的“克制之道”:解析定位前沿论文 Think-Compress-Answer (TCA) | 针对多模态推理中“想得越多错得越离谱”的漂移现象,设计 Think-Compress-Answer 机制与多阶段 GRPO,用便签式紧凑摘要约束长推理链。 |
| 【论文分享】给大模型装上“变速箱”:解析 TempoMoE 如何识别并引导快慢思考专家实现高效多模态推理 | 发现 MoE 大模型内部快慢神经元分工规律,提出 TempoMoE 自适应动态路由框架,简单任务快思考、复杂任务深推理,大幅节省算力与响应时延。 | |
| 2026-10-12 | 【论文分享】给视频大模型装上“时间透镜”:NeurIPS 2026 论文 EventLens 解析 | NeurIPS 2026 论文,设计事件结构扰动与多导师在线蒸馏(MT-OPD)强化学习流水线,零标注逼迫模型学习真实时序因果,杜绝依靠单帧作弊。 |
06. 生成、画质与视频描述的评测(物理一致性、IQA、描述保真度)
| 论文日期 | 论文分享笔记 | 内容简介 |
|---|---|---|
| 2026-10-27 | 【论文分享】当 AI 图像质检拿上放大镜:VGIQA 如何用“视觉定位奖励”治愈大模型的画质近视? | 针对传统 AI 画质评测只看全局、忽视局部缺陷的问题,提出视觉定位引导的 VGIQA 与双阶段训练流,通过多任务奖励隔离实现放大镜式质检。 |
| 【论文分享】代码即视频描述?解析快手可灵与南大新范式 CodeCap-Bench 及工业落地思辨 | 快手可灵与南大联手开创“代码即视频描述”新范式,用可渲染的前端代码表征动态 UI 与复杂动效,突破自然语言模糊性并构建全套评测基准。 | |
| 2026-10-22 | 【论文分享】给视频生成模型做“物理质检”与“脑部CT”:arXiv 2026 新作 PhysTrace 架构与工程落地拆解 | 构建视频生成模型的物理一致性评估体系(PhysTrace),结合轨迹追踪与隐空间逆向探针(脑部 CT),可视化定位并归因穿模、悬浮等反物理破绽。 |
07. 大模型语料与数据工程(数据清洗、数据缩放)
| 论文日期 | 论文分享笔记 | 内容简介 |
|---|---|---|
| 2024-06-25 | 【论文分享】大模型“醒酒哲学”:Hugging Face 如何从 15 万亿互联网泥沙中淘出纯金(FineWeb)? | 详析 Hugging Face 15 万亿级网页数据清洗与醒酒提纯工程(FineWeb),解密大规模文本去重、启发式过滤及高分教育子集打造的全套工业级配方。 |
| 2024-06-17 | 【论文分享】以 300B 逆袭 2 万亿:Apple 领衔的 DCLM 如何用“绝对控制变量”重写大模型数据法则? | 苹果与多所名校打造的绝对控制变量数据基准(DCLM),固定模型架构纯拼数据清洗质量,实证 300B 高质语料逆袭 2T 庞杂数据的缩放定律。 |
08. 幻觉抑制与自我验证
| 论文日期 | 论文分享笔记 | 内容简介 |
|---|---|---|
| 2023-09-20 | 【论文分享】让大模型学会“自我审讯”:Meta 的验证链(CoVe)凭什么能登顶国际顶刊? | Meta AI 提出的抗幻觉经典范式“验证链(CoVe)”,通过基线回答、独立规划验证问题、执行背对背审讯及汇总修正四步流,零微调大幅降低事实性幻觉。 |