AI for Data🔥8.0
每十二篇arXiv论文中就有一篇在提交后改了标题。你的索引早就过期了。
原标题: 每十二篇arXiv论文中就有一篇在提交后改了标题。你的索引早就过期了。
📋总体概括
一组研究者基于arXiv公开API抓取了1,382篇论文(覆盖cs.CL、cs.AI、cs.LG、math.CO四个类别及2019-2025四个投稿窗口),对比v1与最新版本后发现:7.9%的论文改过标题,21.0%改过摘要,且标题改动几乎都不是大小写或标点层面的微调(仅占0.2%),而是实质性改写。数据集与脚本已开源。这对依赖arXiv元数据构建的检索索引、引用系统和AI语料管线是个提醒:索引可能早已过时。
⚡关键信息
- ▸样本覆盖cs.CL、cs.AI、cs.LG、math.CO四类,共1,382篇,横跨2019/2021/2023/2025四个投稿窗口
- ▸7.9%的论文在v1到最新版之间更改了标题,21.0%更改了摘要
- ▸仅0.2%的标题改动只是大小写或标点差异,7.7%为实质性改写
- ▸数据集、抓取脚本和汇总已开源,完全基于免费的arXiv公开API构建
- ▸结论指向:依赖v1元数据的检索索引与数据管线存在系统性滞后
🔥犀利点评
这个研究的价值不在数字本身,而在它戳破了一个行业默认假设:arXiv元数据是稳定的事实。7.7%的实质性标题改写意味着任何拿v1标题建索引的RAG系统、文献追踪工具和LLM训练语料,都在持续吞入脏数据。可惜样本只有四个类别、1,382篇,别急着外推到arXiv全域——但方向性警告已经足够扎心:版本漂移不是边角案例,是被忽略的常态化现象。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 DevToData 阅读全文 →