元数据,成了AI最贵的瓶颈
📋 总体概括
NetApp发布Novus直指ZB级元数据瓶颈,Databricks推出RT与LTAP自造实时分析新品类。存储老将与湖仓巨头从两端向中间推进,指向同一个判断:AI落地后,真正的瓶颈已从算力转移到数据供给——新鲜度、治理与元数据能力正在重新定义数据基础设施的竞争格局。
📄 正文
十月初,两则产品新闻在数据圈同时刷屏。
老牌存储厂商 NetApp 在 INSIGHT 大会上发布了 Novus,主打一件事:解决 AI 数据基础设施里的元数据瓶颈;另一边,Databricks 的 RT 与 LTAP 正式落地,在 OLTP、OLAP、实时 OLAP、HTAP 之外,又造了一个新词。
一家从存储向上爬,一家从分析向实时下探,路径完全不同,但赌的是同一件事——AI 时代,数据供给本身成了瓶颈,而 GPU 只是排队的那个。
这篇文章把两条线索放在一起看:数据基础设施正在被 AI 怎样重新定义?
🧩 存储老兵的新焦虑:ZB 级数据管不过来了
先看 NetApp 这边。
场景其实每个做过 AI 项目的工程师都熟悉:企业花钱建了 GPU 集群,模型训练跑起来了,然后发现数据喂不进去——数据散落在各处,格式不一,权限靠人工拍脑袋配置,合规检查靠 Excel 追。算力在空转,人在搬数据。
NetApp 的判断说得很直白:AI 数据基础设施必须同时支撑两件事——规模不断膨胀的 GPU 集群,以及让企业数据真正可被模型和 Agent 使用。而碎片化的数据、围绕人工策略搭建的治理体系,正是企业拿不到 AI 投资回报的主因。
Novus 的解法是把智能数据基础设施与生产级 AI 打通,用一套统一的存储与数据管理方式来收敛这个乱局。关键词是「统一」:不是再造一个数据湖,而是把元数据、治理、数据管理从散落的脚本和人工流程里抽出来,变成平台能力。
有做过大规模数仓迁移的架构师私下吐槽得更狠:「训练等数据的时间,往往比数据等算力的时间还长。」这话虽是玩笑,但道出了真实痛点——当数据规模走向 ZB 级,靠人管元数据已经物理上不可能了。
产业逻辑也清晰:存储层的竞争正在从「存得下、存得便宜」,转向「管得智能、找得回来」。元数据不再是配套,而是新的控制平面。谁掌握了元数据,谁就掌握了 AI 数据供给的调度权。
🚀 LTAP:Databricks 又造了一个品类
再看 Databricks 这条线。
数据库品类的演进,本身就是一部「取舍史」:
OLTP关系数据库
OLAP数据仓库
HTAP概念提出
实时OLAP兴起
Databricks提出LTAP
每一次新品类的诞生,都是某一组矛盾被重新分配的结果。OLTP 为了事务一致性牺牲分析能力,OLAP 为了分析性能牺牲实时性,HTAP 想两头都要但工程上始终艰难,实时 OLAP 用高并发扫描换来了亚秒级看板。
现在,Databricks 推出了 RT 与 LTAP。按业内的解读,LTAP(Long-Term Analytical Processing 语境下的实时分析路径)本质上是把「实时」能力直接嫁接到湖仓之上——让原本以批处理见长的湖仓架构,具备服务实时查询的能力。
这个动作的意味很浓:Databricks 不想只是在湖仓里守着离线分析,而是要正面切入实时 OLAP 和 HTAP 厂商的腹地。造一个新词,就是在重新划定地图边界——你能定义品类,你就掌握话语权。
社区里对此评价不一。有人认为这是湖仓演进的必然一步,也有人觉得又一个缩写词让买家更晕了。但不可否认的是,「实时 + 湖仓」的组合拳,正好打在大量企业「既想统一数据底座、又要实时决策」的需求交叉点上。
⚖️ 五个品类,一张取舍地图
金句先放这儿:没有全能的数据库,只有被正确使用的取舍。
这几类系统在新鲜度、查询延迟、并发、更新能力上各有取舍,把这张地图画出来,选型思路就清楚了大半:
| 品类 | 数据新鲜度 | 查询延迟 | 更新能力 | 典型定位 |
|---|---|---|---|---|
| OLTP | 事务级实时 | 毫秒级 | 强,事务写入 | 在线交易 |
| OLAP | 批处理,小时到天级 | 秒级到分钟级 | 弱 | 离线分析与报表 |
| 实时 OLAP | 秒级 | 亚秒级 | 中等 | 高并发实时看板 |
| HTAP | 事务级 | 毫秒到秒级 | 强 | 混合负载一体 |
| LTAP | 准实时 | 秒级 | 中等 | 湖仓级规模的实时分析 |
几个判断值得展开:
第一,新鲜度和一致性是天平两端。 OLTP 追求事务级实时,代价是分析能力受限;OLAP 反之。企业过去靠「TP 库 + 夜间 ETL + 数仓」硬扛,链路长、时效差,这正是实时 OLAP 和 LTAP 要切掉的中间环节。
第二,HTAP 的理想很丰满,工程上依旧难。 事务负载和分析负载的资源画像完全不同,塞进一个系统要么互相干扰,要么成本翻倍。这也是 HTAP 提出十余年、落地始终不温不火的原因。
第三,LTAP 的差异化在于「规模」。 它不追求替代 OLTP,也不和纯内存级的实时引擎硬拼毫秒延迟,而是主打在湖仓的海量数据之上做准实时分析——贴合 AI 时代「训练要全量历史、Agent 要实时状态」的双重胃口。
对企业的启示很朴素:不要被新品类吓到,先问自己的业务在新鲜度、延迟、并发上真正的诉求是什么,再回地图上找位置。
🏗️ 从两端向中间:AI 数据供给层正在成形
把两条线索拼在一起,能看到一个正在成形的结构:
有意思的是,这个结构里的关键节点——「AI 可用数据供给」——恰好是 NetApp 和 Databricks 从两端同时逼近的位置。
| 维度 | NetApp Novus | Databricks RT 与 LTAP |
|---|---|---|
| 出发点 | 存储与数据管理 | 分析与湖仓 |
| 核心抓手 | 统一元数据与智能治理 | 实时分析引擎与新品类 |
| 解决的瓶颈 | 数据碎片化、人工治理失效 | 新鲜度与查询延迟 |
| 面向的场景 | 模型与Agent的数据可用性 | 实时决策与实时消费 |
为什么双方此刻同时发力?因为 AI 的需求结构变了。
过去的分析链路是「人看报表」,小时级延迟可以忍受;现在的链路是「模型和 Agent 直接消费数据」,训练要全量且高质量,推理和 Agent 要新鲜且被治理——数据不仅要找得到,还要在权限、合规、血缘上都站得住。
据多位接近厂商的人士观察,企业客户在采购 AI 基础设施时的提问重心已经明显转移:三年前问「GPU 怎么配」,现在问「我的数据怎么喂进去、出了问题怎么追溯」。这个变化比任何发布会都更能说明问题。
一条私下的行业共识是:AI 落地的深水区,拼的不是模型,是数据工程。这也是为什么「AI for Data」与「Data for AI」这两条原本平行的线,正在快速交汇。
💡 给企业的三个务实建议
最后落到工程视角,给正在规划的团队三条建议:
先盘元数据,再上 GPU。 在扩集群之前,先回答三个问题:数据在哪里、谁有权用、质量如何。如果这三个问题还在靠人回答,模型训练的第一公里就堵在这儿。Novus 所代表的方向——元数据智能化、治理自动化——值得优先评估。
实时不是万能药,分层才是。 五个品类各有取舍,别为了「实时」两个字重构整个架构。看板类需求上实时 OLAP,混合负载谨慎评估 HTAP,湖仓大且要准实时的场景再考虑 LTAP 类方案。
把「Agent 消费数据」写进架构设计。 过去数据平台的服务对象是 BI 报表和数据分析师,未来多了一个不知疲倦、高并发、对数据新鲜度和权限极度敏感的新租户——Agent。接口、延迟预算、审计日志,都要按这个前提重新设计。
小结
Novus 和 RT/LTAP,一个是存储老将的元数据突围,一个是湖仓巨头的实时下探,看似两条赛道,实为同一场战役:AI 正在把数据基础设施的竞争,从「存储与计算分离」推向「数据供给与治理的智能化」。
接下来的看点有三个:元数据平台会不会成为存储厂商的护城河;LTAP 能否真正立住一个品类;以及 Agent 大规模上岗后,现有架构里哪些环节先扛不住。可以确定的是——算力的钱花完了,数据的账才刚开始算。
本文由本站 AI 辅助聚合生成,原始来源如下: