卡住AI的，早就不只是GPU了

卡住AI的，早就不只是GPU了。

当大多数人还盯着下一代芯片时，基础设施行业的议题重心已经在转移。SiliconANGLE 旗下 theCUBE 将于 10 月 13 日举办 AI Data Pipeline Forum。按官方预告的说法，这次论坛聚焦的不再是芯片本身，而是芯片外围的三个环节：数据供给、高速互连、功耗与散热——即让最贵的芯片有数据可喂、有网络可连、有电可用。

这不是媒体的叙事发明，而是有大量公开数据支撑的产业事实。

🔀 瓶颈迁移：从造卡到喂卡

「GPU 利用率」是这个转移最直接的量化证据。

Meta 在 2024 年发布的 Llama 3 技术报告中披露，其 405B 模型在 16,384 张 H100 组成的集群上训练，模型算力利用率（MFU）为 38%–43%。换言之，即便是在全球最顶尖的工程团队手中，即使按最乐观口径计算，仍有超过一半的算力时间没有转化为有效训练——其中相当部分耗在数据供给、通信等待和故障恢复上。这还只是训练侧；推理侧的数据读取延迟问题同样直接决定服务的吞吐与响应时间。

芯片厂商自己也承认这一点。NVIDIA CEO 黄仁勋在多个公开场合（包括 2024 年 GTC 主题演讲）反复强调，加速计算的价值要以「数据中心级吞吐」衡量，而不是单卡性能——这正是 NVIDIA 近两年把 InfiniBand、Spectrum-X 以太网、NVLink、DPU 和软件栈打包成「整体方案」出售的原因。

按 SiliconANGLE 对本次论坛的表述，AI 基础设施瓶颈正集中到三个方向：给芯片供数据、用高速网络把芯片连起来、在功耗和冷却的硬约束内运行。三件事没有一件是「造芯片」，但每一件都能让最贵的芯片贬值。

⚡ 三重约束：数据、网络与电

第一条：数据供给。 大规模训练要求数据管道持续跟上芯片吞吐。目前主流做法是全闪存阵列加并行文件系统：如 DDN、VAST Data、WEKA 等厂商的存储系统已被多个超大规模训练集群采用（例如 xAI 的 Colossus 集群）。缓存、分层、数据编排成为独立的技术栈。

第二条：高速互连。 大规模训练本质上是把上万颗芯片变成一台计算机。公开的工程参数可以说明 stakes：NVIDIA NVLink 5 提供单 GPU 1.8 TB/s 的节点内互连带宽；InfiniBand NDR 提供 400 Gb/s 端口；Broadcom Tomahawk 5 交换芯片提供 51.2 Tb/s 交换容量。xAI 在 2024 年建成的 Colossus 集群用了 10 万张 H100（后扩至 20 万张），网络侧采用 NVIDIA Spectrum-X 以太网方案——这类规模的互连设计已成为独立于芯片的核心工程问题。

第三条：功耗与冷却。 这是最硬的物理约束。几个公开数据：

• IEA《Energy and AI》报告（2025 年 4 月）：2024 年全球数据中心用电约 415 TWh（约占全球用电 1.5%），到 2030 年可能接近翻倍至约 945 TWh。
• EPRI（美国电力研究院）2024 年报告：数据中心用电占全美用电比例可能从目前的约 4% 升至 2030 年的最高 9%。
• McKinsey 2025 年报告估算，到 2030 年满足 AI 与数据中心需求需要累计约 6.7 万亿美元的资本开支。
• 单机柜功率密度：NVIDIA GB200 NVL72 整机柜约 120 kW，已普遍采用液冷——风冷在这一密度下基本失效。

资本开支侧的数据同样惊人，说明系统级投入才是大头：微软宣布 2025 财年资本开支约 800 亿美元（Brad Smith，2025 年 1 月博客）；Meta 2025 年资本开支指引 600–650 亿美元（扎克伯格，2025 年 1 月）；亚马逊 2025 年资本开支指引约 1000 亿美元；OpenAI、软银、Oracle 等宣布的 Stargate 项目计划四年投入最高 5000 亿美元。在这些预算里，芯片之外的供配电、冷却、网络与土地成本，通常占总建设成本的一半以上（行业普遍口径，具体比例因项目而异）。

三条约束是环环咬合的：

任何一环卡住，最终都会限制整体规模。AI 基础设施的竞争单位，已经从「一颗芯片」变成「一个数据中心」。

🧭 谁在押注新赛道：可查证的布局

沿「供数据、连芯片、压功耗」三条线，各主要玩家的公开动作如下（均为已宣布或已发货的产品/交易，非预测）：

• NVIDIA：InfiniBand 与 Spectrum-X 以太网双线布局，GB200 NVL72 直接以液冷整机柜形态出货，NIM 软件栈打包销售——典型的「向上做系统」。
• Broadcom / AMD：前者靠定制 AI 网络芯片与 Tomahawk 系列交换芯片切入超大规模客户；后者以 RoCE 以太网路线挑战 InfiniBand。
• 存储：VAST Data 与 NVIDIA 建立合作（2024 年宣布）；DDN、WEKA、Pure Storage 均推出面向 AI 训练的并行文件系统与全闪存方案。
• 网络：Arista、Cisco 均在 2024 年发布面向 AI 集群的以太网产品线（Arista 的 AI Spine 方案、Cisco 的 Nexus 9364E 等）。
• 散热与供电：Vertiv、Boyd、台达等液冷供应商订单随 GB200 出货放量；Supermicro 的液冷机柜方案是其近两年增长的主要驱动之一。

一个趋势是明确的：头部芯片厂商的发布形态越来越像「卖整机柜和数据中心」而不是「卖芯片」——因为客户真正要买的是集群有效吞吐。

对采购方的影响也具体：评标指标正从「单卡峰值算力」转向「集群有效吞吐」「单位功耗算力产出」「管道会不会成为短板」。这一转变在超大规模云厂商的招标实践中已有公开讨论（如各大厂商在 OCP 全球峰会上披露的基础设施设计准则），但具体到国内智算项目的验收细节，公开数据有限，此处不作断言。

💰 从论坛到预算：架构师该盯什么

瓶颈迁移落到预算表上，是优先级的重新排序：

对正在规划 AI 基础设施的团队，基于上述公开数据的三条可操作建议：

1. 评估方案先画全链路：训练目标 MFU、存储带宽、网络收敛比、机柜功率密度，四项对齐后再谈芯片型号。

2. 把 MFU 设为验收核心指标：Meta 公开 38%–43% 的口径说明这是可量化、可写进合同的指标，而非模糊的服务水平描述。

3. 把电力和冷却当刚性约束：IEA 与 EPRI 的预测意味着电力审批和冷却方案会先于芯片到货成为时间轴上的关键路径。

据 SiliconANGLE 官方预告，10 月 13 日的 AI Data Pipeline Forum 将汇集芯片厂商、网络与存储供应商、数据中心运营方和终端用户。具体的演讲嘉宾与议程细节以官方后续公布为准，本文不预判。

⚠️ 冷静一点：别让「系统叙事」变成新泡沫

「瓶颈迁移」是有数据支撑的工程判断，但真判断被市场接住后也可能被包装成新故事。辨别方法可以落到可验证的量化问题上：

• 你的方案是否直接提升了集群的有效吞吐（如 MFU、推理吞吐）？能否给出基准测试数据？
• 声称的 GPU 利用率提升，是在什么集群规模、什么负载下测得的？
• 技术门槛是架构级的（自研协议/硬件/文件系统），还是集成级的（组装现有组件）？

答不上量化数据的，大概率是叙事，不是解法。

算力的故事讲了三年，接下来三年，讲的是怎么让算力吃饱。Meta 的 38%–43% MFU 是当前公开的基准线——谁能把这个数字往上推，谁就握住了下一个阶段的定价权。

信息说明：本文引用的资本开支、用电预测、网络带宽、集群规模等数据均来自厂商财报、官方博客、IEA/EPRI/McKinsey 报告及 Meta Llama 3 技术报告等公开信源，数据截至 2025 年中的公开信息。论坛议程细节、国内项目验收情况等暂无充分公开信源的内容已明确标注，未作推测性断言。