AI for Data🔥8.0
微软将Maia加速器投入多吉瓦级推理部署,其能效指标遭到质疑
原标题: 微软将Maia加速器投入多吉瓦级推理部署,其能效指标遭到质疑
📋总体概括
微软宣布自2027年起将自研Maia加速器家族扩展至多吉瓦级部署规模,使其成为微软自家产品的主要推理系统。Maia 300将纵向扩展与横向扩展统一到单一以太网fabric上,并在prefill与decode worker之间迁移KV状态而不使其离开网络。该公告以tokens-per-watt能效指标为最大卖点,但这一说法引发了从业者的质疑。此举标志着微软自研芯片从辅助角色转向承担核心推理负载的关键转折。
⚡关键信息
- ▸微软计划从2027年起将Maia加速器扩展到多吉瓦级部署规模
- ▸Maia 300将成为微软自家产品的主要推理系统,替代外部GPU承担核心负载
- ▸Maia 300将scale-up与scale-out统一到单一以太网fabric上
- ▸KV状态可在prefill与decode worker之间迁移且不离开网络,优化推理架构
- ▸公告主打的tokens-per-watt能效数据遭到从业者公开质疑
🔥犀利点评
多吉瓦级自研推理芯片的豪言背后,真正耐人寻味的是那个被质疑的tokens-per-watt。芯片之战打到今天,架构描述已经不难写,难的是拿出第三方可验证的能效数据。微软让自家产品吃下主要推理负载,本质是让用户替它完成大规模验证——客户既是受益者也是试验品。能效指标若无统一测量口径,永远只是营销语言。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 InfoQ 阅读全文 →