AI for Data🔥7.0
Zyphra AI 推出 Zyphra Hierarchical Attention（ZHA）：通往真正亚二次注意力之路
原标题: Zyphra AI 推出 Zyphra Hierarchical Attention（ZHA）：通往真正亚二次注意力之路
📋总体概括
Zyphra AI 发布 Zyphra Hierarchical Attention（ZHA），一种树索引稀疏注意力方法。其核心亮点是无需从头训练：在冻结的现有 LLM 上，仅用 40 亿 token 的蒸馏数据即可完成改造，并在推理任务和 256K 长上下文检索基准上追平稠密注意力表现。这为突破注意力二次方复杂度瓶颈、实现真正的亚二次注意力提供了一条低成本、可后装的工程化路径。
⚡关键信息
- ▸ZHA 是一种树索引稀疏注意力方法，目标是突破注意力的二次方复杂度限制
- ▸ZHA 采用后装方式改造冻结的 LLM，无需重新预训练模型
- ▸改造过程仅使用 4B（40亿）token 的蒸馏数据
- ▸在推理任务与 256K 长上下文检索基准上，ZHA 表现追平稠密注意力
🔥犀利点评
亚二次注意力喊了几年，大多停留在改架构重训的老路——成本高到没人敢换。ZHA 的聪明之处在于「后装」：冻结模型加 4B token 蒸馏就能切换注意力机制，还敢在 256K 检索上对标稠密注意力，这是拿硬指标说话。若第三方复现能站住，长上下文推理的推理成本格局可能被改写；但「蒸馏能否真正逼近全注意力」仍是最大问号，4B token 的量级并不算大，跑分与真实负载之间的差距值得盯紧。
📰 相关资讯（与本文相关的其他资讯）
本文由本站自动聚合，以下为原始来源：前往 MarkTechPost 阅读全文 →