AI for Data🔥7.0
Zyphra AI 推出 Zyphra Hierarchical Attention（ZHA）：通往真正次二次注意力之路
原标题: Zyphra AI 推出 Zyphra Hierarchical Attention（ZHA）：通往真正次二次注意力之路
📋总体概括
Zyphra AI 推出层级注意力机制 ZHA，一种基于树索引的稀疏注意力方法，可对已冻结的 LLM 进行改造，仅需 40 亿 token 的蒸馏训练，即可在推理和 256K 上下文检索基准上匹配稠密注意力表现。该方法宣称通向真正的次二次复杂度注意力，避免从头重训模型，对长上下文推理效率提升具有实际意义。
⚡关键信息
- ▸Zyphra AI 发布 ZHA，一种树索引稀疏注意力方法
- ▸ZHA 可改造冻结的 LLM，无需修改原模型权重结构
- ▸仅需 4B token 蒸馏训练即可完成注意力机制替换
- ▸在推理与 256K 长上下文检索基准上匹配稠密注意力
- ▸目标是实现真正的次二次复杂度注意力
🔥犀利点评
稀疏注意力喊了这么多年，痛点一直是不重训就掉点、重训就烧钱。ZHA 聪明之处在于蒸馏改冻结模型，把切换成本压到 4B token 量级，还敢拿 256K 检索这种硬基准对比稠密注意力。当然，基准匹配不等于全场景鲁棒，树索引在最坏注意力模式下的上限仍待检验。但若复现成立，老模型零重训升级长上下文，对中小玩家是真金白银的省。
📰 相关资讯（与本文相关的其他资讯）
本文由本站自动聚合，以下为原始来源：前往 MarkTechPost 阅读全文 →