AI for Data🔥7.0
商汤开源Loop-9B预览版：24层权重循环跑两遍，9B参数当14.6B用
📋总体概括
商汤开源Loop-9B预览版模型，采用循环复用架构：拥有32层权重，其中中间24层用同一套权重连跑两遍，一次前向计算相当于56层，参数存储约9B，官方称推理参数量约14.6B。官方自测显示，数据库问答BIRD-Dev得分71.38超过Qwen3.5 27B，但终端编程Terminal Bench 2.1得分40.45低于27B的47.19。该架构以时间换显存，用循环权重压缩存储成本。
⚡关键信息
- ▸商汤开源Loop-9B预览版，中间24层用同一套权重连跑两遍，一次前向相当于56层
- ▸模型存储参数约9B，官方称推理时参数量约14.6B
- ▸BIRD-Dev数据库问答得分71.38，超过Qwen3.5 27B
- ▸Terminal Bench 2.1得分40.45，低于27B的47.19
- ▸循环架构省下的是显存，但推理时间并未节省
🔥犀利点评
商汤用「一层权重跑两遍」换显存，思路不算新但开源落地值得肯定。BIRD-Dev赢过27B说明循环推理在结构化任务上确实能打，但Terminal Bench输给27B暴露了短板——同一权重反复激活会稀释表达能力，编程这类需要精细推理的场景就露馅。省显存不省时间，本质上是在赌推理成本结构里显存比算力更贵，这个赌注在推理芯片越来越便宜的当下，未必站得住。
📰 相关资讯（与本文相关的其他资讯）
本文由本站自动聚合，以下为原始来源：前往 微博-数据库关键词 阅读全文 →