AI for Data

Liquid AI 发布 RIPL:面向 50 毫秒以内 LFM 的实时推理引擎

原标题: Liquid AI 发布 RIPL:面向 50 毫秒以内 LFM 的实时推理引擎

MarkTechPost·2026/10/22 17:33:25🔗 原文

📋总体概括

Liquid AI 发布 RIPL,一款为其 LFM(Liquid Foundation Models)系列打造的实时推理引擎,目标是在真实负载下把端到端 p95 延迟压到 50 毫秒以内,服务语音代理、机器人等对响应速度敏感的场景。官方对比测试显示,在单块 NVIDIA B200 GPU 上,LFM2.5-1.2B 跑在 RIPL 上的 p95 延迟比 Qwen3.5-0.8B 跑在 vLLM 上低 14.4 到 28.4 倍。这意味着 RIPL 的优化重点不是吞吐而是尾部延迟确定性,与传统 LLM 推理框架形成差异化路线。

⚡关键信息

  • ▸Liquid AI 推出 RIPL,为其 LFM 模型定制的实时推理引擎,目标 p95 延迟低于 50 毫秒
  • ▸单块 NVIDIA B200 上,LFM2.5-1.2B 在 RIPL 的 p95 延迟比 Qwen3.5-0.8B 在 vLLM 低 14.4-28.4 倍
  • ▸RIPL 优化重点是尾部延迟(p95)的确定性,而非传统框架追求的吞吐量
  • ▸低延迟小模型加专用引擎的组合瞄准语音交互、机器人等实时应用场景

🔥犀利点评

14-28 倍的延迟差距听起来炸裂,但本质是拿 1.2B 的 LFM 去打 0.8B 的 Qwen,且测的是 p95 尾部延迟——用自己设计的引擎跑自家为低延迟而生的模型,赢是应得的,含金量得看第三方复测。真正值得注意的是路线之争:通用吞吐框架 vLLM 面对亚 50 毫秒实时场景确实力不从心,专用推理引擎加专用模型架构这条垂直整合路线,可能才是边缘实时 AI 的正确解法。

本文由本站自动聚合,以下为原始来源:前往 MarkTechPost 阅读全文 →