AI for Data

什么是Decision 3.0?vLLM Semantic Router发布全新开源决策模型

原标题: 什么是Decision 3.0?vLLM Semantic Router发布全新开源决策模型

MarkTechPost·2026/10/11 21:43:41🔗 原文

📋总体概括

vLLM Semantic Router发布Decision 3.0,推出5个Apache-2.0开源多模态决策模型,参数规模覆盖0.8B到27B。这些模型可在单次调用中直接回答关于文本和图像的选择题、是否题与评分题,无需生成文本。这一设计与传统生成式模型形成差异化,主打低延迟、确定性的判别式推理,有望在路由、审核、分类等决策密集场景中降低成本并提升效率。

⚡关键信息

  • ▸vLLM Semantic Router发布Decision 3.0系列决策模型,共5个,采用Apache-2.0开源协议
  • ▸模型参数规模从0.8B到27B,覆盖边缘到大规模部署需求
  • ▸模型支持多模态,可同时处理文本与图像输入
  • ▸单次调用即可回答选择题、是否题和评分题,无需生成文本
  • ▸判别式输出与生成式LLM形成差异化,适合低延迟决策场景

🔥犀利点评

不生成文本、直接吐决策结果,这个方向其实戳中了生成式AI的软肋:为了答一个是否题非要生成几十个token,纯属浪费。0.8B到27B的梯度加Apache-2.0,摆明了要抢分类、路由、审核这类高QPS场景的生意。但判别式模型的天花板也明显——复杂推理和长尾语义它接不住,能吃下多少份额,看生态落地速度。

本文由本站自动聚合,以下为原始来源:前往 MarkTechPost 阅读全文 →