AI for Data
What is Decision 3.0? vLLM Semantic Router’s New Open Decision Models
原标题: What is Decision 3.0? vLLM Semantic Router’s New Open Decision Models
📋总体概括
vLLM Semantic Router发布Decision 3.0，推出5个Apache-2.0开源多模态决策模型，参数规模覆盖0.8B至27B。这类模型不走传统文本生成路线，而是通过单次调用直接对文本与图像回答选择题、是非题和打分题，输出结构化决策结果。这一定位切中了LLM路由与分类场景中「要判断不要长文」的真实需求，以开源许可降低了AI推理系统中语义路由环节的部署门槛。
⚡关键信息
- ▸vLLM Semantic Router发布Decision 3.0系列，包含5个开源决策模型
- ▸模型采用Apache-2.0许可证，可自由商用与二次开发
- ▸参数规模从0.8B到27B，覆盖端侧小模型到大模型多个档位
- ▸支持多模态输入，可处理文本与图像两类数据
- ▸单次调用即可回答选择、是非、打分三类问题，无需生成文本
🔥犀利点评
生成式模型干判断活，本身就是资源错配——为了输出一个yes而生成几十个token，纯属浪费。Decision 3.0把「决策」从生成范式里剥离出来，方向是对的：路由、分类、评分恰恰是推理基础设施里最高频、最需要低延迟的动作。0.8B到27B的梯度布局也说明团队明白部署端算力参差。真正的问题是精度能否在真实流量下站住脚，否则又是一个漂亮的开源Demo。
📰 相关资讯（与本文相关的其他资讯）
本文由本站自动聚合，以下为原始来源：前往 MarkTechPost 阅读全文 →