AI for Data🔥8.0
演讲:DoorDash构建GenAI平台
原标题: 演讲:DoorDash构建GenAI平台
📋总体概括
DoorDash工程师Swaroop Chitlur与Siddharth Kodwani在InfoQ演讲中分享其内部GenAI平台的建设历程,涵盖核心架构决策、从供应商优先转向开放权重模型、LLM与Agent网关的治理,以及在服务超过5000名内部用户时如何权衡准确性、延迟与成本。该案例展示了大型平台公司在企业级生成式AI基础设施上的务实路线。
⚡关键信息
- ▸DoorDash自建内部GenAI平台,服务超过5000名内部用户
- ▸架构路径上完成了从供应商优先到开放权重模型的转变
- ▸平台通过LLM网关和Agent网关统一管理模型调用与代理应用
- ▸核心设计目标是在准确性、延迟和成本三者之间取得平衡
🔥犀利点评
5000内部用户就值得自建GenAI平台?DoorDash的选择其实暴露了行业真相:API厂商的定价和锁定让重度使用方不堪重负,转向开放权重自托管是成本账算清楚后的必然。真正难的不是选模型,而是LLM/Agent网关这道护城河——谁掌握了路由、评估与成本控制层,谁就握住了企业AI的命门。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 InfoQ 阅读全文 →