清华大学AI团队开源AKV：基于SGLang的LLM Agent缓存工程服务器

📋总体概括

清华大学研究团队开源AKV，一个基于SGLang构建的面向LLM Agent的缓存工程服务系统。与传统通过摘要压缩历史上下文的做法不同，AKV让智能体直接丢弃并重新定位KV缓存，在4个Agent基准测试中平均降低成本27.7%。该工作聚焦Agent多轮长上下文场景的推理成本优化，以开源形式发布，为Agent推理服务层的缓存管理提供了新范式。