文档:智能体时代最被低估的金矿
📋 总体概括
Databricks 发布 Document Intelligence,把企业每天涌入的海量非结构化文档变成可实时调用的结构化数据资产。本文从架构师视角拆解:为什么文档处理是智能体落地的隐形瓶颈,实时文档管道的工程真相,以及这步棋背后的生态卡位逻辑。
📄 正文
文档:智能体时代最被低估的金矿
企业每天涌入数百万份文档——合同、发票、理赔单、物流单据。过去这些数据躺在对象存储里,是数据平台最不体面的角落。如今 Databricks 推出 Document Intelligence,把文档处理直接嵌进实时应用与智能体链路 [^1]。这不是一次普通的发布:当所有公司都在卷模型、卷算力时,这家数据平台巨头选择先解决「喂给 AI 什么」的问题。我的判断很直接——智能体落地的下一个瓶颈,不在模型智力,而在企业的纸面数据。
[^1]: Databricks 官方产品发布:Document Intelligence for Real-Time Applications and Agents,见 Databricks 官网 Engineering Blog 与产品页(2025)。
📄 客户最头疼的,既不是模型也不是算力
一个场景:某大型企业客户,每天要处理数百万份文档。保险理赔件、供应商发票、客户合同、报关单。这些文档格式五花八门——扫描件、PDF、表格截图、手写批注。过去的标准动作是:先归档,再排队跑离线 OCR,第二天甚至下周才有结果。
问题在于,业务变了。理赔要用分钟级时效,智能客服要当场读懂合同条款,风控要实时核验单据。批处理时代的文档管道,根本接不住实时应用的需求。
Databricks 在这次发布中给出的核心信息很明确:企业客户每天接收数百万份文档,而这些文档要能直接驱动实时应用和智能体 [^1]。Document Intelligence 的定位不是又一个 OCR 工具,而是把「文档进湖仓」这条路从离线搬到在线。
据多位接近企业客户的平台架构师反馈,过去两年数据团队的需求清单上,文档智能化的优先级一路飙升——不是因为技术炫,而是因为业务方催得紧。
这里的产业逻辑值得展开:
文档不再是「存起来等分析」的冷数据,而是「进来即加工」的活数据。这条链路能不能走通,决定了企业 AI 项目是停留在演示层面,还是真正进入生产系统。
⚡ 实时,才是文档处理的分水岭
干过数仓的人都知道一个真理:批处理和实时,从来不是延迟数字的差别,而是架构哲学的差别。
传统文档处理的姿势是 T+1:晚上跑批、白天看结果。这在报表时代够用,在智能体时代是灾难。一个客服 Agent 需要在对话进行中读取用户上传的保单并抽取关键字段;一个合同审查 Agent 需要在文档落库的瞬间触发条款比对。这要求文档处理能力以服务的形式存在——可调用、可流式、可低延迟返回结构化结果。
Document Intelligence 强调的正是「power real-time applications」这个前缀。把文档解析做成平台原生能力,而不是外部 ETL 工具的附属品,意味着三件事:一是解析结果直接落入统一的数据治理体系,血缘和权限不脱节;二是和湖仓里的结构化数据可以在同一层做关联计算;三是 Agent 框架可以像调用普通工具一样调用文档理解能力。
“平台圈私下流传一句话:文档是企业的第二张数据底座,只是长期没人愿意管。
这句话有点夸张,但方向是对的。企业的结构化数据只占冰山一角——IDC 的研究长期指出,企业数据中 80% 以上为文档、图像、音视频等非结构化形态 [^2]——水面之下是成堆的非结构化文档。谁能把这批数据廉价、可靠、实时地变成可计算资产,谁就拿走了 AI 落地链条上最重的一块砖。
[^2]: IDC《Data Age 2025》白皮书及后续系列研究:非结构化数据占企业数据总量的 80%–90%。
从工程视角看,实时文档管道的难点不在单页解析精度,而在吞吐稳定性、异常重试、成本控制和 schema 一致性。这正是数据平台厂商的优势区——这些脏活累活,恰恰是 Databricks 过去十年打磨 lakehouse 攒下的肌肉记忆。
🤖 智能体不缺智力,缺「纸面数据」的入口
现在换个角度:站在 Agent 开发者这边看。
2024 年以来,各家 Agent 框架层出不穷,工具调用、多步规划、记忆管理这些能力迅速 commodity 化。真正卡住企业级 Agent 上生产的,往往是数据侧:模型再聪明,读不懂一张税率表里的合并单元格,看不清一份手写签批的批注,整个流程照样断链。
文档智能在 Agent 架构里的角色,本质是「工具层」:
这张象限图是我的行业判断,不是精确测量,但格局轮廓是清楚的:
- 开源 OCR + LLM 自拼:门槛低,Demo 好看,但吞吐、精度、成本、治理四座大山全要自己扛,企业级生产少有善终。
- 传统 IDP(智能文档处理)厂商:垂直场景深耕多年,但往往孤立于企业数据平台之外,抽取完的数据还要二次搬运。
- 云厂商托管服务:能力强、接入方便,但数据和文档处理链路分离在不同体系中,治理割裂。
- 数据平台原生方案:技术门槛和商业价值双高,因为它吃的是「文档即数据资产」的完整链路红利。
Databricks 这步棋的意图非常清晰:既然 Agent 最终要在数据平台上构建,那文档理解的入口就必须握在自己手里。Model、Compute、Data 三层之外,补上 Document 这一块,平台的「纸面数据入口」才算闭环。
流向图说明一个关键分流:文档解析后一部分直接变成 Agent 的检索上下文,一部分沉淀为结构化资产长期复用。两条路都跑在平台内,才不会被外部工具截胡。
🧊 看得见的能力,看不见的根基
对外讲产品,讲的是解析精度和 API 响应速度;真正决定成败的,是水面之下的东西。
做平台的人对这张图应该深有共鸣。我见过的文档智能化项目,八成死在水下(这是我在多家企业项目复盘中的经验估算,非统计数据 [^3]):解析单页精度不错,一上量就丢件、超时;抽取的字段没有 schema 约束,下游不敢用;权限体系接不进现有的治理框架,合规部门一票否决。
[^3]: 「八成死在水下」为作者基于十余个企业级文档智能化项目复盘的个人观察,样本有限,仅供参考。
这也是为什么我不认为这次发布是「加了个 OCR 功能」那么简单。把文档理解放进平台原生的能力版图,等于把上面冰山的水下部分——治理、管道、成本——一次性接通。对已经把数据放在 lakehouse 上的客户来说,迁移成本近乎为零,这是最狠的护城河。
对比一下几条技术路线的工程取舍:
| 维度 | 传统OCR管道 | 独立IDP工具 | 多模态大模型直调 | 平台原生文档智能 |
|---|---|---|---|---|
| 实时能力 | 弱(批处理为主) | 中 | 强 | 强 |
| 治理集成 | 需自建 | 割裂 | 需自建 | 原生打通 |
| 规模化成本 | 低但精度差 | 中 | 高 [^4] | 可分层优化 |
| Agent可组合性 | 差 | 中 | 好 | 好 |
| 适用场景 | 存量归档 | 单一垂直场景 | 轻量探索 | 企业级生产 |
[^4]: 多模态大模型按页调用的成本通常比传统 OCR 或规则引擎高一到两个数量级,参见各大模型厂商公开 API 定价与行业测算(如 LlamaIndex、Unstructured 等团队公布的解析成本基准测试)。
没有全能选手,但企业级生产场景下,「平台原生」的加权项最多。不过,客观地说,平台原生方案并非没有代价:
- 供应商锁定(Vendor Lock-in):文档解析、schema、血缘全部绑定单一平台后,迁移成本极高。数据资产名义上开放,实际操作链路已被平台接管——一旦平台涨价或战略转向,客户议价空间极小。
- 成熟度风险:相比深耕十余年的传统 IDP 厂商,平台原生文档智能是新产品线,在极端复杂版面、小语种、行业专有格式上的表现仍有待生产环境检验,早期采用者可能在为产品的成长期买单。
- 覆盖广度劣势:垂直 IDP 厂商在保险、医疗等细分领域沉淀了大量行业模板和领域规则,通用平台方案在窄而深的场景里未必打得过窄而深的专家。
- 单一生态依赖:选了平台原生路线,等于把 Agent 的数据入口也押在同一个生态上;多活、多云架构下的企业需要额外评估跨平台兼容成本。
因此更准确的结论是:对已重仓单一 lakehouse 平台的企业,「平台原生」是阻力最小的路径;对多云、多供应商策略的企业,独立 IDP 或混合方案反而可能更稳妥。
💡 落地的工程真相:从单页精度到系统可靠性
最后聊点扎心的。文档智能的采购决策,往往被「解析准确率 99%」这类指标绑架,但真正决定项目生死的三个工程问题是:
第一,复杂文档的长尾。 平均精度再高,长尾那 1% 的变形表格、跨页合同、印章遮挡,往往就是业务事故的来源。系统设计必须包含低置信度人工复核通道,这比追求最后 0.5% 的自动化率更务实。
第二,结构化契约。 抽取结果必须绑定明确的 schema 并随版本演进管理,否则下游报表和 Agent 每次字段变更都要返工。数据平台厂商在这方面有天然纪律性——这是纯 AI 公司普遍缺的基因。
第三,成本分层。 不是所有文档都值得用最重的模型过一遍。简单票据走轻量规则和轻模型,复杂法律文本再上重模型,成本可以差一个数量级 [^4]。实时管道尤其要算这笔账,否则日增百万文档的账单会先于业务价值到达。
一位在企业级 AI 项目里摸爬多年的朋友跟我说过一句话,我很认同:智能体项目的成败,七分在数据工程,三分在模型。文档智能恰好踩在七分那一侧。
小结
Databricks 用 Document Intelligence 补上了平台版图里最不性感但最必要的一块:让数百万份文档从存储成本变成数据资产,从离线批处理变成实时服务。这步棋的本质,是把智能体的「数据入口」收编进平台——模型会过时,框架会更替,但企业纸面数据的入口一旦被绑定,很难迁走。
往前看,有三条线索值得持续跟踪:
1. 非结构化数据的平台化收敛会加速。文档只是第一站,图像、音视频、工程图纸的处理能力会逐步以同样的「原生服务」形态进入湖仓,独立工具厂商的窗口正在关闭。
2. 竞争格局将快速动态化。Snowflake、各大云厂商、以及 Databricks 自己生态内的 ISV 都不会坐视这个入口被独占,未来 12–18 个月内大概率出现对标发布。
3. 锁定效应与开放标准之间的拉锯。当文档入口成为平台护城河,客户对可迁移性、开放 schema 的诉求也会同步上升——这可能是下一个「开放表格式之争」的翻版。
智能体时代的基础设施竞赛,赢家未必是模型最聪明的那个,而是把最脏的数据活干得最稳的那个。
本文由本站 AI 辅助聚合生成,原始来源如下: