AI for Data产业观察：非结构化数据进入平台原生时代

执行摘要：AI for Data正从单点工具走向平台化整合。以Databricks Document Intelligence为代表，文档解析、多模态处理等能力被嵌入湖仓架构，成为数据平台原生组件，直接服务实时应用与AI Agent。本报告梳理该领域的市场格局、上中下游产业链、数据要素与竞争逻辑，并研判'非结构化数据结构化'将成为数据基础设施下一阶段竞争焦点，平台厂商生态卡位优势凸显。

现状与格局：从工具到平台

1.1 市场演进：AI for Data 正在告别“单点工具”时代

过去十年，企业处理非结构化数据主要依赖两类单点工具：一类是以 OCR、文档识别为核心的解析工具，另一类是以 ETL 为核心的数据集成工具。这类工具解决了“从纸质或图像中提取文本”的问题，但普遍存在三个局限：

• 割裂性强：解析结果需二次导入数据平台，链路长、时效差；
• 治理脱节：文档解析产出的数据游离于企业统一数据治理体系之外；
• 难以服务 AI 场景：传统工具面向“人读报表”设计，无法直接为实时应用和 AI Agent 提供可查询的结构化输出。

2024 年以来，这一格局发生显著变化。以 Databricks 推出的 Document Intelligence 能力为标志，头部数据平台开始将文档理解能力内嵌为湖仓原生管道：该能力基于 Mosaic AI 框架，可帮助企业处理每天涌入的数百万份文档，将 PDF、表格、扫描件以及合同、发票等非结构化内容自动解析为可查询的结构化数据，直接供实时应用和 AI 智能体调用。

这一变化的意义在于：文档理解从“外挂工具”升级为“平台原生能力”，并与数据平台既有的数据治理、流处理和 Agent 开发生态深度打通。企业不再需要在解析工具与数据平台之间搬运数据，非结构化数据的处理链路被大幅压缩。

1.2 演进路径：三个阶段的跃迁

这一演进路径可概括为三个阶段：

1. 工具阶段：OCR/ETL 单点工具，输出面向人工消费；

2. 集成阶段：解析服务以 API 或连接器形式接入数据平台，治理链路初步打通；

3. 原生阶段：文档理解成为湖仓平台的内置管道能力，解析结果直接落入库表，供实时应用与 AI Agent 调用。

1.3 竞争格局：云厂商与数据平台厂商双线布局

当前 AI for Data 市场的参与者主要分为两大阵营：

• 云厂商：依托基础设施优势，将文档智能、多模态解析作为云上 AI 服务的一部分对外输出，胜在覆盖面广、与云生态捆绑紧密；
• 数据平台厂商：以 Databricks 为代表，走“平台原生”路线，将解析能力嵌入湖仓一体架构，胜在数据链路短、治理与 Agent 生态协同强。

两类厂商的定位差异可从技术门槛与商业价值两个维度观察：

可以看到，湖仓平台厂商凭借原生管道与 Agent 生态的协同，位于领跑者象限；头部云厂商紧随其后；而传统 OCR 厂商与垂直文档 SaaS 若不能向平台化演进，将逐步滑入存量竞争区间。

1.4 格局分层：从“看得见的能力”到“看不见的根基”

非结构化数据进入平台原生时代后，竞争的表层是文档解析的准确率与速度，深层则是数据治理、流处理与 Agent 开发等平台底座的综合能力。表面可见的解析能力之下，是决定长期胜负的隐性根基。

1.5 小结

AI for Data 市场正处于从单点工具向平台原生能力跃迁的关键节点。以 Databricks Document Intelligence 为代表的产品发布表明，头部厂商已将非结构化文档处理视为数据平台的标准配置而非附加功能。格局初步分层：湖仓平台厂商占据技术与商业价值的高地，云厂商以广度跟进，单点工具厂商面临平台化或被整合的抉择。下一阶段竞争的焦点，将从“能否解析”转向“解析后能否直接驱动实时应用与 AI Agent”，平台生态的完整性将成为决定性变量。

上游：模型与算力基础

2.1 上游能力决定产业天花板

非结构化数据进入平台原生时代，并非始于下游应用爆发，而是源于上游三类基础能力的同步成熟：多模态大模型、OCR解析引擎与GPU算力供给。这三者共同决定了文档理解的技术上限与成本曲线——上游能力每前进一步，下游可解析的文档种类、可达到的解析精度、可摊薄的单位处理成本都会随之改写。

从产业逻辑看，上游是整个"AI for Data"链条中最具规模效应、也最需要重资产投入的环节。模型厂商与算力平台构成事实上的技术供给方，数据平台厂商则通过采购或自研方式将上游能力封装为可调用的管道能力。理解上游格局，是判断解析精度演进路径与成本下降速度的前提。

2.2 多模态大模型：从“识别文字”到“理解文档”

传统文档处理以OCR为核心，解决的是“把图片上的字变成文本”这一单点问题。而企业真实场景中的合同、发票、扫描件往往包含表格结构、印章、手写批注、多栏排版等复杂版式，纯OCR输出难以直接用于数据分析和Agent调用。

多模态大模型的引入改变了这一格局。模型同时接收图像与文本信息，能够理解版面语义、表格层级和跨页逻辑，将解析输出从“文本流”升级为“结构化字段”。以Databricks推出的Document Intelligence能力为例，其核心正是基于Mosaic AI框架，将PDF、表格、扫描件等非结构化文档转化为可查询的结构化数据，供实时应用与AI智能体调用。这一能力定位并非做一个更强的OCR工具，而是把文档理解嵌入湖仓原生管道，与数据治理、流处理和Agent开发生态打通。

这标志着上游能力的竞争重心从“识别精度”转向“理解深度+平台集成度”：谁能把模型能力做成数据平台的原生组件，谁就能在企业侧形成更高的切换成本。

2.3 OCR引擎与模型协同：精度与成本的分层

值得注意的是，多模态大模型并未完全替代传统OCR引擎，两者在实际管道中呈现分层协同关系：

• 传统OCR/版面分析引擎：成熟度高、单位成本低，适合海量标准化文档（发票、表单）的批量解析；
• 多模态大模型：精度上限高、可处理复杂版式与语义理解，但推理成本显著更高，适合合同、研究报告等高价值复杂文档；
• 混合路由策略：由平台按文档类型和业务价值动态分配解析路径，在精度与成本之间求最优解。

这种分层结构直接塑造了下游的成本曲线：简单文档解析成本持续下探，复杂文档解析则以“按价值定价”的方式维持较高毛利。数据平台厂商的竞争力，很大程度上体现在路由策略与解析后处理的工程化水平上。

2.4 GPU算力：成本曲线的物质基础

文档理解是典型的算力密集型负载。数百万份文档的批量解析对GPU供给提出持续性需求，推理侧算力成本构成解析服务的主要可变成本。上游算力供给的两个趋势值得关注：

1. 推理优化降本：模型量化、批处理调度、缓存机制等技术，使单位文档解析成本随工程成熟度持续下降；

2. 平台原生整合：算力由数据平台统一调度（如Mosaic AI框架下的算力管理），客户无需单独采购和运维推理基础设施，算力成本被内化为平台定价的一部分。

这意味着上游竞争正在从“单点算力销售”转向“算力+模型+管道”的捆绑供给模式。

2.5 上游格局四象限

2.6 本章小结

上游“模型—引擎—算力”三层供给，决定了非结构化数据解析的精度上限与成本下限。产业演进的方向已经清晰：文档理解从单点工具走向平台原生能力，上游能力的价值兑现方式也从独立售卖转向与数据治理、流处理、Agent生态的深度绑定。这一趋势将在下一章“中游：平台解析管道”中进一步展开。

中游：数据平台与管道层

非结构化数据要在企业内真正“流动”起来，仅靠单点解析工具远远不够。合同、发票、扫描件、表格等文档每天以数百万份的规模涌入企业系统，如果解析结果停留在临时文件夹或孤立应用中，就无法参与数据治理、无法进入实时管道、也难以被下游AI应用消费。中游的核心命题因此浮现：把文档解析从“单点工具”升级为“平台原生管道能力”，让非结构化数据获得与结构化数据同等的治理待遇和供给地位。

3.1 平台原生：从OCR工具到湖仓能力

长期以来，企业处理非结构化文档依赖两类路径：一是外购的OCR与文档抽取工具，输出结果需要人工搬入数据仓库；二是业务系统内嵌的定制化解析逻辑，难以跨场景复用。两条路径的共同缺陷在于解析环节游离于数据平台之外，导致文档数据“可用不可治”——能被某个应用读取，却无法纳入统一的血缘、权限、质量管理体系。

Databricks推出的Document Intelligence能力代表了另一种思路。该能力基于Mosaic AI框架，将PDF、表格、扫描件等非结构化文档自动解析为可查询的结构化数据，供实时应用和AI智能体直接调用。其关键在于“原生”二字：文档解析直接嵌入湖仓平台，与企业既有的数据治理、流处理和Agent开发生态深度打通，解析产物从生成那一刻起就具备统一元数据、可追溯血缘和一致权限管控。

这填补了企业数据平台在文档解析与多模态数据处理上的关键短板。在此之前，湖仓架构对结构化与半结构化数据（表格、日志、JSON）的支持已趋成熟，但对文档这类高信息密度、强语义复杂度的非结构化数据，一直缺少平台级供给方案。Document Intelligence的出现，使湖仓的数据覆盖面从“表”扩展到“文档”，实质上是数据平台边界的又一次外扩。

3.2 管道化：非结构化数据的结构化供给链路

将文档解析嵌入数据管道后，中游形成一条清晰的价值链路：原始文档从业务系统流入平台，经解析转化为结构化、可查询的数据资产，在治理体系内完成质量校验与权限管理，再经流处理管道分发至实时应用、BI分析和AI Agent等下游场景。

这条链路的价值在于三点：

一是规模与实时性。 平台级解析能力需要支撑每天数百万份文档的吞吐，并且解析结果可即时进入实时管道，满足智能客服、风控审核、供应链单据流转等对时效敏感的场景。传统的批式OCR流程通常以小时甚至天为周期，难以匹配实时应用的需求。

二是治理一致性。 文档解析产物纳入统一治理后，企业首次可以对“文档型数据资产”实施与结构化数据相同的标准：数据目录登记、访问审计、质量监控。这为后续规模化应用打下合规基础，也显著降低了下游团队发现和使用文档数据的搜索成本。

三是Agent就绪。 AI Agent需要持续、可靠地获取企业知识——合同条款、发票要素、报告结论。当这些内容以结构化、可查询形式常驻湖仓，Agent的检索与推理便有了稳定的数据供给中枢，而非依赖临时性的文件读取和碎片化的RAG拼接。

3.3 中游格局：能力坐标与竞争定位

中游竞争的核心变量是技术门槛（多模态解析精度、管道集成深度）与商业价值（对下游AI应用和决策的支撑程度）的叠加。不同玩家的位置差异明显：

湖仓平台凭借“解析—治理—管道—消费”的端到端集成占据领跑区；云厂商托管AI服务能力完整但需与客户数据架构做集成适配；单点OCR工具在精度上有积累，但缺乏管道与治理层面的纵深；开源解析组件灵活性强，却将集成与运维成本转嫁给使用者。

3.4 对产业链的意义

中游的结构化供给中枢地位，决定了它对上下游的双重塑造力。对上游而言，平台原生解析需求拉动解析模型、版面理解、表格识别等基础技术的迭代方向，使技术优化目标从“识别准确率”转向“管道可用性”。对下游而言，高质量的结构化文档供给直接抬升AI应用的天花板——Agent的可靠程度，很大程度上取决于其读取的企业数据是否完整、权威、实时。

可以预期，中游的竞争将围绕两个焦点展开：解析能力与治理体系的绑定深度，以及流批一体管道对实时场景的覆盖广度。谁能率先把“文档即数据资产”的平台范式变成行业标准实践，谁就将掌握非结构化数据时代的供给中枢卡位。

下游：实时应用与Agent

从“文档存储”到“文档即数据”

企业每天产生海量非结构化文档——合同、发票、报表、扫描件。长期以来，这些文档只是被“存起来”，而非被“用起来”。传统OCR工具解决的是单份文档的识别问题，却无法让文档数据像数据库表一样进入企业的分析、检索与智能体调用链路。

Databricks推出的Document Intelligence能力，正是针对这一断层。它基于Mosaic AI框架，能够处理企业每天涌入的数百万份文档，将PDF、表格、扫描件等非结构化文档自动转化为可查询的结构化数据，直接供实时应用与AI智能体调用。其核心意义在于：把文档理解从单点工具升级为数据平台的原生管道能力。

三类下游场景的联动

实时分析：结构化后的文档数据可汇入湖仓的分析体系，与Databricks的流处理能力打通。发票金额、合同条款、订单信息等原本“锁”在文档里的字段，如今可以像普通业务数据一样参与实时看板、指标监控与告警。

企业搜索：文档被解析为语义可检索的结构化内容后，员工不再需要在文件夹里翻找PDF，而是通过统一搜索入口直接定位到具体的条款、数字与责任方。这大幅降低了企业知识资产的调用门槛。

AI Agent调用：这是最具想象空间的一层。Agent要真正在企业中干活——自动审核合同、处理报销、回答客户咨询——前提是它能“读”到准确的结构化信息。Document Intelligence提供的正是这一层供给：文档数据经过治理后，成为Agent可靠的知识底座与操作依据。

平台原生化的战略意义

Document Intelligence的定位耐人寻味：它不是又一个文档处理SaaS，而是嵌入湖仓生态的原生能力。这带来三重效应：

1. 治理继承：文档数据转化后自动纳入平台已有的数据治理体系（权限、血缘、审计），合规成本大幅降低——这是单点OCR工具难以企及的。

2. 链路打通：解析、存储、流处理、Agent开发在同一平台闭环，避免了跨系统搬运造成的延迟与一致性风险。

3. 生态锁定加深：文档AI成为平台差异化能力，客户越依赖端到端链路，迁移成本越高。

下游驱动中游的升级逻辑

本章的核心判断是：下游场景正在反向牵引中游数据能力持续升级。

过去，中游数据平台的演进由报表和BI需求驱动；如今，实时应用与Agent提出了更严苛的要求——数据不仅要“可查”，还要“可检索、可推理、可执行”。文档这类占据企业数据大头的非结构化资产，若不能进入结构化管道，Agent的能力上限就被锁死。

因此，Document Intelligence代表的不是单一功能发布，而是一类趋势：数据平台正在从“结构化数据的管理者”演变为“全模态数据的供给者”。未来数年，围绕文档、图像、音视频的原生处理能力将成为平台竞争的新战场，而能最先打通“文档→结构化→Agent”完整链路的厂商，将在企业AI落地的关键一公里上占据先机。

数据要素与竞争壁垒

5.1 从“存数据”到“用数据”：壁垒的重构

过去十年，数据平台的竞争焦点在于存储规模与计算性能——谁能以更低成本存下更多数据、跑得更快，谁就掌握话语权。然而随着大模型与AI Agent进入企业核心生产流程，竞争逻辑正在发生根本性变化：数据的价值不再取决于“存量”，而取决于“可被调用的能力”。

非结构化数据正是这一转变的核心战场。合同、发票、扫描件、表格、PDF等文档承载了企业大量关键业务信息，但长期以“暗数据”形态沉睡在存储介质中。Databricks推出的Document Intelligence能力，将每天数百万份文档自动解析为结构化、可查询的数据，供实时应用与AI智能体调用——这标志着非结构化数据处理从单点OCR工具升级为湖仓原生的平台级管道能力。

这一转变对企业竞争格局的影响体现在三个层面：其一，平台能力边界从“管理结构化数据”扩展到“理解非结构化数据”，能力纵深显著加大；其二，文档理解与数据治理、流处理、Agent开发生态的打通，使单一功能难以脱离平台整体竞争；其三，处理规模化文档的工程门槛，正在筛选出真正具备平台级能力的玩家。

5.2 新壁垒的三根支柱：生态、治理与成本

在非结构化数据进入平台原生时代的背景下，竞争壁垒由三根支柱共同构成。

第一，生态打通。 Document Intelligence的意义不仅在于解析文档本身，更在于它与Databricks的治理体系、流处理引擎和Agent开发框架深度集成。解析出的结构化数据可以直接进入下游的实时应用与智能体工作流，无需跨平台搬运。这种“管道—治理—消费”的一体化能力，使数据在平台内形成闭环，粘性与切换成本同步提升。相比之下，单点文档处理工具即便解析精度再高，若无法嵌入企业数据链路，其价值天花板明显受限。

第二，治理合规。 非结构化数据往往包含合同条款、财务凭证等敏感信息，规模化处理对数据血缘、权限管控与合规审计提出更高要求。平台原生能力天然继承治理框架，而外挂式工具则需要额外的集成与合规成本。随着各国数据监管趋严，治理能力正在从“合规成本项”转变为“竞争加分项”。

第三，处理成本。 每天数百万份文档的解析量意味着成本结构直接决定商业可行性。平台通过架构级优化摊薄单位处理成本，而依赖外部模型调用或人工校验的方案难以在经济性上与之竞争。

5.3 竞争格局：四类玩家的位置

将当前参与非结构化数据处理赛道的玩家放入“技术门槛—商业价值”坐标系，可以观察到明显的分化态势。

湖仓平台厂商（如Databricks）占据领跑者象限：平台原生能力叠加生态闭环，技术门槛与商业价值双高。云厂商附加能力具备较强的技术与渠道基础，但在生态纵深上仍在补课。垂直文档AI工具在特定场景具备精度优势，但受制于平台依赖，价值天花板受限。传统OCR服务商技术门槛低、差异化弱，面临被平台原生能力替代的挤压。

5.4 展望：数据要素时代的竞争终局

非结构化数据进入平台原生时代，本质上反映了数据要素化进程的深化——只有当数据被解析、治理、可调用，它才真正成为可流通、可定价的生产要素。对企业而言，选择数据平台不再只是IT架构决策，而是数据要素战略的核心抉择；对厂商而言，生态打通、治理合规与处理成本三个变量将持续拉大玩家间的差距，单点能力厂商的生存空间将进一步收窄。

可以预见，未来两到三年，非结构化数据处理将从“能力竞争”演变为“生态竞争”，平台原生、治理完备、成本可控的玩家将主导数据要素价值释放的主通道。

趋势判断与产业展望

一、文档智能正从“外挂工具”走向“平台原生”

Databricks 推出的 Document Intelligence 能力，是观察非结构化数据处理演进方向的一个标志性事件。该能力基于 Mosaic AI 框架，将 PDF、表格、扫描件、合同、发票等文档每天数百万份的规模自动解析为结构化、可查询的数据，直接服务于实时应用与 AI Agent 的调用需求。

其产业意义在于两点：其一，文档理解从单点 OCR 工具升级为湖仓原生的数据管道能力；其二，它与数据治理、流处理和 Agent 开发生态深度打通，填补了企业数据平台在文档解析与多模态数据处理上的关键短板。这意味着，文档不再需要“导出—清洗—回灌”的链路，而是作为一等公民直接进入平台的数据资产体系。

二、趋势判断：三个确定性方向

判断一：文档智能将成为数据平台标配。 当头部平台将文档解析内化为原生能力，而非结构化数据在企业数据总量中占比持续攀升，"是否具备文档智能”将像 SQL 引擎、流处理一样，成为数据平台选型的基础项。采购决策逻辑将从“要不要买解析工具”转变为“平台自带的够不够好”。

判断二：平台间生态整合加速。 文档智能一旦嵌入湖仓架构，其价值与治理、血缘、权限、Agent 框架强耦合，单一功能难以脱离平台独立交付。可以预期，数据平台与文档解析厂商之间的合作、并购与深度集成将显著增多，生态位争夺围绕“谁能承接企业 Agent 的数据供给”展开。

判断三：独立工具厂商面临分流。 通用型文档解析工具若无法建立差异化技术壁垒，将面临被平台集成（作为能力被吸收）或向垂直行业专业化（深耕医疗、金融、法务等高壁垒场景）的两难选择。

三、产业格局演化的路径推演

从产业链视角看，价值分布正在重塑：上游算力与基座模型能力集中度提升，中游数据平台凭借“数据在哪、能力就建在哪”的天然优势获取文档智能的主导权，下游 Agent 应用则成为最终的价值出口。对于独立工具厂商而言，窗口期仍然存在——平台的通用能力难以覆盖全部行业长尾，专业化分流是可行的生存路径；但对于停留在通用 OCR 层面的厂商，时间并不站在这一边。

四、展望

未来 2-3 年，"AI for Data"的竞争焦点将从结构化数据的治理与分析，全面转向非结构化数据的平台级处理能力。文档智能作为首个被平台原生化接管的多模态能力，其演进路径将为图像、音视频等多模态数据的平台化提供范本。对产业参与者而言，关键问题是同一个：在平台原生时代，你的不可替代性建立在哪里？