🏢 公司C档 · NaN分

数据捂得越严,AI做得越烂

··约1分钟阅读

📋 总体概括

企业把最值钱的数据脱敏、掩码、令牌化之后,AI模型吃的全是残羹。安全合规与模型效果正在打架,而拼接式管道让嵌入、权限、源数据三方失同步。Vast Data押注一体化架构,这场数据主权与AI效果的博弈,正在改写AI基础设施的底层逻辑。

📄 正文

数据捂得越严,AI做得越烂

在不少企业里,AI团队调了三个月的Prompt和评测集,效果提升不到两个点;而合规部一纸脱敏规范,一夜之间让模型能力倒退一半。这不是段子,而是当下企业级AI落地最真实的写照——而且有数字可查:MIT Media Lab旗下NANDA项目2025年发布的《The GenAI Divide: State of AI in Business》报告,在调研了300多家企业的生成式AI部署后发现,约95%的企业GenAI试点没有产生可衡量的损益回报,数据可用性差是高频归因之一。Gartner更早一步给出判断:到2025年底,至少30%的生成式AI项目会在PoC后被放弃,理由直指数据质量、隐私风险与成本失控(见Gartner 2024年6月新闻稿)。IBM《2024年数据泄露成本报告》则从另一侧标定了代价:全球单次数据泄露平均成本已达488万美元。数据做得越安全,AI就变得越笨——这个悖论正在倒逼AI基础设施重构——从围绕模型建管道,转向围绕敏感数据重建管道。

🖤 脱敏,是拿黑色记号笔涂掉图纸

先讲一个几乎所有企业AI团队都经历过的场景。

团队要给客户成功部门搭一个RAG应用,让AI回答「哪些客户在什么条件下流失了」这类问题。数据很丰富:CRM记录、工单、合同、会议纪要。但数据还没进管道,安全团队先到了——客户姓名要掩码,合同金额要令牌化,工单里的投诉细节要脱敏。走完这套流程,管道里流进向量库的,是一份千疮百孔的「蓝图」。

这正是硅谷科技媒体SiliconANGLE近期讨论的核心痛点:企业数据之所以有价值,恰恰在于它的特殊性——那些承载客户成败、业务细节的信号,是模型能给出高质量答案的根基。可按照合规和安全团队的工作定义,他们的KPI是「确保没有敏感信息暴露」,而不是「确保数据还有用」。于是,最有信号量的字段,往往是最先被抹掉的那一批。

这不是工程圈的抱怨,学术侧也有可查证的对照实验。微软研究院2024年发表的论文《Privacy-Preserving Prompts》系统比较了多种PII处理方式(掩码、哈希、同义替换等)后发现:对提示中的敏感信息做脱敏,会导致模型在多项任务上的准确率出现可测量的下降;而且更扎心的是,简单脱敏并不能完全阻止模型在攻击下的隐私泄漏——付出可用性代价,买到的安全性还是打折的。「越脱敏越安全」的直觉,在这篇论文面前至少要打个问号。

一句话概括这个悖论:企业数据集的价值来自它的特异性,而脱敏流程抹掉的正是特异性。

更深层的问题是,很多AI工程师把数据当成系统的「燃料」——一种被管道消费的输入。但正确的理解是:数据本身就是架构的一部分,它和模型、Prompt一样,是结构性组件。模型是施工队,数据是图纸。图纸残缺,施工队再强也盖不对楼。大量团队把精力花在Rewrite Prompt、调检索、搭Eval上,却没意识到性能天花板在第一米管道就已经被焊死了。

看这条典型管道:权限系统和脱敏流程是两条独立的轨道,各自有不同的更新频率、不同的责任人、不同的策略引擎。它们在向量库这里汇合——或者说,假装汇合。这就是下一节的病灶所在。

🔗 拼接式管道,正在把敏感数据甩出同步

如果说脱敏是「数据变残缺」的问题,那么拼接式管道就是「数据变错乱」的问题。

据SiliconANGLE报道,在AI Data Pipeline Forum上,存储厂商Vast Data亮出了一个相当尖锐的判断:随着企业把AI推理推向最敏感的数据所在之处,数据主权正在变成一个架构问题。而由多个独立工具拼装起来的管道,最大的软肋是——它们无法让嵌入(embeddings)、权限(permissions)和源数据(source data)三者保持同步。

这不是一个玄学问题,而是工程上极易复现的故障:

  • 源数据更新了,嵌入还是旧的——AI拿着过期答案一脸自信地回答;
  • 用户权限变了,向量库里的访问控制没跟上——上季度还有权限的人,这季度还在通过检索读到不该看的内容;
  • 脱敏策略调整了,已生成的嵌入不会自动重算——新旧规则混在一起,没人说得清哪份数据是按哪个版本的政策处理的。

在模型训练时代,这些问题可以被容忍。训练集是一次性快照,错了大不了重跑。但整个行业正在从训练转向推理,推理是实时的、面向最终用户的、直接触碰生产数据的。每一次检索都要实时校验「这个人能不能看这块数据」「这块数据是不是最新版本」。管道里的每一个接缝,都从「离线小概率事故」变成了「在线高概率风险」。

结果是什么?大量本来最有价值的企业数据集,因为「管不住同步、说不清权限」,被直接排除在AI可用范围之外。这不是推测,而是有公开案例可查的产业事实:2023年,三星在连续发生员工将机密代码粘贴进ChatGPT的泄密事件后,直接全面禁用生成式AI工具(路透社等多家媒体当时均有报道);高盛、摩根大通、苹果等机构也曾长期对员工禁用或严格限制ChatGPT的使用。这些企业的共同选择不是「把数据管好再用AI」,而是「先别让AI碰数据」。不是AI够不着数据,而是企业不敢让AI够着数据。

这里有个微妙的转折:数据主权原本是个合规概念——数据留在谁的境内、归谁管辖。但现在它正在被「架构化」:推理要向敏感数据靠近,而不是数据向算力迁移。这意味着AI基础设施的设计原点变了,从「模型在哪,数据搬过去」变成「数据在哪,推理长过去」。(Vast Data的赌注就押在这里——它判断拼接式管道撑不住这个新原点。)值得留意的是,这并非Vast Data一家的孤注:Gartner在「AI-ready data」议题上的持续研究也得出了方向一致的结论——企业AI项目的瓶颈正从模型能力转向数据治理与数据的「就绪度」,而这要求治理能力内嵌进数据架构本身,而不是架在管道前端。这构成了除SiliconANGLE之外的第二条独立信源。

📍 四象限:谁在真正解这道题

把这个赛道摊开看,玩家们各自站在什么位置?

四个位置的逻辑各不相同:

  • 传统脱敏工具(左下):技术门槛低,只解决「防泄漏」单点问题,且完全不关心数据后续是否可用。它们是这个悖论的制造者之一,但也是当下合规刚需的既得利益者——属于典型的存量玩家。
  • 自建拼接管道(中部):企业在开源组件上自己缝的方案,短期灵活,长期被同步问题反噬。商业价值不低(毕竟数据是真值钱),但技术债会持续吃掉收益。
  • 一体化湖仓平台(右上偏内):Databricks、Snowflake这类平台天然追求把存储、治理、计算收进一个屋檐下,在「权限与数据同源」上有先天优势——两者都已把行级访问控制和动态数据掩码策略内置进各自的数据目录(Databricks的Unity Catalog、Snowflake的Horizon Catalog),这是「查询时治理」路线的产品化证据。它们的挑战是把AI推理场景的实时性和细粒度访问控制补到生产级。
  • Vast Data(右上角):押注最激进的技术路线——既然拼接管道注定失同步,那就从存储层开始重建,让安全、血缘、嵌入、权限在同一个架构里原生对齐。门槛最高,但一旦赌对,卡位最深。

值得注意的产业信号是:四类玩家正在向同一个问题收敛。「脱敏后数据还有没有用」「嵌入和权限同不同步」「推理部署在哪」,过去是三个部门各管一段的问题,现在正在被压缩成同一个架构问题。收敛的方向只有一个:谁能把安全性和可用性同时做进数据平面,谁就拿到下一代AI基础设施的入场券。

🏗️ 两个时代,两套基础设施逻辑

训练时代和推理时代,对数据基础设施的要求几乎是两套操作系统。

维度训练时代推理时代
数据访问模式批量快照,一次性消费实时检索,每次请求都要校验
权限要求粗粒度,数据集级细粒度,行级列级字段级
敏感数据策略进管道前一次性脱敏查询时按需脱敏,保留原始信号
失同步代价重跑训练,损失可控错误答案直达用户,代价即时
架构原语数据湖+特征管道权限感知检索+统一元数据
合规角色事前审批事中实时管控

表格里最关键的一行是「敏感数据策略」。拼接式管道的思路是「先脱敏再进AI」,这是训练时代的遗产。推理时代的正确姿势是把脱敏从管道前端挪到查询时:原始数据完整保留,嵌入基于完整信号生成,敏感信息在每一次检索返回时根据请求者权限动态决定给不给、给多少。这样,安全性和可用性不再互斥——模型吃到了完整的「蓝图」,合规的「黑色记号笔」只在最后一厘米落下。

而这恰恰是拼接式管道做不到的事。查询时脱敏要求脱敏引擎、权限系统、向量库、源数据共享同一份元数据和血缘记录。任何两个组件之间的接缝,都是同步失败的候选项。

敏感数据进AI的四道坎
痛点 1
脱敏切走关键信号,蓝图残缺
→
解法
脱敏后置到查询时,按需掩码
痛点 2
嵌入与权限、源数据失同步
→
解法
统一元数据与血缘,单一控制面
痛点 3
数据主权约束推理部署位置
→
解法
推理向数据靠近,就地部署
痛点 4
拼接管道接缝多、运维成本高
→
解法
一体化架构收敛工具链

需要说明的是,「一体化」不等于「单厂商全家桶」。务实的判断是:组件可以多厂商,但元数据和权限必须是单一真相源。工具可以拼,控制面不能拼。

⚠️ 冷水:一体化不是免费午餐

当然,给这股热潮泼点冷水是必要的。

其一,迁移成本是真实的。大量企业已经在拼接管道上投入了两年以上,向量库选型、脱敏工具采购、合规审计流程都已固化。推倒重来的组织阻力,往往大于技术阻力。据多位接近企业客户的人士透露,很多POC阶段让人眼前一亮的一体化方案,到了采购环节就会被现有的安全审计流程拖上一年。

其二,查询时脱敏有性能代价。每次检索都做动态权限判定和动态掩码,意味着延迟和吞吐都要付出成本。对延迟敏感的场景,这可能是一票否决项。

其三,厂商锁定风险。把权限、血缘、嵌入、存储绑进一个架构,议价能力和退出成本都要重新算账。聪明的企业会在合同里提前写好数据和控制面的可迁移性条款。

其四,也是最容易被忽视的:技术方案解决不了责任划分问题。「脱敏后数据失效」这个悖论的本质,是安全团队的KPI和AI团队的KPI互相打架。架构可以把两者收进一个控制面,但绩效考核如果还是两张表,团队依然会在每一次数据接入时互相拉扯。先改组织,再改架构,顺序不能反。

结语:给三个动作,也给三面镜子

回头看,「数据越安全、AI越烂」这个悖论,其实是一面照妖镜:它照出的是企业用训练时代的管道,硬跑推理时代的负载。脱敏不是错的,拼接也不是原罪,错的是把安全性和可用性当成了一场零和博弈。MIT NANDA报告里那95%没跑出回报的试点,Gartner预言中那30%将被放弃的项目,很大程度上不是死于模型不够强,而是死于数据在进入AI之前就已经失去了做AI燃料的资格。

对企业而言,这件事不必等到换平台才能动手,今天就可以做三件事:第一,量化脱敏的代价——拿同一批数据做对照,测一次「完整版」和「脱敏版」在核心评测集上的效果差,把损失变成一页纸的数字,而不是一句抱怨;第二,盘点接缝——画出你自己的嵌入、权限、源数据三者的更新链路,找出所有「各改各的」的位置;第三,选一个高价值场景试点查询时脱敏——用行级权限加动态掩码跑通一条端到端的推理链路,再谈架构升级。

接下来两三年,值得盯三个指标:一是统一元数据层会不会成为企业数据栈的标配;二是主流平台能否把行级权限感知检索做到生产级延迟;三是「推理向数据迁移」会不会改写云厂商的算力布局逻辑。当数据主权彻底变成架构问题,AI基础设施的竞争,就不再是算力的竞争,而是谁能同时守住数据的秘密和数据的灵魂。这道题,现在才刚刚开考。

主要信源:SiliconANGLE(AI Data Pipeline Forum对Vast Data的报道);Gartner新闻稿《30% of Generative AI Projects Will Be Abandoned After Proof of Concept by End of 2025》(2024年6月);MIT Media Lab Project NANDA《The GenAI Divide: State of AI in Business 2025》;IBM《2024年数据泄露成本报告》;微软研究院论文《Privacy-Preserving Prompts》(2024);路透社等对三星禁用生成式AI事件的报道(2023)。

本文由本站 AI 辅助聚合生成,原始来源如下:

🔎 本文基于以下资讯(素材溯源 · 信息来源)

📰 相关阅读推荐(与本文相关的其他资讯)