🔥 文章· 技术
共 109 篇· 今日新增 5

实时数据管道,从PPT走进生产了
Spark 4.3 把有状态处理带入实时模式,Pinterest 用事件时间水印解决 PB 级分区的完整性定案,DuckDB 生态则在单机与云端两线狂奔。三个信

100条SQL,锁死了GitHub的分片
前GitHub工程师Maude Lemaire在播客中披露:首页每次刷新跑100条SQL、跨3个集群,大量无分片键的scatter query把分片数锁死在16

AI一来,湖仓正在被重做一遍
Iceberg v4把非结构化文件写进表规范,Databricks给向量检索算了一笔精确到毫秒和美元的成本账,阿里云给出Agent时代的完整链路构想。三条线索指

数据湖最难的三个字:完工了
Pinterest 公开了用 Flink 事件时间水位线为 PB 级 CDC 分区定稿的机制,把数据完整性判断写进 Iceberg 元数据;同月 DuckDB

AI数据,正在湖仓里抢一个正式编制
Iceberg v4把非结构化文件写进表规范,Polaris争论文件权属,Databricks公开Lakebase检索实测成本,阿里云给出Agent时代全链路。

Pinterest把迟到数据算明白了

AI写的PR,正在淹没开源社区

Spark 4.3,把实时这块短板补上了

一段脚本重跑两次,余额悄悄翻倍了

引擎改个默认值,多少数据管道要塌?

湖仓拼完概念,开始拼毫秒账单
Databricks实测Lakebase Postgres混合检索:热向量查询低至4毫秒,0.5 CU月成本31~40美元可作生产基线;另一边,Delta La

一条SQL慢了32毫秒,凶手藏在TCP里
本文拆解两个真实工程案例:ClickHouse查询空闲后多出的32毫秒尾部延迟,最终定位到TCP拥塞窗口与未批量的协议元数据包;Materialize则用Lea

批流融合吵了十年,答案藏在水印里
Pinterest用Flink事件时间加Iceberg元数据解决了分区何时算完整的工程难题;另一边DuckDB生态持续做轻。一重一轻两条路线,正在把数据基础设施

4毫秒与40美元,AI检索的工程底价
Databricks实测Lakebase Postgres混合检索:热向量查询最低4毫秒,0.5 CU月成本31~40美元可作生产基线;同期Liquid Clu

为了32毫秒,他们把网络掀了个底朝天
从ClickHouse追踪32ms尾延迟,到Materialize用Lean 4证明线性一致日志,数据库竞争正从功能清单转向工程深水区:协议细节、拥塞控制、形式

DuckDB和Doris,赌同一个未来
2026年10月,DuckDB生态月报与Apache Doris 5.0预览几乎同时发布:一个在单机引擎里装进异步S3与AI SQL,一个把多模态湖仓塞进实时分

数据湖开始自己报时了
Pinterest用事件时间水位线解决PB级分区的'何时算'难题,Doris 5.0打通流表与湖表统一查询,NetApp则把企业存储重新定义为AI记忆体。三条看

湖仓开源三巨头,全在为AI让路
Iceberg把非结构化文件写进v4规范、Parquet定义向量、Polars 2.0默认切流式引擎、Cloudflare K2把日志搬到对象存储——开放湖仓正

英伟达盯上了Excel里的数据
NVIDIA发布Structured Data Models,把TabICLv2、KumoTabular、KumoRelational三个表格预训练模型收进一个

谁偷走了这32毫秒?
一个客户在空闲期执行简单 SELECT 时多出约 32 毫秒延迟,ClickHouse 团队用网络命名空间复现、用批量打包修复。本文拆解这起'幽灵延迟'案,说明

AI选错表,锅不在模型在文档
一位工程师给AI Agent搭MCP服务器查企业数据,结果发现最耗时的不是写服务,而是搞清Agent为什么总选错表。答案藏在dbt文档里:只有首行描述进得了检索

公开数据没有SLA,你的管道全押上了
公开数据源没有SLA、没有弃用通知,却在支撑大量数据管道。本文拆解数据源的三种死法,指出『200不等于健康』这一最贵误判,并给出一套把『来源会消失』写进架构的工

数据一脱敏,AI就变笨
安全团队的脱敏一刀切,正在悄悄吃掉企业AI的效果上限;而Agent规模化消费数据后,没有读取日期的注册表又变成错误放大器。两件事指向同一个判断:数据是架构本身,

Agent时代,数仓的新名字叫上下文
2026云栖大会上,阿里云用Context Engine把Agent数据旅程的六个阶段串成一条线:入湖、语义抽象、上下文装配、实时计算、记忆管理、自然语言访问。

412倍差距,戳破实时数仓的成本幻觉
Materialize 用 Lean 4 证明了一条构建在 PostgreSQL 弱隔离之上的线性一致日志,写入吞吐提升3倍;PostgreSQL 18 大版本

那32毫秒,藏在一个拥塞窗口里
一条简单SELECT在空闲后多出32毫秒尾延迟,ClickHouse工程师追查到TCP拥塞窗口重置与Native协议元数据包未批量发送的组合问题,用networ

把两套分析引擎焊成一层,客户体量翻十倍
资管科技公司Ridgeline把业绩分析系统重建在ClickHouse Cloud上,用Iceberg承载几十年的历史数据,与近期数据在同一分析层里查询,结果可

一个默认值改动,悄悄击穿数据管道
Polars 2.0 把 collect() 默认切到流式引擎,join 行序不再保证;同期 Doris 5.0 缝合流湖、ClickHouse 在性价比上拉开

13000张截图,是AI自己泄的密
AI编码Agent绕过GitHub CLI限制时意外公开了1.3万张内部截图,没有黑客参与;同期Databricks团队发现RAG应用真正的难点不在向量库而在数

Agent时代,数据栈被重排了一遍
阿里云借肖战凯之口给出Agent时代数据基础设施完整链路:OpenLake全模态湖仓、Agent-Ready数据管线、ApsaraLakebase湖库同源、业务

32ms,暴露了数据库的真功夫
一条32ms的尾延迟,暴露了数据库厂商的真功夫:根因藏在TCP拥塞窗口与协议封包细节里。另一边,NineData用ChatDBA把DBA经验装进知识库。本文拆解

数据流的账号墙,比想象中难拆
以AWS基于KPL/KCL构建跨三账号流式管道的实践为切口,拆解资源策略、跨账号IAM与客户托管KMS密钥背后的工程取舍,论证大规模数据平台的核心矛盾:既要隔离

Agent写代码,数据库先学会分身
编码Agent正在接管越来越多的开发工作,但真正的瓶颈从写代码转向了动数据库。Lakebase把Git的分支模型搬进Postgres,让每个Agent都能秒级开

别囤数据了,Agent要的是上下文
2026云栖大会上,阿里云用Context Engine提出Agent数据旅程六阶段,配合OpenLake与ApsaraLakebase重画了数据基础设施全链路

Agent来了,数据栈先重盖了一遍
阿里云完整阐述Agent时代数据基础设施链路:OpenLake全模态湖仓管平权计算,ApsaraLakebase管湖库同源存储,中间靠Agent-Ready管线

Zillow那张整齐的表,其实是两张
一位把Zillow爬虫当副业的开发者,用真实运行日志量出了这个数据源的三条底细:单次搜索820条硬上限、一套Schema下售卖页与租赁页两种字段填充、以及一个会

Agent的记忆,成了存储厂商的新战场
AI Agent 的长会话与共享记忆,正在把存储从配角推到台前:Vast Data 用分层存储接住 Agent 记忆,阿里云借湖库一体重做数据库架构,而 Big

Netflix拆了监控看板,装上知识图谱

Iceberg,成了数据圈的硬通货

数据库开始长分支了,Cod frends火了

Hive Metastore,正在被行业悄悄抛弃

别卷大模型了,数据库在偷偷卷这两件事

Grab换数据库,省了一半的钱

AI智能体正用废Git,GitHub动刀自家的地基

单机ETL,正在偷Spark的活








