🔥 文章· 集成与管道
共 41 篇· 今日新增 5

实时数据管道,从PPT走进生产了
Spark 4.3 把有状态处理带入实时模式,Pinterest 用事件时间水印解决 PB 级分区的完整性定案,DuckDB 生态则在单机与云端两线狂奔。三个信

都上了Dagster,还要dbt干嘛?
『有Dagster了还要dbt吗』是数据工程圈搜索量第二高的问题。dbt v2落地后,答案更清晰:两者不是重复采购,而是分工——dbt管SQL转换,Dagste

一段脚本重跑两次,余额悄悄翻倍了

引擎改个默认值,多少数据管道要塌?

卡住AI的,早就不只是GPU了
AI基础设施竞争正从芯片转向系统层:数据供给、高速网络与功耗散热成为新瓶颈。10月13日AI Data Pipeline论坛将聚焦这一命题,本文拆解瓶颈迁移背后

用最慢的存储,造最等不起的日志
Cloudflare公开测试K2,把持久日志直接架在R2对象存储上,宣称produce p99约1秒,实测端到端7.5秒。本文拆解其架构逻辑、延迟现实、竞争定位

公开数据没有SLA,你的管道全押上了
公开数据源没有SLA、没有弃用通知,却在支撑大量数据管道。本文拆解数据源的三种死法,指出『200不等于健康』这一最贵误判,并给出一套把『来源会消失』写进架构的工

AI抢的不再是芯片,是管道
AI基础设施竞赛正从"造更快的芯片"转向"把数据持续喂进芯片"。10月13日AI Data Pipeline Forum把系统级挑战推上台前:高速网络、功耗散热

数据流的账号墙,比想象中难拆
以AWS基于KPL/KCL构建跨三账号流式管道的实践为切口,拆解资源策略、跨账号IAM与客户托管KMS密钥背后的工程取舍,论证大规模数据平台的核心矛盾:既要隔离

Zillow那张整齐的表,其实是两张
一位把Zillow爬虫当副业的开发者,用真实运行日志量出了这个数据源的三条底细:单次搜索820条硬上限、一套Schema下售卖页与租赁页两种字段填充、以及一个会

数据管道,正在被湖仓“收编”
Fivetran、dbt 与 Databricks Lakeflow 的官方协同方案,标志着现代数据栈从“拼装式”组合走向平台化整合。本文拆解摄取、转换、编排三

当AI Agent开始追问数据从哪来
AI Agent被推上数据管道排障一线,却普遍看不懂血缘;Cognee社区用OpenLineage连接器给Agent装上管道记忆,StreamSQL则以流流JO

两套报表打架,问题不在BI

写管道的人,正在被管道淘汰

数据的终点不是报表,是决策














