Pinterest使用事件时间水位线确定PB级数据分区的完结

📋总体概括

Pinterest为其数据库摄取框架引入基于事件时间的分区完结机制，利用Apache Flink追踪事件时间，并通过Apache Iceberg元数据发布一个不会回退的水位线，帮助下游作业判断持续摄入的CDC数据何时足够完整、可以安全处理。该方案解决了流式摄取场景下分区永不确定的难题，是事件驱动数据湖实践的典型落地。