平台与中台
AWS宣布Amazon EMR on EKS支持Spark Connect：随时随地交互式PySpark开发
原标题: AWS宣布Amazon EMR on EKS支持Spark Connect：随时随地交互式PySpark开发
📋总体概括
AWS宣布在Amazon EMR on EKS上支持Spark Connect，开发者可在VS Code、PyCharm、Jupyter、SageMaker Unified Studio或dbt等本地或云端环境中交互式构建、测试和调试PySpark应用，而实际的Spark作业运行在已有的EKS集群上。Spark Connect通过gRPC将客户端与Spark服务端解耦，实现远程连接开发，降低了PySpark开发环境搭建门槛，使交互式开发与大规模集群执行可以分离进行。
⚡关键信息
- ▸AWS宣布Amazon EMR on EKS正式支持Spark Connect
- ▸支持VS Code、PyCharm、Jupyter、SageMaker Unified Studio、dbt等多种开发环境
- ▸开发者可交互式地构建、测试和调试Spark应用
- ▸Spark实际运行在用户已有的Amazon EKS集群上，实现本地开发与远程执行的解耦
🔥犀利点评
Spark Connect本就是Spark 3.4以来最重要的架构演进之一，把胖客户端重IoE化成gRPC远程调用。这次AWS把它搬到EMR on EKS，本质是补齐了托管Spark在开发者体验上的短板——以前本地开发Spark要靠jupyter+livy或magic kernel这类凑合方案。对已重仓EKS的企业是实打实的便利，但也意味着更深的AWS绑定，多云玩家需谨慎。
📰 相关资讯（与本文相关的其他资讯）
本文由本站自动聚合，以下为原始来源：前往 AWSBigData 阅读全文 →