发布于: Nov 22, 2022
我们很高兴地宣布支持在 EMR Studio Jupyter Notebook 会话中配置 Spark 属性，用于交互式 Spark 工作负载。EKS 上的 Amazon EMR 使客户能够有效运行开源大数据框架，如 Amazon EKS 上的 Apache Spark。Amazon EMR on EKS 客户使用 EMR Studio 等集成式开发环境 (IDE)，设置并使用托管端点（在预览版中提供）来运行交互式工作负载。
数据科学家和工程师使用 EMR Studio Jupyter notebook 和 EKS 上的 EMR 来开发、可视化和调试使用 Python、PySpark 或 Scala 编写的应用程序。通过此次发布，客户现在可以在他们的笔记本会话中自定义 Spark 设置，如驱动程序和执行程序 CPU/内存、执行程序的数量和软件包的依赖关系，以便使用单个托管端点处理不同的计算工作负载或不同数量的数据。