发布于: Jan 4, 2022
Amazon EMR on EKS 支持自定义图片 - 一种帮助客户自定义 Docker 容器映像的功能，用于在 EMR on EKS 运行 Apache Spark 应用程序。今日，EMR on EKS 开源自定义图像验证工具，允许客户运行一套自动化测试来验证其自定义 docker 容器图像。
通过使用自定义映像，数据工程师和数据科学家可以安装和配置特定于其工作负载的软件包，这些软件包在 EMR 的 Spark 运行时的原定设置分配中不可用，但可以安装到单个不可改变容器中。在自定义图片的支持下，您可以为每个使用案例创建一个包含应用程序及其依赖项的自包含的 Docker 镜像。例如，您可以为数据工程师创建一个自定义映像，其中包含应用程序所需的特定 Java 版本和证书，为数据科学家创建一个单独的自定义映像，其中包含不同的依赖项，如专用库或特定的 Python 依赖项。然后，数据工程师和数据科学家可以在 EMR on EKS 任务中使用其特定于应用程序的自定义映像。