发布于: Dec 14, 2022
EKS 上的 Amazon EMR 现在支持使用适用于 Apache Spark 的 Nvidia RAPIDS 加速器对图形处理单元(GPU)实例类型进行加速计算。 人工智能(AI)和机器学习(ML)在分析中的采用率越来越高,这增加了使用 GPU 快速且经济高效地处理数据的需求。适用于 Apache Spark 的 Nvidia RAPIDS 加速器帮助客户利用 GPU 性能的优势,同时节省基础设施成本。在此版本中,EKS 上的 EMR 客户只需在调用 EKS 上的 EMR API 时指定 Spark-RAPIDS 发行标签即可使用 RAPIDS 加速器。
之前,EKS 上的 EMR 客户必须创建自定义映像才能使用 Nvidia RAPIDS 加速器。这需要工程和测试工作。此外,每发布一次新的 Nvidia RAPIDS 版本、错误修复或安全更新,客户都必须重建自定义映像并再次进行测试。从 EMR 6.9 开始,EKS 上的 EMR 推出了一款适用于 Spark 镜像的全新 Nvidia RAPIDS 加速器。客户可以使用相同的 StartJobRun API 来运行他们的 Spark 任务,只需指定一个新的 Spark-RAPIDS 发行标签即可在支持 GPU 实例类型的 EKS 集群上利用 RAPIDS 加速器。
从 Amazon EMR 版本 6.9 开始,此功能已在提供 Amazon EKS 上的 EMR 的所有区域推出。要了解有关如何运行适用于 Apache Spark 的 Nvidia RAPIDS 加速器的更多信息,请访问文档页面。