发布于: Nov 28, 2022
AWS Glue for Ray 是 AWS Glue 上的一个新引擎选项。数据工程师可以使用 AWS Glue for Ray 通过 Python 和热门的 Python 库来处理大型数据集。AWS Glue 是一项无服务器、可扩展的数据集成服务，用于发现、准备、移动和集成来自多个源的数据。AWS Glue for Ray 将用于数据集成的无服务器选项与 Ray (ray.io) 相结合，Ray (ray.io) 是一个热门的新开源计算框架，可帮助您扩展 Python 工作负载。
您只需为运行代码时使用的资源付费，不需要配置或调整任何资源。AWS Glue for Ray 促进了多节点集群上 Python 代码的分布式处理。 您可以在运行 AWS Glue ETL（提取、转换和加载）作业的任何位置创建和运行 Ray 作业。这包括现有的 AWS Glue 作业、命令行界面（CLI）和 API。您可以通过 AWS Glue Studio 中的笔记本、Amazon SageMaker Studio Notebook 或从本地选择 Ray 引擎。Ray 作业就绪后，您可以按需或按计划运行它。
AWS Glue for Ray 预览版在以下 AWS 区域推出：美国东部（俄亥俄州）、美国东部（弗吉尼亚州北部）、美国西部（俄勒冈州）、亚太地区（东京）和欧洲地区（爱尔兰）。
要了解详情，请参阅我们的文档。