发布于: Jan 22, 2019
您现在可以在 AWS Glue 中使用 Python 脚本来运行中小型常规任务，这些任务通常是 ETL（提取、转换和加载）工作流的一部分。之前，AWS Glue 中只有在无服务器 Apache Spark 环境中运行的作业。现在，您可以使用 Python Shell 作业向 Amazon Redshift、Amazon Athena 或 Amazon EMR 等服务提交 SQL 查询，或者运行机器学习和科学分析。
AWS Glue 中的 Python Shell 作业不仅支持与 Python 2.7 兼容的脚本，还预装了 Boto3、NumPy、SciPy 和 Pandas 等库。您可以使用 1 个 DPU（数据处理单元）或 0.0625 个 DPU（即 1/16 个 DPU）运行 Python Shell 作业。一个 DPU 提供的处理能力由 4 个 vCPU 和 16GB 内存组成。