張貼日期: Jan 22, 2019
您現在可以在 AWS Glue 中使用 Python 指令碼,執行通常屬於 ETL (擷取、轉換和載入) 工作流程的中小型一般任務。之前,AWS Glue 任務僅限於那些在無伺服器 Apache Spark 環境中執行的任務。您現在可以使用 Python shell 任務,例如,向 Amazon Redshift、Amazon Athena 或 Amazon EMR 等服務提交 SQL 查詢,或執行機器學習以及科學分析。
AWS Glue 中的 Python shell 任務支援與 Python 2.7 相容的指令碼,並預先載入 Boto3、NumPy、SciPy、pandas 等等的程式庫。您可以使用 1 DPU (資料處理單元) 或 0.0625 DPU (1/16 DPU) 執行 Python shell 任務。單一 DPU 提供的處理能力包括 4 個負責運算的 vCPU 和 16 GB 記憶體。