亚马逊AWS官方博客

Tag: AWS Big Data

使用 AWS Step Functions 和 AWS Glue 编排基于 Amazon Redshift 的 ETL 工作流

在本文中，我将展示如何使用 AWS Step Functions 和 AWS Glue Python Shell 以完全无服务器的方式为那些基于Amazon Redshift 的 ETL 工作流编排任务。AWS Glue Python Shell 是一个 Python 运行时环境，用于运行中小型 ETL 任务，例如提交 SQL 查询和等待响应。Step Functions 可让您将多个 AWS 服务协调到工作流中，从而可以轻松运行和监视一系列 ETL 任务。AWS Glue Python Shell 和 Step Functions 均无服务器，允许自动运行和扩展它们以响应定义的事件，而无需配置、扩展和管理服务器。

使用 AWS Glue 对非原生 JDBC 数据源运行 ETL 作业

AWS Glue 是一项完全托管的ETL(提取、转换和加载) 服务，可以帮助您更轻松地准备和加载数据以进行分析。在 AWS 管理控制台上，简单点击几下，就可以创建和运行 ETL 作业。只需要将 AWS Glue 指向您的数据源，AWS Glue 就可以发现您的数据，并将相关的元数据（例如，表定义和结构）存储在 AWS Glue的数据目录中。

使用高级 Amazon CloudWatch 指标和 AWS Lambda 通过空闲检查和自动资源终止优化 Amazon EMR 成本

在这篇博文中，我们将提出一种解决方案来减少这方面的成本。我们实施了一个 bash 脚本，将其安装在 EMR 集群的主节点上，并将该脚本计划为每 5 分钟运行一次。该脚本可监控集群并每 5 分钟向 CloudWatch 发送一次自定义指标 EMR-INUSE（0=非活动；1=活动）。如果 CloudWatch 在一些预定义数据点收到 0（非活动），则将触发警报，然后执行终止集群的 AWS Lambda 函数。