亚马逊AWS官方博客

Tag: ETL

在 AWS Glue 的 Python Shell 作业中部署 AWS Data Wrangler 进行 ETL 数据处理

本文首先介绍了AWS Glue以及该服务的功能和使用场景,然后介绍了AWS Glue 中的Python Shell作业,可以基于Python完成一些基础的ETL操作。接下来,我们又介绍了Pandas on AWS – AWS Data Wrangler这款在AWS上进行数据分析的利器,并通过一个示例场景(CSV转换Parquet)来介绍了如何在Python Shell作业引入AWS Data Wrangler来简化在AWS平台上的无服务器化的ETL任务。

Read More

使用 Apache Flink 与 Amazon Kinesis Data Analytics 实现流式 ETL

本文讨论了如何使用Apache Flink与Kinesis Data Analytics构建流式ETL管道。其中着重强调了如何构建可扩展解决方案,在解决流式摄取中部分高级用例的同时,保持较低的运营开销。这套解决方案将帮助大家快速实现流式数据的丰富与转换,并将其加载至数据湖、数据存储或者其他分析工具当中,且无需执行额外的ETL操作步骤。本文还探讨了如何通过监控与故障处理对应用程序加以扩展。

Read More