亚马逊AWS官方博客

Tag: Amazon S3

Codepipeline跨账号访问Codecommit

大型企业中代码仓库通常存放在各部门开发账户中,而流水线则位于独立DevOps账户中。 本文我们将介绍如何创建跨账号访问Codecommit代码仓库的Codepipeline流水线,即CodePipeline调用另一个账号中的Codecommit代码仓库。

Read More

使用 AWS Glue、Apache Hudi 和 Amazon S3 构建无服务器管道以分析串流数据

企业通常会积累海量数据,并继续生成越来越多的数据量,从 TB 级到 PB 级,有时甚至会生成 EB 级的数据。此类数据通常在不同的系统中生成,需要聚合到一个位置进行分析和生成洞察。借助数据湖架构,您可以聚合各个孤岛中的数据,将其存储在一个集中式存储库中,实施数据治理,并支持基于这些存储的数据进行分析和机器学习(ML)。

Read More

使用 Amazon MSK Connect、Apache Flink 和 Apache Hudi 创建低延迟的源到数据湖管道

近年来,我们已经从整体式架构向微服务架构转变。微服务架构使应用程序更易于扩展和更快开发,从而实现创新并加快新功能的上市。但是,这种方法会导致数据存在于不同的孤岛中,这使得执行分析变得困难。为了获得更深入和更丰富的洞察,您应该将不同孤岛中的所有数据集中到一个地方。

Read More