亚马逊AWS官方博客
Tag: Amazon S3
老司机们坐稳了 – 将Amazon EC2到Amazon S3的数据传输推向100Gbps线速
本文介绍如何在Amazon EC2与Amazon S3之间实现高速数据传输。
跨 AWS 账号复制加密的 S3 对象
本文主要介绍了如何在跨账号的环境下,进行S3加密对象的复制。
Codepipeline跨账号访问Codecommit
大型企业中代码仓库通常存放在各部门开发账户中,而流水线则位于独立DevOps账户中。 本文我们将介绍如何创建跨账号访问Codecommit代码仓库的Codepipeline流水线,即CodePipeline调用另一个账号中的Codecommit代码仓库。
使用Amazon SageMaker构建文本摘要应用
雇佣大量的专业人员进行信息精炼或者内容审核无疑要投入大量的资金。而自动文本摘要就显得意义非凡,通过大量数据训练的深度学习模型可以在几百毫秒内产生文本摘要,这大大地提升了摘要生成效率,节约了人力成本。
基于Graviton2处理器构建容器化基因分析工作负载
本文以土壤微生物宏基因测序为例,演示了如何利用AWS Batch服务调用基于Graviton2处理器的实例用于基因分析,并验证了Graviton2高性价比的特性。
使用Lambda函数URL + CloudFront实现S3镜像回源
Lambda函数URL是Lambda在4月份新发布的一个特性,允许直接通过函数的URL断点调用Lambda函数。本文介绍如何利用Lambda函数URL+CloudFront实现镜像回源方式从第三方迁移数据至S3.
从 Amazon EMR 和 AWS Glue 访问 Amazon S3 中数据的性能优化最佳实践
这篇文章介绍了使用 Amazon EMR 和 Amazon Glue 分析 Amazon S3 中数据时,实现所需性能扩展的最佳实践。我们重点强调了在 Amazon EMR 和 AWS Glue Spark 作业上针对 Apache Spark 进行优化。
使用 AWS Glue、Apache Hudi 和 Amazon S3 构建无服务器管道以分析串流数据
企业通常会积累海量数据,并继续生成越来越多的数据量,从 TB 级到 PB 级,有时甚至会生成 EB 级的数据。此类数据通常在不同的系统中生成,需要聚合到一个位置进行分析和生成洞察。借助数据湖架构,您可以聚合各个孤岛中的数据,将其存储在一个集中式存储库中,实施数据治理,并支持基于这些存储的数据进行分析和机器学习(ML)。
使用 Amazon MSK、Apache Flink 和 Apache Hudi 实现流批一体的数据湖架构
这篇文章中,我们使用 Lambda 架构,介绍如何分析业务,以及如何以数据湖为本来形成流批一体的架构。
使用 Amazon MSK Connect、Apache Flink 和 Apache Hudi 创建低延迟的源到数据湖管道
近年来,我们已经从整体式架构向微服务架构转变。微服务架构使应用程序更易于扩展和更快开发,从而实现创新并加快新功能的上市。但是,这种方法会导致数据存在于不同的孤岛中,这使得执行分析变得困难。为了获得更深入和更丰富的洞察,您应该将不同孤岛中的所有数据集中到一个地方。