亚马逊AWS官方博客

AWS Team

Author: AWS Team

使用 Amazon Athena、Amazon EMR 和 AWS Glue 构建 Apache Iceberg 数据湖

大多数企业将其关键数据存储在数据湖中,您可以将来自各种来源的数据存储到集中存储中。数据由专门的大数据计算引擎处理,例如用于交互式查询的 Amazon Athena、用于 Apache Spark 应用程序的 Amazon EMR、用于机器学习的 Amazon SageMaker 和用于数据可视化的 Amazon QuickSight。

Read More

在 Amazon Athena 中使用 EXPLAIN 和 EXPLAIN ANALYZE 优化联合查询性能

Amazon Athena 是一种交互式查询服务,可使用标准 SQL 轻松分析 Amazon Simple Storage Service(Amazon S3)中的数据。Athena 是一种无服务器服务,因此您无需管理任何基础设施,而且只需为所运行的查询付费。2019 年,Athena 增加了对联合查询的支持,以便跨存储在关系、非关系、对象和自定义数据来源中的数据运行 SQL 查询。

Read More

从软件哲学角度谈Amazon SageMaker

如果你喜欢哲学并且你是一个IT从业者,那么你很可能对软件哲学感兴趣,你能发现存在于软件领域的哲学之美。本文我们就从软件哲学的角度来了解一下亚马逊云科技的拳头级产品Amazon SageMaker,有两个出发点:一是SageMaker本身设计所遵循的软件哲学;二是从软件哲学的角度我们应该如何使用SageMaker提供的功能。

Read More

利用Amazon API Gateway和AWS Lambda处理Cloudfront的内容请求

国内Amazon Cloudfront目前不支持Lambda@edge功能,不能实现基于CDN的A/B测试、rewrite、redirect、token认证和产生response等功能,本文介绍如何利用API Gateway和Lambda实现Lambda@edge的功能,介绍通过request header参数值,实现redirect和rewrite的测试场景,根据header(test_version)参数值,回源到指定目录的文件,根据header(redirect)参数值,返回302重定向地址。

Read More

EKS上有状态服务启用存储加密

在这个博客里我们针对EKS上有状态服务的数据保护安全需求,介绍了结合KMS服务,在EKS中如何使用StatefulSet、Snapshot Controller 的方式实现有状态服务的存储加密启用,该方式通过从底层存储解决数据加密存储及迁移,无需应用层介入数据迁移,从而简单有效解决了EKS上有状态服务的存储加密需求。

Read More