亚马逊AWS官方博客

新增功能 – 使用标签策略跨多个 AWS 账户管理标签

今天,我们将向您提供一种机制,帮助您实施跨越一个 AWS 组织内多个 AWS 账户和组织单位 (OU) 的一致性高质量标记准则。现在,您可以创建并应用标签策略,并将它们应用于您组织内的任何所需的 AWS 账户或 OU,或应用于整个组织。每个级别的策略都会聚合到一个账户的有效策略中。

Read More

宣布推出适用于 AWS WAF 的 AWS 托管规则

构建和部署安全的应用程序是一项至关重要的工作,而威胁形势总在不断变化。我们一直在努力减轻维持强大的云安全态势所带来的痛苦。今天,我们将推出一款名为适用于 AWS WAF 的 AWS 托管规则的新功能,来帮助保护您的应用程序,且无需直接创建或管理规则。我们还对 AWS WAF 进行了多项改进,并推出了经过改进的新控制台和 API,从而让您更加轻松地保护应用程序的安全。

Read More

通过 Amazon Redshift 使用空间数据

今天,Amazon Redshift 宣布对称为 GEOMETRY 的新本地数据类型提供支持。这种新数据类型支持提取、存储和查询二维地理数据,并且能够将空间函数应用于该数据。地理数据(也称为地理参照数据)是指与相对于地球的位置有某些关联的数据。坐标、海拔、地址、城市名称、邮政编码、行政和社会经济边界都是地理数据的示例。

Read More

使用 Amazon EMR 6.0.0(测试版)在 Docker 上运行 Spark 应用程序

Amazon EMR 团队很高兴宣布支持 Spark 2.4.3、Hadoop 3.1.0、Amazon Linux 2 和 Amazon Corretto 8的EMR 6.0.0 的公开测试版已经推出。在这个测试版中,Spark 用户可以使用 Docker Hub 和 Amazon Elastic Container Registry (Amazon ECR) 中的 Docker 镜像来定义环境和库依赖项。使用 Docker,用户可以轻松管理依赖项并将其用于单个作业,而无需在集群的各个主机上安装依赖项。

Read More

Amazon EMR 对 Spark 集群提升弹性并增强恢复能力的实现

借助 Amazon EMR 中的自动扩展功能,客户可以根据集群使用情况或其他与作业相关的指标来动态扩缩集群。虽然这些功能可帮助您有效利用资源,但也可能会导致 EC2 实例在作业运行过程中关闭。这可能会导致计算和数据丢失,从而影响作业的稳定性或者因重新计算产生重复工作。

Read More

通过 EMR Notebooks 在运行的集群上安装 Python 库

本博文将讨论如何通过 EMR Notebook 直接在正在运行的集群上安装笔记本范围的Python库。在此功能推出之前,您必须依赖Bootstrap引导操作或使用自定义 AMI 来安装预置 EMR AMI 没有预先打包的其他库。接下来,博文还将讨论如何使用 EMR Notebooks 中本地可用的预安装 Python 库来分析结果并绘制图表。此功能在您无法访问 PyPI 存储库但需要分析和可视化数据集的情况下非常有用。

Read More

EMR Notebooks: 基于 Jupyter Notebook 的托管分析环境

EMR Notebooks 旨在帮助您轻松使用 Apache Spark 试验和构建应用程序。在本博文中,我将先介绍 EMR Notebooks 具备的一些优势。然后,我将介绍它的一些功能,例如将笔记本分离并附加到不同的 EMR 集群、从笔记本内部监控 Spark 活动、使用标签控制用户权限,以及设置用户模拟来跟踪笔记本用户及其操作。要了解如何创建和使用 EMR Notebooks,您可以访问使用 Amazon EMR Notebooks 或观看 AWS 在线技术讲座网络研讨会。

Read More

使用 AWS Glue 对非原生 JDBC 数据源运行 ETL 作业

AWS Glue 是一项完全托管的ETL(提取、转换和加载) 服务,可以帮助您更轻松地准备和加载数据以进行分析。在 AWS 管理控制台上,简单点击几下,就可以创建和运行 ETL 作业。只需要将 AWS Glue 指向您的数据源,AWS Glue 就可以发现您的数据,并将相关的元数据(例如,表定义和结构)存储在 AWS Glue的数据目录中。

Read More