亚马逊AWS官方博客

Amazon EMR 团队很高兴宣布支持 Spark 2.4.3、Hadoop 3.1.0、Amazon Linux 2 和 Amazon Corretto 8的EMR 6.0.0 的公开测试版已经推出。在这个测试版中，Spark 用户可以使用 Docker Hub 和 Amazon Elastic Container Registry (Amazon ECR) 中的 Docker 镜像来定义环境和库依赖项。使用 Docker，用户可以轻松管理依赖项并将其用于单个作业，而无需在集群的各个主机上安装依赖项。

借助 Amazon EMR 中的自动扩展功能，客户可以根据集群使用情况或其他与作业相关的指标来动态扩缩集群。虽然这些功能可帮助您有效利用资源，但也可能会导致 EC2 实例在作业运行过程中关闭。这可能会导致计算和数据丢失，从而影响作业的稳定性或者因重新计算产生重复工作。

本博文将讨论如何通过 EMR Notebook 直接在正在运行的集群上安装笔记本范围的Python库。在此功能推出之前，您必须依赖Bootstrap引导操作或使用自定义 AMI 来安装预置 EMR AMI 没有预先打包的其他库。接下来，博文还将讨论如何使用 EMR Notebooks 中本地可用的预安装 Python 库来分析结果并绘制图表。此功能在您无法访问 PyPI 存储库但需要分析和可视化数据集的情况下非常有用。

EMR Notebooks 旨在帮助您轻松使用 Apache Spark 试验和构建应用程序。在本博文中，我将先介绍 EMR Notebooks 具备的一些优势。然后，我将介绍它的一些功能，例如将笔记本分离并附加到不同的 EMR 集群、从笔记本内部监控 Spark 活动、使用标签控制用户权限，以及设置用户模拟来跟踪笔记本用户及其操作。要了解如何创建和使用 EMR Notebooks，您可以访问使用 Amazon EMR Notebooks 或观看 AWS 在线技术讲座网络研讨会。

AWS Glue 是一项完全托管的ETL(提取、转换和加载) 服务，可以帮助您更轻松地准备和加载数据以进行分析。在 AWS 管理控制台上，简单点击几下，就可以创建和运行 ETL 作业。只需要将 AWS Glue 指向您的数据源，AWS Glue 就可以发现您的数据，并将相关的元数据（例如，表定义和结构）存储在 AWS Glue的数据目录中。

Amazon RDS Performance Insights为 Amazon RDS 提供了一个直观的调优界面，可帮助您发现和调查 RDS 数据库的性能问题。对于所有数据库引擎类型（例如 RDS for MySQL、RDS for PostgreSQL 和 Amazon Aurora）而言， Performance Insights 的外观和感觉都相同。当然每种引擎的实现又略有不同

在本文中，我将向您展示如何使用 AWS Glue 提取您 Salesforce.com 账户里的数据，并将其保存到 Amazon S3。然后，将来自 Salesforce.com 的账户数据与来自单独的订单管理系统的订单数据结合起来，并使用 Amazon Athena 来生成报告。

我们的许多客户都需要一个安全且私密的位置来存储其容器镜像，因此这就是他们使用我们完全托管的容器注册表 Amazon Elastic Container Registry 的原因。我们最近添加了对 Amazon EventBridge 的支持，因此您可以在推送或删除图像时触发多项操作。这些操作可以在推送镜像时触发持续集成、持续部署管道，或者在删除镜像后将消息发布到 DevOps 团队的 Slack 频道。

在 AWS，我们根据客户的反馈来构建产品路线图，有三个新功能已全部面世。

今天，我们将在所有商业 AWS 区域中推出 AWS CloudTrail Insights。CloudTrail Insights 自动分析 CloudTrail 路径中的写入管理事件，并提醒您异常活动。例如，如果 TerminateInstance 事件的增加与既定基准有所不同，则将其视为 Insight 事件。这些事件使查找和响应异常 API 活动比以往更加容易。