亚马逊AWS官方博客

推出 CloudTrail Insights:识别并响应异常 API 活动

今天,我们将在所有商业 AWS 区域中推出 AWS CloudTrail Insights。CloudTrail Insights 自动分析 CloudTrail 路径中的写入管理事件,并提醒您异常活动。例如,如果 TerminateInstance 事件的增加与既定基准有所不同,则将其视为 Insight 事件。这些事件使查找和响应异常 API 活动比以往更加容易。

新增功能 – 将单区域 Amazon DynamoDB 表转换为全局表

从今天开始,您只需在 AWS 管理控制台中点击几次,或使用 AWS 命令行界面 (CLI) 或 Amazon DynamoDB API,便可将您的现有 DynamoDB 表转换为全局表。以前,只能将空表转换为全局表。您必须在创建表时猜测表的区域使用情况。现在,您可以转到全局,也可以随时将现有全局表扩展到其他区域。

欢迎参与 AWS 存储日

今天,开放日之前的一周,我们将进行第一轮公告,所有内容都与存储有关。我们这样做是为了尽可能使发布不要太集中,并给您一些时间来注册相应的 re:Invent 会议。我们已经为某些公告撰写了单独的博文,并在本文中以摘要形式介绍了其余内容。无论您使用哪种 AWS 存储服务,我想您都可以在这里找到有趣且有用的东西。我们将发布 Amazon Elastic Block Store (EBS)、Amazon FSx for Windows File Server、Amazon Elastic File System (EFS)、AWS DataSync、AWS Storage Gateway 和 Amazon Simple Storage Service (S3) 的重要新功能。就像我一直说的那样,所有这些功能现在都已可用,您可以立即开始使用它们!

S3 复制更新:复制 SLA、指标和事件

S3 的复制功能已得到充分利用:自 2015 年推出以来,我们的客户已复制了数万亿个对象和数艾字节的数据! 今天,我很高兴地告诉您,通过添加“复制时间控制”,我们使其功能更加强大。此功能建立在现有规则驱动复制的基础上,并为您提供基于标签或前缀的精细化控制,从而使您可以对指定的数据集使用复制时间控制。

使用经 EMRFS S3 优化的提交器提高 Apache Spark 写入 Apache Parquet 格式文件的性能

经 EMRFS S3 优化的提交程序是一款新的输出提交程序,可用于 Amazon EMR 5.19.0 及更高版本的 Apache Spark 作业。此提交程序使用 EMR File System (EMRFS) 可提高将 Apache Parquet 文件写入 Amazon S3 时的性能。在本文中,我们将运行性能基准测试,将此经优化的新提交程序算法与现有提交程序算法(即 FileOutputCommitter 算法版本 1 和 2)进行比较。最后,我们会讨论新提交程序的当前限制,并在可能的情况下提供解决方法。

在 Amazon EMR 上使用 S3DistCp 在 HDFS 和 Amazon S3 之间高效迁移数据的七个技巧

对于 Amazon EMR 客户来说,尽管在 Amazon S3 中直接处理数据早已稀松平常,但有时您可能需要将数据从 S3 复制到 Amazon EMR 集群上的 Hadoop 分布式文件系统 (HDFS) 中。此外,您的某个使用案例还可能需要在存储桶或区域之间迁移大量数据。在这类使用案例中,简单的复制操作对大型数据集来说显然不适用。Amazon EMR 可以提供这方面的帮助。它提供了一个实用程序 S3distCp,用以帮助将数据从 S3 迁移到其他 S3 位置或集群上的 HDFS。