亚马逊AWS官方博客

在此博文中，我们将讨论三种不同的方法，您可以用它们将一个应用程序的日志输出拆分为多个流，以便可以进行单独处理：Fluent Bit 流处理，Fluentd 的重新写入标签筛选器和 Fluent Logger 库。

今天，开放日之前的一周，我们将进行第一轮公告，所有内容都与存储有关。我们这样做是为了尽可能使发布不要太集中，并给您一些时间来注册相应的 re:Invent 会议。我们已经为某些公告撰写了单独的博文，并在本文中以摘要形式介绍了其余内容。无论您使用哪种 AWS 存储服务，我想您都可以在这里找到有趣且有用的东西。我们将发布 Amazon Elastic Block Store (EBS)、Amazon FSx for Windows File Server、Amazon Elastic File System (EFS)、AWS DataSync、AWS Storage Gateway 和 Amazon Simple Storage Service (S3) 的重要新功能。就像我一直说的那样，所有这些功能现在都已可用，您可以立即开始使用它们！

今天，我们将为 EBS 推出快速快照恢复 (FSR)。您可以在按 AZ（可用区）的基础上为新快照和现有快照启用它，然后创建新的 EBS 卷以实现其最佳性能，而无需初始化。

今天，我们将推出海量的企业就绪新功能，这些新功能旨在满足企业客户的最高优先级要求。

S3 的复制功能已得到充分利用：自 2015 年推出以来，我们的客户已复制了数万亿个对象和数艾字节的数据！ 今天，我很高兴地告诉您，通过添加“复制时间控制”，我们使其功能更加强大。此功能建立在现有规则驱动复制的基础上，并为您提供基于标签或前缀的精细化控制，从而使您可以对指定的数据集使用复制时间控制。

数据湖是一种越来越受欢迎的数据存储和分析方法，可解决处理海量异构数据的难题。数据湖可让组织将所有结构化和非结构化数据存储在一个集中式存储库中。由于数据可以按原样存储，因此无需将其转换为预先定义的数据结构（区别于传统关系型数据仓库）。

经 EMRFS S3 优化的提交程序是一款新的输出提交程序，可用于 Amazon EMR 5.19.0 及更高版本的 Apache Spark 作业。此提交程序使用 EMR File System (EMRFS) 可提高将 Apache Parquet 文件写入 Amazon S3 时的性能。在本文中，我们将运行性能基准测试，将此经优化的新提交程序算法与现有提交程序算法（即 FileOutputCommitter 算法版本 1 和 2）进行比较。最后，我们会讨论新提交程序的当前限制，并在可能的情况下提供解决方法。

对于 Amazon EMR 客户来说，尽管在 Amazon S3 中直接处理数据早已稀松平常，但有时您可能需要将数据从 S3 复制到 Amazon EMR 集群上的 Hadoop 分布式文件系统 (HDFS) 中。此外，您的某个使用案例还可能需要在存储桶或区域之间迁移大量数据。在这类使用案例中，简单的复制操作对大型数据集来说显然不适用。Amazon EMR 可以提供这方面的帮助。它提供了一个实用程序 S3distCp，用以帮助将数据从 S3 迁移到其他 S3 位置或集群上的 HDFS。

这篇博文提供了有关如何从 Apache HBase on HDFS 迁移到在 Amazon EMR 上使用 基于Amazon S3的Apache Hbase的指导和最佳实践。

AWS中国的北京和宁夏区域，支持使用KMS加密。本文通过实际操作的演示，描述了在KMS建立迁移专用秘钥，并描述在DMS的使用过程中，如果食用Key去加密复制实例的过程。