Tag: Amazon Simple Storage Services (S3)

Amazon Simple Storage Service (S3) 支持很多类型的复制，包括 2019 年推出的 S3 相同区域复制 (SRR) 和大概从 2015 年开始的 S3 跨区域复制 (CRR)。今天，我们很高兴地宣布为多个目标存储桶提供 S3 复制支持。S3 复制现在可让您将数据从一个源存储桶复制到多个目标存储桶中。借助 S3 复制（多目标），您可以使用 S3 SRR 复制在相同 AWS 区域中复制数据，或使用 S3 CRR 跨不同 AWS 区域复制数据，或执行此两者。

我们在 2006 年推出 S3 时，我讨论了它几乎无限的容量（“… 可轻松存储任意数量的数据块…”）、它旨在提供 99.99％ 的可用性以及持久的存储，且数据透明地存储在多个位置。自那次发布以来，我们的客户令人惊奇的以多样化方式使用 S3：备份和恢复、数据存档、企业应用程序、网站、大数据以及（根据最新统计）超过 10000 个湖内数仓。

在云中开始时，客户的存储需求可能包括少数 S3 存储桶，但随着它们增长、迁移更多应用程序以及实现云技术的强大功能，事情可能会变得更加复杂。一个客户可能拥有数十个甚至数百个账户，并且在众多 AWS 区域中拥有多个 S3 存储桶。管理这些环境的客户告诉我们，他们发现很难理解其组织中存储的使用方式、优化成本和改善安全状况。
借助 14 年以上帮助客户优化存储的经验，S3 团队构建了一项名为 Amazon S3 Storage Lens 的新功能。这是第一个云存储分析解决方案，通过时间点指标和趋势线以及切实可行的建议，让您在组织范围内了解对象存储。所有这些因素结合在一起将帮助您发现异常情况、确定成本效益并应用数据保护最佳实践。

我们的客户构建为生活在世界各地的用户提供服务所需的应用程序。我们在聆听客户的意见时，得知尽管客户习惯在 AWS 上构建 Active Directory (AD) 感知应用程序，但对他们而言，在全球范围内运行可能是一个真正的挑战。

今天，我们将推出一项新功能，这项功能可使您将 DynamoDB 表数据导出 Amazon Simple Storage Service (S3)——无需编写代码。
它是 DynamoDB 的一项新的原生功能，可以以任何规模运行，无需管理服务器或集群，且该功能支持您跨 AWS 区域和账户以秒级粒度将数据导出到过去 35 天的任何时间点。此外，它不会影响生产表的读取容量或可用性。

我们在 2019 年 11 月举办的第一次存储日活动（欢迎参与 AWS 存储日）取得了巨大的成功。我们可以收集与 AWS 存储服务相关的大量重要公告，并将这些公告汇总在一篇文章中，而且还可以根据需要提供更长、更详细的文章。
今天，2020 年 AWS 存储日又来了，欢迎大家参加！

从 Amazon EMR 5.2.0 开始，您可以选择基于 Amazon S3 上的 Apache HBase。在 S3 上运行 HBase 可为您额外带来多项优势，包括降低成本、数据持久性和更轻松地进行扩展。
HBase 提供了多个可用于迁移和备份 HBase 表的选项。迁移到 S3 上的 HBase 的步骤与适用于 Apache Hadoop 分布式文件系统 (HDFS) 上的 HBase 的步骤类似。但是，如果您知道一些细微差别和一些“技巧”，则迁移会更容易。
在本文中，我将介绍如何使用一些常用的 HBase 迁移选项开始使用 S3 上的 HBase。

经 EMRFS S3 优化的提交程序是一款新的输出提交程序，可用于 Amazon EMR 5.19.0 及更高版本的 Apache Spark 作业。此提交程序使用 EMR File System (EMRFS) 可提高将 Apache Parquet 文件写入 Amazon S3 时的性能。在本文中，我们将运行性能基准测试，将此经优化的新提交程序算法与现有提交程序算法（即 FileOutputCommitter 算法版本 1 和 2）进行比较。最后，我们会讨论新提交程序的当前限制，并在可能的情况下提供解决方法。

对于 Amazon EMR 客户来说，尽管在 Amazon S3 中直接处理数据早已稀松平常，但有时您可能需要将数据从 S3 复制到 Amazon EMR 集群上的 Hadoop 分布式文件系统 (HDFS) 中。此外，您的某个使用案例还可能需要在存储桶或区域之间迁移大量数据。在这类使用案例中，简单的复制操作对大型数据集来说显然不适用。Amazon EMR 可以提供这方面的帮助。它提供了一个实用程序 S3distCp，用以帮助将数据从 S3 迁移到其他 S3 位置或集群上的 HDFS。

这篇博文提供了有关如何从 Apache HBase on HDFS 迁移到在 Amazon EMR 上使用 基于Amazon S3的Apache Hbase的指导和最佳实践。