Amazon EMR 宣布使用 S3A 作为默认连接器

发布于: 2025年8月29日

AWS 宣布推出 Amazon EMR S3A，这是一款全新的 Amazon S3 连接器，可优化 Amazon EMR 上的 Apache Hadoop、Apache Spark 和 Apache Hive 工作负载的性能。这个新连接器通过特定于 AWS 的优化增强了开源 S3A 架构，可帮助组织更高效地处理大规模数据。EMR S3A 支持直接与 S3 Express One Zone、S3 Glacier 和 AWS Outposts 集成，可帮助客户利用 AWS 中的不同存储选项来优化其 EMR 工作负载的数据访问速度和存储成本。

此外，EMR S3A 连接器提供超越开源 S3A 的高级安全功能和性能功能。主要改进包括 Apache Spark 内置精细访问控制支持、增强的 S3A 凭证解析器、用于优化文件写入的 MagicCommitter V2 以及针对列式文件格式的加速 S3 前缀列表。这些增强功能从 EMR 版本 7.10 开始推出，可保持与现有应用程序的兼容性。

Amazon EMR S3A 连接器已在提供 Amazon EMR 的所有 AWS 区域推出，且预先配置了 Amazon EMR 版本 7.10 及更高版本。要了解有关 Amazon EMR S3A 的更多信息，请参阅 Amazon EMR 文档。