亚马逊AWS官方博客

Tag: Amazon EMR

使用 Kerberos 身份验证将 Amazon EMR 与 Microsoft Active Directory 集成

本文将指导您完成整个流程,使用 AWS CloudFormation 建立跨领域信任,并将身份验证从 Active Directory 网络扩展到启用了 Kerberos 的 Amazon EMR 集群。建立跨领域信任后,Active Directory 用户可以使用自己的 Active Directory 凭证访问 Amazon EMR 集群,并以自己的身份运行作业。

Read More

使用 HBase on Amazon S3 设置只读副本集群

许多客户已经在享受使用HBase on Amazon S3的众多好处,包括更低的成本、更好的数据持久性和更便捷的可扩展性。美国金融业监管局 (FINRA) 已通过迁移到 HBase on Amazon S3架构将成本降低了 60%,并通过将存储与计算解耦以及将 S3 用作存储层获得了众多运营优势。HBase on Amazon S3允许您启动集群并立即开始对 S3 中的数据进行查询,而不必执行冗长的快照还原过程。

Read More

从 HDFS 迁移到基于 Amazon S3 的 Apache HBase 的技巧

从 Amazon EMR 5.2.0 开始,您可以选择基于 Amazon S3 上的 Apache HBase。在 S3 上运行 HBase 可为您额外带来多项优势,包括降低成本、数据持久性和更轻松地进行扩展。
HBase 提供了多个可用于迁移和备份 HBase 表的选项。迁移到 S3 上的 HBase 的步骤与适用于 Apache Hadoop 分布式文件系统 (HDFS) 上的 HBase 的步骤类似。但是,如果您知道一些细微差别和一些“技巧”,则迁移会更容易。
在本文中,我将介绍如何使用一些常用的 HBase 迁移选项开始使用 S3 上的 HBase。

Read More

使用 Amazon EMR 6.0.0(测试版)在 Docker 上运行 Spark 应用程序

Amazon EMR 团队很高兴宣布支持 Spark 2.4.3、Hadoop 3.1.0、Amazon Linux 2 和 Amazon Corretto 8的EMR 6.0.0 的公开测试版已经推出。在这个测试版中,Spark 用户可以使用 Docker Hub 和 Amazon Elastic Container Registry (Amazon ECR) 中的 Docker 镜像来定义环境和库依赖项。使用 Docker,用户可以轻松管理依赖项并将其用于单个作业,而无需在集群的各个主机上安装依赖项。

Read More

Amazon EMR 对 Spark 集群提升弹性并增强恢复能力的实现

借助 Amazon EMR 中的自动扩展功能,客户可以根据集群使用情况或其他与作业相关的指标来动态扩缩集群。虽然这些功能可帮助您有效利用资源,但也可能会导致 EC2 实例在作业运行过程中关闭。这可能会导致计算和数据丢失,从而影响作业的稳定性或者因重新计算产生重复工作。

Read More

通过 EMR Notebooks 在运行的集群上安装 Python 库

本博文将讨论如何通过 EMR Notebook 直接在正在运行的集群上安装笔记本范围的Python库。在此功能推出之前,您必须依赖Bootstrap引导操作或使用自定义 AMI 来安装预置 EMR AMI 没有预先打包的其他库。接下来,博文还将讨论如何使用 EMR Notebooks 中本地可用的预安装 Python 库来分析结果并绘制图表。此功能在您无法访问 PyPI 存储库但需要分析和可视化数据集的情况下非常有用。

Read More

EMR Notebooks: 基于 Jupyter Notebook 的托管分析环境

EMR Notebooks 旨在帮助您轻松使用 Apache Spark 试验和构建应用程序。在本博文中,我将先介绍 EMR Notebooks 具备的一些优势。然后,我将介绍它的一些功能,例如将笔记本分离并附加到不同的 EMR 集群、从笔记本内部监控 Spark 活动、使用标签控制用户权限,以及设置用户模拟来跟踪笔记本用户及其操作。要了解如何创建和使用 EMR Notebooks,您可以访问使用 Amazon EMR Notebooks 或观看 AWS 在线技术讲座网络研讨会。

Read More

使用经 EMRFS S3 优化的提交器提高 Apache Spark 写入 Apache Parquet 格式文件的性能

经 EMRFS S3 优化的提交程序是一款新的输出提交程序,可用于 Amazon EMR 5.19.0 及更高版本的 Apache Spark 作业。此提交程序使用 EMR File System (EMRFS) 可提高将 Apache Parquet 文件写入 Amazon S3 时的性能。在本文中,我们将运行性能基准测试,将此经优化的新提交程序算法与现有提交程序算法(即 FileOutputCommitter 算法版本 1 和 2)进行比较。最后,我们会讨论新提交程序的当前限制,并在可能的情况下提供解决方法。

Read More

在 Amazon EMR 上使用 S3DistCp 在 HDFS 和 Amazon S3 之间高效迁移数据的七个技巧

对于 Amazon EMR 客户来说,尽管在 Amazon S3 中直接处理数据早已稀松平常,但有时您可能需要将数据从 S3 复制到 Amazon EMR 集群上的 Hadoop 分布式文件系统 (HDFS) 中。此外,您的某个使用案例还可能需要在存储桶或区域之间迁移大量数据。在这类使用案例中,简单的复制操作对大型数据集来说显然不适用。Amazon EMR 可以提供这方面的帮助。它提供了一个实用程序 S3distCp,用以帮助将数据从 S3 迁移到其他 S3 位置或集群上的 HDFS。

Read More