Tag: Amazon EMR

在本博客中，我们将重点讨论如何通过使用 Spot 实例在 Amazon EMR 上实现成本优化并高效运行 Spark 应用程序。我们提供了几个最佳实践建议，用于在使用Spot实例过程中提高Spark应用程序的容错能力。实施这些最佳实践不会对Spark应用程序的可用性，性能和执行时间产生大的影响。

世界各地的企业逐渐认识到新型大数据处理和分析框架（如 Apache Hadoop 和 Apache Spark）的强大功能，但同时也发现在本地数据湖环境中运行这些技术面临着挑战。他们也对当前供应商的未来表示担忧。
为了解决这个问题，我们推出了 Amazon EMR 迁移指南（注：英文版首次出版于 2019 年 6 月，这是我们首次推出中文版）。 本文是一份全面的指南，旨在提供合理的技术建议，帮助客户规划如何从本地大数据部署迁移到 EMR。

在托管的 Apache Hadoop 环境（如 Amazon EMR 集群）中，当集群中的存储容量用满时，没有方便的办法处理该问题。出现这种情况的原因是，您设置了 Amazon Elastic Block Store (Amazon EBS) 卷，并在启动集群时配置了挂载点，因此很难在集群运行后修改存储容量。可行的解决方案通常有：向集群添加更多节点，将数据备份到数据湖，然后启动具有更高存储容量的新集群。如果占用存储的数据可舍弃，也可删除多余的数据。

Amazon EMR是业界领先的原生云大数据平台，它极大地简化了在AWS上运行各种大数据框架进行大数据的处理和分析工作。通过使用这些框架和相关的开源项目(如Apache Spark、Apache Hive和Apache HBase等)，并结合 Amazon EC2 的Auto Scaling动态弹性和 Amazon S3 的可扩展高可靠存储，您可以轻松、快速、经济高效地处理大规模海量数据。通过EMR ，您可以在数分钟内启动大数据集群，并且无需担心基础设施管理的任务，EMR会帮助完成这些工作，您只需要集中精力进行数据分析即可。

Amazon EMR宣布推出了适用于 Apache Spark 的 Amazon EMR Runtime，这是一种针对 Apache Spark 进行了性能优化的环境，此runtime在 Amazon EMR 集群上默认处于活动状态。适用于 Spark 的 EMR runtime速度最快可达 EMR 5.16 的 32 倍，并且与开源 Spark API实现了 100% 的兼容性。这使得工作负载运行速度更快，无需对应用程序进行任何更改即可节省计算成本。

本文将指导您完成整个流程，使用 AWS CloudFormation 建立跨领域信任，并将身份验证从 Active Directory 网络扩展到启用了 Kerberos 的 Amazon EMR 集群。建立跨领域信任后，Active Directory 用户可以使用自己的 Active Directory 凭证访问 Amazon EMR 集群，并以自己的身份运行作业。

许多客户已经在享受使用HBase on Amazon S3的众多好处，包括更低的成本、更好的数据持久性和更便捷的可扩展性。美国金融业监管局 (FINRA) 已通过迁移到 HBase on Amazon S3架构将成本降低了 60%，并通过将存储与计算解耦以及将 S3 用作存储层获得了众多运营优势。HBase on Amazon S3允许您启动集群并立即开始对 S3 中的数据进行查询，而不必执行冗长的快照还原过程。

从 Amazon EMR 5.2.0 开始，您可以选择基于 Amazon S3 上的 Apache HBase。在 S3 上运行 HBase 可为您额外带来多项优势，包括降低成本、数据持久性和更轻松地进行扩展。
HBase 提供了多个可用于迁移和备份 HBase 表的选项。迁移到 S3 上的 HBase 的步骤与适用于 Apache Hadoop 分布式文件系统 (HDFS) 上的 HBase 的步骤类似。但是，如果您知道一些细微差别和一些“技巧”，则迁移会更容易。
在本文中，我将介绍如何使用一些常用的 HBase 迁移选项开始使用 S3 上的 HBase。

Amazon EC2 Systems Manager可帮助您自动化各种管理任务，例如自动化AMI创建或跨数百个实例运行命令或脚本。 在本文中，我将展示如何使用Systems Manager Automation来自动创建用于EMR的自定义Amazon Linux AMI和为AMI打补丁。

Amazon EMR 团队很高兴宣布支持 Spark 2.4.3、Hadoop 3.1.0、Amazon Linux 2 和 Amazon Corretto 8的EMR 6.0.0 的公开测试版已经推出。在这个测试版中，Spark 用户可以使用 Docker Hub 和 Amazon Elastic Container Registry (Amazon ECR) 中的 Docker 镜像来定义环境和库依赖项。使用 Docker，用户可以轻松管理依赖项并将其用于单个作业，而无需在集群的各个主机上安装依赖项。