Amazon EMR

轻松运行和扩展 Apache Spark、Hadoop、HBase、Presto、Hive 以及其他大数据框架

Amazon EMR 提供的托管 Hadoop 框架可以让您快速、轻松、经济高效地在多个动态可扩展的 Amazon EC2 实例中处理大量数据。您还可以运行其他常用的分布式框架(例如 Amazon EMR 中的 Apache SparkHBasePrestoFlink),以及与其他 AWS 数据存储服务(例如 Amazon S3 和 Amazon DynamoDB)中的数据进行交互。

Amazon EMR 能够安全可靠地处理广泛的大数据使用案例,包括日志分析、Web 索引、数据转换 (ETL)、机器学习、财务分析、科学模拟和生物信息。

Amazon EMR 简介 (3:06)

优势

易于使用

只需几分钟即可启动 Amazon EMR 集群。您不必担心节点预置、集群设置、Hadoop 配置或集群优化。Amazon EMR 自会处理这些任务,因此您只需集中精力进行分析即可。

成本低廉

Amazon EMR 的定价简单又可预测:您按每秒费率为使用的时间付费,最低按一分钟收取。您可以按低至每小时 0.15 USD 的价格启动一个 10 节点 Hadoop 集群。Amazon EMR 原生支持 Amazon EC2 Spot 实例和预留实例,因此您还可以节省 50-80% 的低层实例费用。

弹性

利用 Amazon EMR,您可以预置一个、数百个或者甚至数千个计算实例来处理任何规模的数据。您可以手动或使用 Auto Scaling 轻松增加或减少实例的数量,并且按实际用量付费。

可靠

您用于优化和监控集群的时间将会更少。Amazon EMR 已经针对云优化了 Hadoop,它还会监控您的集群,重新尝试失败的任务,并自动替换性能不佳的实例。

安全

Amazon EMR 会自动配置 Amazon EC2 防火墙设置以控制对实例的网络访问,并且您可以在 Amazon Virtual Private Cloud (VPC)(由您定义的逻辑隔离的网络)中启动集群。对于 Amazon S3 中储存的对象,您可以通过 AWS Key Management Service 或客户管理的密钥来使用 Amazon S3 服务器端加密或采用 EMRFS 的 Amazon S3 客户端加密。您还可以轻松启用其他加密选项Kerberos 身份验证

灵活

您可以完全掌控您的集群。您拥有每个实例的根访问权限,因此,您可以轻松安装额外的应用程序,并使用引导操作自定义每个集群。此外,您还可以使用自定义 Amazon Linux AMI 启动 Amazon EMR 集群。

使用案例

点击流分析

Amazon EMR 可用于分析点击流数据,以便细分用户、了解各种用户偏好,并投放更有效的广告。

了解 Razorfish 如何使用 EMR 来进行点击流分析 »

实时分析

借助 Amazon EMR 上的 Spark Streaming,使用和处理来自 Amazon Kinesis、Apache Kafka 或其他数据流的实时数据。采用容错方式执行流分析,并将相应结果写入 Amazon S3 或 HDFS 中。

了解 Hearst 如何使用 Spark Streaming »

日志分析

Amazon EMR 可用于处理 Web 和移动应用程序生成的各种日志。Amazon EMR 可帮助客户将数 PB 的非结构化或者半结构化数据转变为关于应用程序或用户的信息。

提取、转换、加载 (ETL)

Amazon EMR 可用于在大型数据集上快速且经济高效地执行数据转换工作负载 (ETL),例如分类、聚合和合并。

了解 Redfin 如何使用临时 EMR 集群进行 ETL »

预测分析

Amazon EMR 上的 Apache Spark 包括适用于各种可扩展的机器学习算法的 MLlib,您也可以使用自己的库。通过将数据集存储在内存中,Spark 可以为常见的机器学习工作负载提供出色的性能。

了解 Intent Media 如何使用 Spark MLib »

基因组领域

Amazon EMR 可迅速高效地处理大量的基因组数据及其他大型科学数据集。研究人员可以访问免费托管在 AWS 上的基因组数据。

了解 Apache Spark 和精密医学 »

案例研究

开始使用 AWS

icon1

注册 AWS 账户

立即享受 AWS 免费套餐
icon2

通过 10 分钟教程来进行学习

通过 简单教程来进行探讨和学习。
icon3

开始使用 AWS 进行构建

按照可帮助您启动 AWS 项目的分步式指南开始构建。

了解有关 Amazon EMR 的更多信息

访问功能页面
准备好开始构建了吗?
开始使用 Amazon EMR
还有更多问题?
联系我们