Tag: Amazon EMR

作者：史少锋 Kyligence资深架构师，Apache Kylin committer & PMC   公司简介 上海跬智信息技术有限公司 (Kyligence) 是由Apache Kylin (首个来自中国的 Apache 软件基金会顶级开源项目) 核心团队组建，专注于大数据分析领域创新的数据科技公司。Apache Kylin是近两年迅速崛起的开源分布式大数据分析引擎，它充分利用Hadoop MapReduce，HBase，Spark等成熟技术，对超大数据集进行预计算（构建Cube），从而当在线查询请求到来时，通过检索Cube以亚秒级低延迟返回结果，实现真正的大数据上的交互式分析。对于用户来说，Kylin屏蔽了底层平台的技术细节，用户只需要掌握多维模型、数据仓库、SQL等知识，就可以通过Kylin的Web界面进行建模，Kylin将自动生成任务对数据进行计算。计算完成后用户即可通过各类可视化工具连入Kylin进行分析，易用性非常高。今天，Apache Kylin已经在众多企业得到广泛应用，如今日头条等。 解决方案 Kyligence为各行各业的客户提供基于AWS公有云平台的Hadoop数据仓库解决方案。Elastic MapReduce (Amazon EMR) 是AWS推出的云上Hadoop方案，这一方案使得Hadoop的部署、监控、扩容变的非常灵活方便。Amazon EMR将计算和存储分离，可以使用S3做数据存储，用户可随需启停Hadoop而不用担心数据丢失，用户只需为运行时使用的资源付费，从而大大减少运维成本。以最近发布的Apache Kylin v2.0和Amazon EMR 5.5（海外版）为例，在AWS云上使用Kylin是非常简单快速的。 1. 启动EMR集群 如果您已经有在运行的，包含了HBase 1.x服务的EMR集群，那么这一步可以跳过，您可以使用现有集群进行此实验。 EMR的启动非常简单，登录AWS控制台，选择Amazon EMR服务，点击“Create Cluster”，选择最新的5.5版本，类型为HBase: 这里您可以选择合适的硬件配置；默认是m3.xlarge 3个节点，其中1个节点为master，另外两个为core节点。选择合适的EC2 key pair，随后点击“Create cluster”，AWS便会开始自动安装和配置Hadoop/HBase集群。 大约20分钟后，集群状态显示为“Waiting Cluster ready”，这意味着集群准备就绪可以使用了。   2. 安装Apache Kylin 2.0 Apache Kylin以Hadoop client的方式运行，使用标准协议／API与集群交互。您可以将它安装在集群的任意节点上，通常建议安装在一个单独的client节点上。在这里我们为了简单，就把Kylin安装在master节点上。 在AWS控制台上，您可以获取SSH到Amazon EMR的方法；点击“Master public DNS”旁边的SSH链接，即可获得，如下图所示： SSH登录到master节点后，创建一个Kylin安装目录，下载并解压Apache Kylin […]

Amazon EMR是云上的数据分析平台，通过Amazon EMR的图形化或命令行接口，用户可以快速搭建和部署基于Amazon EC2实例的数据分析系统，并能动态扩展集群。Amazon EMR也可以读写其他AWS数据存储服务，例如Amazon S3和Amazon DynamoDB。 最新版本的Amazon EMR涵盖的服务包括：Hadoop、Zeppelin、Tez、Ganglia、HBase、Pig、Hive、Presto、ZooKeeper、Sqoop、Mahout、Hue、Phoenix、Oozie、Spark、Flink、Hcatalog。利用以上Amazon EMR包含的众多服务，用户能够实现日志文件分析、流式数据分析、机器学习、工作流管理等任务。本文就用户最常用的日志文件分析任务，巧用Amazon EMR以节省数据分析成本。 三个关键点 第一，使用Amazon S3存储待分析数据。使用Amazon S3存储数据主要有以下几方面优势。 节约成本：相比使用HDFS集群，Amazon S3是单纯的存储服务，用户在存储数据文件的时候，只需要为使用的存储容量付费，无需为服务器及硬盘付费，而用机器搭建HDFS集群，这部分投入是必须的。 数据持久性高：旨在提供99.999999999%的数据持久性，最大化地降低了数据丢失的可能。 计算和存储分离：使用Amazon S3存储数据，实际上是实现了计算和存储的分离，这一点很关键，它使得Amazon EMR集群能够随时扩容、缩容、删除，降低了数据丢失的可能。 无需修改程序代码：与HDFS存储相比，用户并不需要修改程序的代码。以Hive建表语句为例，只需要将Location的位置改为Amazon S3的目录即可，即LOCATION‘s3://sampledata/userrecord/’ 第二，定时运行Amazon EMR集群。 日志文件分析这种批量数据处理的任务，并不是每时每刻都需要运行任务，可以每天定时运行Amazon EMR集群进行分析，分析完成后再将集群删除。与用户自己搭建数据分析集群相比，Amazon EMR让集群的创建非常容易，只需要一条命令即可搭建所需集群，这也让随时删除、随时创建集群具备可行性，如果没有Amazon EMR，相信用户不会将自己辛苦搭建起来的集群随便地删除。 定时运行集群与云计算的按需计费模式相结合，带来的最大优势就是节省成本。如果某个任务只需要1个小时就能得出分析结果，那么，与全天候运行的集群相比，定时运行的集群所节约的成本是非常可观的。 第三，利用外部存储。 元数据：本文所提供的方案中使用的是Hive表结构数据，将其存储在外部的数据库中是因为Amazon EMR集群是定时运行的，因此，其元数据不要存储在本地，否则Amazon EMR集群关闭后，元数据也将被删除。 计算结果：Amazon EMR定时运行产生的结果需要存储在外部，如Amazon S3中，或者存储在数据库中。 系统的架构 图1为一个典型架构，这里主要使用了Amazon EMR中的Hive、Presto及Sqoop服务，并利用Amazon RDS MySQL存储Hive元数据和查询结果数据。 在此架构中，Hive用来创建表，并维护表结构元数据，这些元数据被存储在Amazon RDS MySQL中。Presto用来执行查询，Presto利用Hive已经定义的表结构。Sqoop用来将Presto产生的结果数据转存到Amazon RDS的MySQL中。 以上这些步骤需要按照顺序在Amazon EMR每次启动的时候执行，实现这个顺序执行的功能，需要用到Amazon EMR的Step。在每一个Step中，用户可以自定义需要运行的任务，例如以上提到的Hive任务、Presto查询、数据转存等都可以放在Step中运行。 用户可以创建Amazon EMR集群，以及Amazon EMR集群创建成功后需要执行的Step，在一条AWS命令中事先写好，例如下面是一条简化过的命令，它创建了一个名为Loganaly的Amazon EMR集群，包含了Hive、Presto和Sqoop服务。Auto-terminate参数说明这个集群中所有的Step执行完成后，集群自动被删除。Configuration参数的内容指定了存储Hive元数据的数据库信息，例如IP、用户名等。Steps参数定义了所需要执行的任务。而在Instance-groups中定义了集群中机器的数量和配置。 aws–region cn-north-1 […]

本文将带您一步步完成一个利用Amazon EMR进行交互式数据查询的实例，过程包括数据的注入、数据的分析、结果的转存、以及将整个过程自动化的方法。其中涉及的EMR组件主要包括: Hive, Hadoop, presto, sqoop。除EMR外，涉及到的其他服务包括：S3, RDS. 本文所使用的数据源是cloudfront产生的日志。 在按照本文档进行操作之前，读者需了解S3,RDS并能够进行基本的S3,RDS的操作，读者需了解EMR的基本概念。以下是参考资料： 什么是EMR: Amazon Elastic MapReduce (Amazon EMR) 是一种托管数据分析服务的框架，提升企业、研究人员、数据分析师和开发人员轻松、经济高效掌控海量数据的能力。其当前版本中托管的服务包括：Hadoop, Zeppelin, Tez, Ganglia, HBase, Pig, Hive, Presto, ZooKeeper, Sqoop, Mahout, Hue, Phoenix, Oozie, Spark, Hcatalog. EMR让您专注于数据分析，无需担心费时的集群设置、管理或调整，也无需担心所需要的计算能力。 具体参考： https://aws.amazon.com/cn/documentation/elastic-mapreduce/ 什么是S3: Amazon Simple Storage Service (Amazon S3) 为开发人员和 IT 团队提供安全、耐用且高度可扩展的对象存储。S3 可为EMR提供文件存储服务。 具体参考：https://aws.amazon.com/cn/documentation/s3/ 什么是RDS: Amazon Relational Database Service (Amazon RDS) 是一种可让用户在云中轻松设置、操作和扩展关系数据库的 Web […]