AWS 快速入门 - 客户就绪解决方案

在 AWS 上部署数据湖基础

使用 Apache Zeppelin、Amazon RDS、Amazon S3 和其他 AWS 服务

本 Quick Start 部署了一个数据湖基础,集成多种 AWS 云服务和组件,可以帮助您将数据迁移至 AWS 云,然后存储、监测和分析该数据。

该部署使用 Amazon Simple Storage Service (Amazon S3) 作为核心服务来存储数据,并且部署 Apache Zeppelin 和 Kibana 来分析和虚拟化数据。它还与 Amazon Relational Database Service (Amazon RDS)、AWS Data Pipeline、Amazon Redshift、Amazon Elasticsearch Service (Amazon ES)、Amazon Kinesis Firehose 和 AWS CloudTrail 集成。

此参考架构由 AWS CloudFormation 模板自动实施,后者可以在 20 分钟内部署数据湖环境。您可以根据自己的需要对该模板进行自定义。

 

datalake_icon_crs

此 Quick Start 由 Cloudwick Technologies Inc. 与 AWS 合作开发。 Cloudwick 是
APN 合作伙伴

  •  构建内容
  •  部署方式
  •  费用和许可证
  •  资源
  •  构建内容
  • 数据湖的 Quick Start 架构包含以下基础设施:

    • 具备多个公共和私有子网、跨多个可用区的 virtual private cloud (VPC),所以 AWS 资源可以采用高度可用的配置进行部署。
    • 在公有子网内的 Auto Scaling 组中设置 Linux 堡垒主机,以允许对公有子网和私有子网中的 Linux 实例进行安全访问。
    • 在公有子网中托管 NAT 网关,以便为私有子网中的实例提供出站互联网连接。
    • AWS Identity and Access Management (IAM) 角色使得通过 Quick Start 创建的 AWS 资源能够在需要时访问其他 AWS 资源。例如,这些 IAM 角色管控对 Amazon S3 中的数据的访问,并使 Amazon Redshift 能够将数据从 Amazon S3 复制到其表中。

    通过 Quick Start,您可选择使用这些组件或现有 VPC 基础架构构建新 VPC 基础设施。在这个基础设施中,Quick Start 将部署:

    • 在私有子网中,由 Auto Scaling 组中的 Web 服务器实例(Amazon 系统映像,或 AMI)管理数据湖门户。这个 Web 服务器也安装了 Apache Zeppelin,以便对加载至 Amazon S3 的数据运行分析。
    • 在私有子网中,Amazon RDS 主要是支持使用 AWS Data Pipeline,将数据从关系数据库迁移到 Amazon Redshift。
    • 与 Amazon S3 的集成作为核心服务,用于存储数据。
    • 与额外的 AWS 服务集成,例如 AWS Lambda、Amazon ES with Kibana、Amazon Kinesis Firehose 以及 Amazon CloudTrail,以实施数据分析。
  •  部署方式
  • 遵循简单几个步骤,您就可以在 20 分钟内在 AWS 上构建您的数据湖环境:

    1. 如果还没有 AWS 账户,请访问 https://aws.amazon.com 进行注册。
    2. 启动此 Quick Start。有以下两种方案可供选择:
    3. 登录进入数据湖门户,测试您的部署。
    4. 使用该门户来管理 Amazon S3 或 Kinesis Firehose 中的数据,检查适用于数据湖的云资源,并将数据迁移至 Amazon Redshift,以便在 Zeppelin 或 Kibana 中分析。

    Quick Start 中包括您可以自定义的参数。例如,您可以更改实例类型,为 Amazon RDS、Amazon Redshift 和 Elasticsearch 配置设置。

  •  费用和许可证
  • 您需要支付在运行此 Quick Start 的参考部署期间使用 AWS 服务所产生的费用。使用此 Quick Start 无需额外付费。要了解成本估算,请参阅您将使用的各项 AWS 服务的定价页面。

    本 Quick Start 的 AWS CloudFormation 模板中的配置参数是可自定义的。其中一些设置(如实例类型)会影响部署成本。要了解成本估算,请参阅您将使用的各项 AWS 服务的定价页面。

    本 Quick Start 还部署了 Kibana 和 Apache Zeppelin 开源软件,这些都是免费的。

  •  资源
  • 本 Quick Start 参考部署与“解决方案领域”中的解决方案相关,其中包括解决方案简介、由 AWS 能力合作伙伴精心设计的可选咨询服务以及 AWS 在概念验证 (PoC) 项目中的共同投资。要了解有关这些资源的更多信息,请访问“解决方案领域”。