AWS 快速入门 - 客户就绪解决方案

在 AWS 上部署数据湖基础

使用 AWS 服务,包括 Amazon Redshift、Amazon Kinesis、AWS Glue 和 Amazon SageMaker

此 Quick Start 将部署集成 Amazon Web Services (AWS) 服务的数据湖基础,这些服务包括:Amazon Simple Storage Service (Amazon S3)、Amazon Redshift、Amazon Kinesis、Amazon Athena、AWS Glue、Amazon Elasticsearch Service (Amazon ES)、Amazon SageMaker 和 Amazon QuickSight 等等。

数据湖基础使用这些 AWS 服务来提供诸如数据提交、接收处理、数据集管理、数据转换和分析、构建和部署 Machine Learning 工具、搜索、发布及可视化等功能。一旦建立此基础,您就可以选择使用 ISV 和 SaaS 工具来扩充数据湖。

该部署中还包含一个可选向导和一个示例数据集。将该数据集加载到 Amazon Redshift 和 Kinesis 数据流中,可以演示数据湖的功能。

此参考架构由您可以自定义的 AWS CloudFormation 模板自动实施,以满足您的特定要求。

另请参阅:如果此架构不符合您的特定要求,请参阅 Quick Start 目录中的其他数据湖部署。

datalake_icon_crs

此 Quick Start 由 47Lining 与 AWS 合作开发。 47Lining 是
APN 合作伙伴

  •  构建内容
  •  如何部署
  •  费用和许可证
  •  资源
  •  构建内容
  • 数据湖的 Quick Start 架构包含以下基础设施:

    • 一个跨两个可用区且包含两个公有子网和两个私有子网的 Virtual Private Cloud (VPC)。*
    • 一个允许访问互联网的互联网网关。*
    • 在公有子网中设置托管 NAT 网关,以允许对私有子网中的资源进行出站互联网访问。*
    • 在公有子网内的 Auto Scaling 组中设置 Linux 堡垒主机,以允许对公有子网和私有子网中的 EC2 实例进行入站安全 Shell (SSH) 访问。*
    • 在私有子网中设置一个托管可选向导的 Web 应用程序实例,它将引导您了解数据湖架构和功能。
    • 允许访问 AWS 资源的 IAM 角色;例如,允许 Amazon Redshift 和 Amazon Athena 读取与写入监管数据集。
    • 在私有子网中设置 Amazon Redshift,用于数据聚合、分析、转换以及创建新的监管和发布数据集。利用可选向导和示例数据启动 Quick Start 时,Amazon Redshift 将在公有子网中启动。
    • 一个可使用 AWS 身份验证进行访问的 Amazon SageMaker 实例。只有在部署可选向导并上传示例数据的情况下,才会创建此实例。
    • 与其他 Amazon 服务集成,例如 Amazon S3、Amazon Athena、AWS Glue、AWS Lambda、Amazon ES with Kibana、Amazon Kinesis 和 Amazon QuickSight。

    * 将此 Quick Start 部署到现有 VPC 中的模板会跳过标有星号的任务,并提示您使用现有 VPC 配置。

  •  如何部署
  • 要在 AWS 上构建数据湖环境,请遵循部署指南中的说明操作。部署过程包括以下步骤:

    1. 如果您还没有 AWS 账户,请访问 https://aws.amazon.com 进行注册。
    2. 启动此 Quick Start。部署大约需要 50 分钟。有以下两种方案可供选择:
    3. 通过检查此 Quick Start 创建的资源来测试部署。
    4. 如果您的部署中含有向导和示例数据集,请借助向导了解数据湖功能。

    本 Quick Start 包括可自定义的参数。例如,您可以配置您的网络,或者自定义 Amazon Redshift、Kinesis 和 Elasticsearch 设置。 此外,您还可以扩展示例数据集或使用自己的数据集。

  •  费用和许可证
  • 您需要支付在运行此 Quick Start 的参考部署期间使用 AWS 服务所产生的费用。使用此 Quick Start 无需额外付费。

    本 Quick Start 的 AWS CloudFormation 模板包含您可以自定义的配置参数。其中一些设置(如实例类型)会影响部署成本。要了解成本估算,请参阅您将使用的各项 AWS 服务的定价页面。

    由于本 Quick Start 使用了 AWS 本地解决方案组件,因此除了 AWS 基础设施费用之外,无需其他任何费用或许可证。此外,本 Quick Start 还部署了 Kibana,这是一个包含在 Amazon ES 中的开源工具。

  •  资源
  • 本 Quick Start 参考部署与“解决方案领域”中的解决方案相关,其中包括解决方案简介、由 AWS 能力合作伙伴精心设计的可选咨询服务以及 AWS 在概念验证 (PoC) 项目中的共同投资。要了解有关这些资源的更多信息,请访问“解决方案领域”。