AWS Quick Starts - 고객 준비 솔루션

AWS의 Data Lake Foundation

Apache Zeppelin, Amazon RDS, Amazon S3 및 기타 AWS 서비스를 사용

이 Quick Start는 데이터를 AWS 클라우드로 마이그레이션하고 데이터를 저장, 모니터링 및 분석하는 데 도움이 되도록 다양한 AWS 클라우드 서비스 및 구성 요소를 통합하는 데이터 레이크 기반을 배포합니다.

이 배포는 데이터를 저장하는 핵심 서비스로 Amazon Simple Storage Service(Amazon S3)를 사용하고, 데이터 분석 및 시각화를 위해 Apache Zeppelin 및 Kibana를 배포합니다. 또한 Amazon Relational Database Service(Amazon RDS), AWS Data Pipeline, Amazon Redshift, Amazon Elasticsearch Service(Amazon ES), Amazon Kinesis Firehose 및 AWS CloudTrail과 통합됩니다.

이 참조 아키텍처는 약 20분 만에 데이터 레이크 환경을 배포하는 AWS CloudFormation 템플릿에 의해 자동화됩니다. 템플릿을 특정 요건에 따라 사용자 지정할 수도 있습니다.

 

datalake_icon_crs

이 Quick Start는 Cloudwick Technologies Inc.와 AWS가 공동으로 개발했습니다. Cloudwick은
APN 파트너입니다.

  •  구축할 내용
  •  배포 방법
  •  비용 및 라이선스
  •  리소스
  •  구축할 내용
  • 다음 인프라가 포함된 데이터 레이크용 Quick Start 아키텍처:

    • AWS 리소스를 고가용성 구성으로 배포할 수 있도록 여러 가용 영역에 걸쳐 있고 여러 퍼블릭 및 프라이빗 서브넷을 포함하는 가상 프라이빗 클라우드(VPC).
    • 퍼블릭 서브넷에서, 퍼블릭 및 프라이빗 서브넷에 위치하는 Linux 인스턴스에 대한 보안 액세스를 제공하기 위한 Auto Scaling 그룹의 Linux 배스천 호스트(선택 사항).
    • 퍼블릭 서브넷에서, 프라이빗 서브넷의 인스턴스에 아웃바운드 인터넷 연결을 제공하는 관리형 NAT 게이트웨이.
    • 필요할 경우 Quick Start를 통해 생성된 AWS 리소스가 다른 AWS 리소스에 액세스하도록 허용하는 AWS Identity and Access Management(IAM) 역할. 예를 들어 이들 IAM 역할은 Amazon S3의 데이터에 대한 액세스를 제어하고 Amazon Redshift가 Amazon S3의 데이터를 자체 테이블로 복사하도록 허용합니다.

    이 Quick Start는 이러한 구성 요소를 포함하는 새 VPC 인프라를 구축하거나 기존 VPC 인프라를 사용하는 옵션을 제공합니다. 이 인프라에서 Quick Start가 다음 구성 요소를 배포합니다.

    • 프라이빗 서브넷에서, 데이터 레이크 포털을 호스트하기 위한 Auto Scaling의 웹 서버 인스턴스(Amazon 머신 이미지(AMI)). 이 웹 서버는 Amazon S3에 로드된 데이터에서 분석을 실행하기 위한 Apache Zeppelin도 설치합니다.
    • 프라이빗 서브넷에서, AWS Data Pipeline을 사용하여 관계형 데이터베이스에서 Amazon Redshift로 데이터를 마이그레이션하기 위한 Amazon RDS.
    • 데이터 저장을 위한 핵심 서비스로서의 Amazon S3와 통합.
    • 데이터 분석을 위해 AWS Lambda, Amazon ES with Kibana, Amazon Kinesis Firehose, Amazon CloudTrail과 같은 추가 AWS 서비스와 통합.
  •  배포 방법
  • 몇 개의 간단한 단계를 통해 약 20분이면 AWS에 데이터 레이크 환경을 구축할 수 있습니다.

    1. 아직 AWS 계정이 없다면 https://aws.amazon.com에서 가입합니다.
    2. Quick Start를 시작합니다. 다음 2가지 옵션 중에서 선택할 수 있습니다.
    3. 데이터 레이크 포털에 로그인하여 배포를 테스트합니다.
    4. 이 포털을 사용하여 Amazon S3 또는 Kinesis Firehose에서 데이터를 관리하고, 데이터 레이크용 클라우드 리소스를 확인하고, Zeppelin 또는 Kibana에서 분석을 위해 Amazon Redshift로 데이터를 마이그레이션합니다.

    Quick Start에는 사용자가 지정할 수 있는 파라미터가 포함되어 있습니다. 예를 들어 인스턴스 유형을 변경하고 Amazon RDS, Amazon Redshift 및 Elasticsearch에서 설정을 구성할 수 있습니다.

  •  비용 및 라이선스
  • 이 Quick Start 참조 배포를 실행하는 동안 사용되는 AWS 서비스 비용은 고객이 부담해야 합니다. Quick Start 사용에 따르는 추가 비용은 없습니다. 예상 비용은 사용하려는 각 AWS 서비스에 대한 요금 페이지를 참조하십시오.

    이 Quick Start를 위한 AWS CloudFormation 템플릿에는 사용자 지정할 수 있는 구성 파라미터가 포함되어 있습니다. 인스턴스 유형과 같은 일부 설정에 따라 배포 비용이 달라집니다. 예상 비용은 사용하려는 각 AWS 서비스에 대한 요금 페이지를 참조하십시오.

    또한 이 Quick Start는 Kibana 및 Apache Zeppelin 오픈 소스 소프트웨어를 배포합니다(두 소프트웨어 모두 무료임).

  •  리소스
  • 이 Quick Start 참조 배포는 솔루션 개요, AWS Competency Partners가 제작한 옵션 컨설팅 제안 및 개념 증명(PoC) 프로젝트의 AWS 공동 투자가 포함되어 있는 Solution Space의 솔루션과 관련이 있습니다. 이 리소스에 대한 추가 정보가 필요한 경우 Solution Space를 방문하십시오.