참조 배포

Data Lake Foundation on AWS

Amazon Redshift, Amazon Kinesis, AWS Glue 및 Amazon SageMaker 등 AWS 서비스 사용

이 솔루션은 Amazon Simple Storage Service(S3), Amazon Redshift, Amazon Kinesis, Amazon Athena, AWS Glue, Amazon Elasticsearch Service(Amazon ES), Amazon SageMaker, Amazon QuickSight 등 Amazon Web Services(AWS) 서비스를 통합하는 데이터 레이크 파운데이션을 배포합니다.

데이터 레이크 파운데이션은 이러한 AWS 서비스를 사용하여 데이터 제출, 수집 처리, 데이터 세트 관리, 데이터 변환 및 분석, 기계 학습 도구 구축 및 배포, 검색, 게시, 시각화 등의 기능을 제공합니다. 이러한 파운데이션이 배치되면 ISV 및 SaaS 도구를 사용하여 데이터 레이크를 강화할 수 있습니다.

이 참조 아키텍처는 요구 사항을 충족하도록 사용자 지정할 수 있는 AWS CloudFormation 템플릿에 의해 자동화됩니다.

이 솔루션은 AWS에서 개발했습니다.

  •  구축할 내용
  • 이 솔루션은 다음을 설정합니다.

    • Virtual Private Cloud(VPC)는 두 개의 가용 영역으로 확장되고 두 개의 퍼블릭 서브넷과 두 개의 프라이빗 서브넷을 포함합니다.*
    • 인터넷 액세스를 제공하는 인터넷 게이트웨이.*
    • 퍼블릭 서브넷에서 프라이빗 서브넷의 리소스에 대한 아웃바운드 인터넷 액세스를 허용하기 위한 관리형 NAT 게이트웨이.*
    • 퍼블릭 서브넷에서, 퍼블릭 및 프라이빗 서브넷의 EC2 인스턴스에 인바운드 SSH(Secure Shell) 액세스를 허용하는 Auto Scaling 그룹의 Linux 배스천 호스트.*
    • 예를 들어, Amazon Redshift 및 Amazon Athena가 조정된 데이터 세트에 읽고 쓸 수 있도록 허용하는 등 AWS 리소스에 대한 액세스 권한을 제공하기 위한 AWS Identity and Access Management(IAM) 역할.
    • 프라이빗 서브넷에서, 새로 조정되고 게시된 데이터 세트의 데이터 집계, 분석, 변환 및 생성을 위한 Amazon Redshift.
    • AWS 인증을 사용하여 액세스할 수 있는 Amazon SageMaker 인스턴스.
    • Amazon S3, Amazon Athena, AWS Glue, AWS Lambda, Amazon ES with Kibana, Amazon Kinesis, Amazon QuickSight 등 기타 Amazon 서비스와의 통합.

    * 기존 VPC에 솔루션을 배포하는 템플릿에서는 별표로 표시된 태스크를 건너뛰고 기존 VPC 구성을 묻는 메시지가 표시됩니다.

  •  배포 방법
  • 이 AWS 솔루션을 배포하려면 다음 단계가 포함된 배포 가이드의 지침을 따르세요.

    1. AWS 계정에 로그인합니다. AWS 계정이 없는 경우 https://aws.amazon.com에서 가입합니다.
    2. 솔루션을 시작합니다. 스택을 배포하는 데 약 50분이 걸립니다. 스택을 생성하기 전에 상단 도구 모음에서 AWS 리전을 선택합니다. 다음 옵션 중 하나를 선택합니다.
    3. 솔루션에서 생성된 리소스를 확인하여 배포를 테스트합니다.

    솔루션에는 사용자 지정할 수 있는 파라미터가 포함되어 있습니다. 예를 들어, 네트워크를 구성하거나 Amazon Redshift, Kinesis, Elasticsearch 설정을 사용자 지정할 수 있습니다.  

    Amazon은 이 솔루션에서 AWS와 협업하는 AWS 파트너와 사용자 배포 정보를 공유할 수 있습니다.  

  •  비용 및 라이선스
  • 이 솔루션을 실행하는 동안 사용되는 AWS 서비스 및 유료 타사 라이선스 비용은 고객이 부담해야 합니다. 솔루션 사용에 따른 추가 비용은 없습니다.

    이 솔루션에는 사용자 지정할 수 있는 구성 파라미터가 포함되어 있습니다. 인스턴스 유형과 같은 이러한 일부 설정에 따라 배포 비용이 달라집니다. 예상 비용은 사용하는 각 AWS 서비스의 요금 페이지를 참조하세요. 요금은 변경될 수 있습니다.

    팁: 솔루션 배포 후 관련 비용을 추적할 수 있도록 AWS Cost and Usage Report를 생성하세요. 이 보고서는 계정의 Amazon Simple Storage Service(S3) 버킷에 대한 과금 지표를 제공합니다. 이 보고서는 매월 사용량을 기반으로 한 추정 요금을 제공하고 월말에 데이터를 집계합니다. 자세한 내용은 AWS Cost and Usage Reports란 무엇인가요?를 참조하세요.
  •  리소스
  • 이 솔루션은 개요, AWS 컴피턴시 파트너가 제작한 옵션 컨설팅 제안, PoC(개념 증명) 프로젝트의 AWS 공동 투자가 포함되어 있는 솔루션 공간의 솔루션과 관련이 있습니다. 자세한 정보는 솔루션 공간을 참조하세요.