이 AWS 솔루션 구현은 어떤 기능을 제공합니까?

기존 데이터 관리 시스템보다 더욱 민첩하고 유연한 데이터 스토리지 및 분석 솔루션이 필요한 Amazon Web Services(AWS) 고객이 많습니다. 데이터 레이크는 새로 등장하여 데이터 저장과 분석에 인기를 얻고 있습니다. 기업들은 다양한 소스에서 여러 데이터를 관리하고, 이 데이터를 중앙 집중형 리포지토리에 구조적, 비구조적 형식으로 저장할 수 있습니다.

AWS 클라우드는 고객이 안전하고 유연하며 비용 효율적인 데이터 레이크를 구현하는 데 필요한 다양한 빌딩 블록을 제공합니다. 여기에는 구조화된 데이터와 구조화되지 않은 데이터를 모두 수집, 저장, 찾기, 처리 및 분석하는 데 도움이 되는 AWS Managed Services가 포함됩니다. 고객이 데이터 레이크를 구축할 때 고객을 지원하기 위해 AWS에서 데이터 레이크 솔루션을 업데이트했습니다. 데이터 레이크 솔루션은 데이터 세트를 검색하고 요청할 수 있는 사용자 친화적인 콘솔과 더불어 고가용성의 경제적인 데이터 레이크 아키텍처를 AWS 클라우드에 배포하는 자동화된 참조 구현입니다.

이 솔루션의 버전 2.2는 최신 Node.js 런타임을 사용합니다. 버전 2.1은 Node.js 8.10 런타임을 사용하며, 2019년 12월 31일에 지원이 중단되었습니다. 버전 2.2로 업그레이드하려면 솔루션을 새 스택으로 배포해야 합니다. 자세한 내용은 구현 가이드를 참조하세요.

AWS 솔루션 구현 개요

AWS에서는 회사 전체에서 또는 다른 외부 사용자와 특정 데이터 하위 집합을 손쉽게 태그 지정, 검색, 공유, 변환, 분석 및 관리하는 데 필요한 핵심 AWS 서비스를 자동으로 구성하는 데이터 레이크 솔루션을 제공합니다. 이 솔루션은 사용자가 액세스하여 비즈니스 요구 사항에 따라 사용 가능한 데이터 세트를 검색 및 탐색할 수 있는 콘솔을 배포합니다. 또한, 이 솔루션에는 Microsoft Active Directory와 통합할 준비가 된 솔루션 버전을 시작할 수 있는 연동 템플릿이 포함됩니다.

아래 다이어그램은 솔루션의 구현 안내서와 함께 AWS CloudFormation 템플릿을 사용하여 자동으로 배포할 수 있는 데이터 레이크 아키텍처를 보여줍니다.

Data Lake 솔루션 | 아키텍처 다이어그램
 확대하려면 클릭

AWS 기반 Data Lake 솔루션 아키텍처

AWS CloudFormation 템플릿은 솔루션의 코어 AWS 서비스를 구성합니다. 여기에는 AWS Lambda 마이크로서비스(함수) 집합, 안정적 검색 기능을 위한 Amazon OpenSearch Service(Amazon Elasticsearch Service 후속), 사용자 인증을 위한 Amazon Cognito, 데이터 변환을 위한 AWS Glue, 분석을 위한 Amazon Athena가 포함됩니다.

이 솔루션은 Amazon S3의 보안, 내구성, 확장성을 활용해서 조직 데이터 세트의 영구 카탈로그를 관리하고 Amazon DynamoDB로 해당 메타 데이터를 관리합니다. 데이터 세트가 카탈로그에 기록되면 속성과 설명 태그를 검색에 사용할 수 있게 됩니다. 사용자는 솔루션 콘솔에서 사용 가능한 데이터 세트를 검색하여 살펴보고, 액세스가 필요한 데이터 목록을 생성할 수 있습니다.

이 솔루션은 사용자가 선택하는 데이터 세트를 추적하면서 사용자가 체크아웃할 때 원하는 콘텐츠로 안전한 액세스 링크를 제공하는 매니페스트 파일을 생성합니다.

Data Lake on AWS

버전 2.2
최종 업데이트 날짜: 2021년 9월
작성: AWS  

예상 배포 시간: 30분

아래 버튼을 사용하여 솔루션 업데이트에 가입하십시오.

참고: RSS 업데이트를 구독하려면 사용 중인 브라우저에 대해 RSS 플러그인이 활성화되어 있어야 합니다. 

이 솔루션 구현이 도움이 되었습니까?
피드백 제공 

기능

데이터 레이크 참조 구현

이 데이터 레이크 솔루션을 표준으로 사용하거나 고유한 데이터 관리, 검색, 처리 요구 사항에 맞게 사용자 지정할 수 있는 참조 구현으로 활용할 수 있습니다.

데이터 액세스 유연성

사전에 서명된 Amazon S3 URL을 사용하거나, Amazon S3에 있는 데이터 세트에 직접 그러나 제어된 액세스를 위해 적절한 AWS Identity and Access Management(IAM) 역할을 사용하십시오.

연동 로그인

또는, 사용자가 SAML ID 제공자(IdP)(예: Microsoft Active Directory Federation Services(AD FS))를 통해 로그인하도록 지원할 수 있습니다.

관리형 스토리지 계층

관리형 Amazon S3 버킷에서 데이터 저장 및 검색을 보안, 관리하고 솔루션별 AWS Key Management Service(KMS) 키로 저장된 데이터를 암호화합니다.

명령줄 인터페이스

기본 제공되는 CLI 또는 API를 사용하여 데이터 레이크 활동을 간편하게 자동화하거나 이 솔루션을 기존 데이터 자동화에 통합하여 데이터 세트 수집, 수신, 분석에 활용합니다.

사용자 인터페이스

이 솔루션은 Amazon S3에서 호스팅되고 Amazon CloudFront가 제공하는 직관적인 웹 기반 콘솔 UI를 자동 생성합니다. 콘솔에 액세스하면 데이터 레이크 사용자 및 데이터 레이크 정책 관리 데이터 패키지 추가/제거, 데이터 패키지 검색, 추가 분석을 위한 데이터 세트 매니페스트 생성 기능을 손쉽게 사용할 수 있습니다.
구축 아이콘
솔루션 직접 배포

AWS 솔루션 구현 라이브러리에서 일반적인 아키텍처 문제에 대한 답을 검색해 보실 수 있습니다.

자세히 알아보기 
APN 파트너 찾기
APN 파트너 찾기

시작하는 데 도움이 되는 AWS 공인 컨설팅 및 기술 파트너를 찾으십시오.

자세히 알아보기 
살펴보기 아이콘
솔루션 컨설팅 오퍼 살펴보기

AWS의 컨설팅 오퍼 포트폴리오를 살펴보고 솔루션 배포 시 AWS의 검증된 지원을 받으세요.

자세히 알아보기