Amazon Redshift 레이크 하우스 아키텍처

개방형 파일 형식으로 모든 데이터를 쿼리합니다. 데이터를 로드할 필요가 없습니다.

IoT, 스마트 디바이스, 클라우드 애플리케이션 및 소셜에서 생성되는 데이터의 양이 기하급수적으로 증가하고 있습니다. 형식이나 데이터 저장 위치에 관계없이 인사이트를 얻는 시간을 최소화하면서 쉽고 비용 효율적으로 이러한 모든 데이터를 분석할 수 있는 방법이 필요합니다.

Amazon Redshift는 레이크 하우스 아키텍처를 지원합니다. 이를 통해 데이터 웨어하우스, 데이터 레이크 및 운영 데이터베이스의 데이터를 쿼리하여 더 빠르고 심층적으로 인사이트를 도출할 수 있으며, 이는 다른 방법으로는 불가능합니다. 레이크 하우스 아키텍처를 사용하면 데이터를 개방형 파일 형식으로 Amazon S3 데이터 레이크에 저장할 수 있습니다. 이렇게 하면 새 사일로에 데이터를 잠그지 않고 이 데이터를 다른 분석 및 기계 학습 도구에 쉽게 사용할 수 있습니다.

Amazon Redshift 레이크 하우스 아키텍처를 사용하면 다음 사항을 수행할 수 있습니다.

  • 손쉽게 데이터 레이크의 데이터를 쿼리하고 개방형 형식으로 데이터 레이크에 데이터를 다시 작성할 수 있습니다.
  • 익숙한 SQL 문을 사용하여 모든 데이터 스토어의 데이터를 결합하고 처리할 수 있습니다.
  • 데이터 로드 및 ETL 파이프라인 없이 운영 데이터베이스의 라이브 데이터를 쿼리할 수 있습니다.

2019 re:Invent 기조 연설: Amazon Redshift 레이크 하우스 아키텍처(1:23)

기능

Amazon Redshift 레이크 하우스 아키텍처는 다음 기능을 기반으로 합니다.

Amazon Redshift Spectrum

데이터를 로드하거나 인프라를 복제하지 않고 Amazon S3 데이터 레이크에서 직접 개방형 형식의 데이터를 쿼리합니다. Amazon Redshift Spectrum 기능을 사용하면 Apache Parquet, ORC, JSON, Avro, CSV 등의 개방형 파일 형식으로 쿼리할 수 있습니다. 이 단계별 튜토리얼에 따라 시작해 보세요.

데이터 레이크 내보내기

데이터 레이크 내보내기를 사용하여 Amazon Redshift 쿼리 결과를 개방형 파일 형식(Apache Parquet)으로 S3 데이터 레이크에 직접 저장합니다. 그런 다음 Amazon Redshift Spectrum 기능과 다른 AWS 서비스(기계 학습의 경우 Sagemaker, ETL 작업의 경우 EMR)를 사용하여 이 데이터를 분석할 수 있습니다. 이 5분 동영상을 시청하고 시작해 보세요.

연합 쿼리

연합 쿼리 기능은 Amazon Redshift가 Amazon RDS 및 Aurora PostgreSQL 스토어에서 직접 데이터를 쿼리할 수 있도록 합니다. 따라서 ETL 작업 없이 최신 운영 데이터를 적시에 보고 및 BI 애플리케이션에 통합할 수 있습니다. 이 5분 동영상을 시청하거나 이 튜토리얼을 보고 시작해 보세요.

Warner Bros
“당사는 AWS 및 서드 파티의 많은 분석 도구를 활용하고 있으며, 당사의 자체 솔루션을 통해 이미 습득한 것과 동일한 다양한 데이터 변환 패턴을 Amazon Redshift를 통해서도 계속해서 습득할 수 있어 매우 기쁩니다. 2017년부터 Redshift Spectrum을 통해 데이터 레이크에서 개방형 데이터 형식으로 쿼리할 수 있는 Amazon Redshift의 기능을 활용하고 있으며, 현재 새로운 Redshift 데이터 레이크 내보내기 기능을 통해 편리하게 데이터 레이크에 데이터를 다시 작성할 수 있게 되었습니다. 이를 통해 매우 많은 쿼리를 로드하는 경우에도 일관된 빠른 성능이 보장됩니다. 당사는 통합 빅 데이터 스택을 활용하여 Amazon Redshift 클러스터에서 더 많은 데이터를 공유하고 모든 게임에서 더 낮은 비용으로 더 많은 가치를 창출할 수 있기를 기대합니다.”

Kurt Larson, Warner Bros. Analytics의 분석 마케팅 운영 부문 기술 담당 이사

리소스

블로그

ETL and ELT design patterns for lake house architecture using Amazon Redshift: Part 1

Amazon Redshift를 사용하여 레이크 하우스 아키텍처용 확장 가능한 ETL 및 ELT 설계 패턴 구축: 1부.

블로그 보기 »
튜토리얼

Amazon Redshift Spectrum 시작하기

Amazon Redshift Spectrum을 시작하기 위한 단계별 튜토리얼입니다.

튜토리얼 시작하기 »
고객 성공 사례

Amazon Redshift를 사용하여 데이터 분석을 확장하는 방법

엔터테인먼트 기업인 Warner Bros가 Amazon Redshift를 사용하여 데이터 분석 워크로드를 확장하는 방법을 알아봅니다.

동영상 보기 »
AWS 계정에 가입
AWS 계정에 가입

AWS 계정에 가입하고 AWS 프리 티어를 바로 이용해 보세요.

계정 생성 
AWS 프리 티어
AWS 프리 티어

AWS 플랫폼, 제품 및 서비스를 무료로 체험해 보세요.

자세히 알아보기 
데이터베이스 마이그레이션
데이터베이스 마이그레이션

AWS Database Migration Service로 데이터베이스를 빠르고 안전하게 마이그레이션해 보세요.

더 알아보기