Amazon Redshift와 Amazon Aurora 제로 ETL 통합 정식 출시

“데이터는 모든 애플리케이션, 프로세스 및 비즈니스 의사 결정의 중심에 있습니다.” 라고 AWS의 데이터베이스, 분석 및 기계 학습 담당 부사장인 Swami Sivasubramanian은 썼고, 저는 여기에 매우 동의합니다. 오늘날 고객이 사용하는 일반적인 패턴은 Amazon Aurora에서 Amazon Redshift로 데이터를 옮기는 데이터 파이프라인을 구축하는 것입니다. 이러한 솔루션을 통해 통찰력을 확보하여 매출을 증대하고, 비용을 절감하며, 비즈니스를 최적화할 수 있습니다.

분석을 위해 데이터를 준비하는 대신 데이터에서 가치를 창출하는 데 집중할 수 있도록 AWS re:Invent 2022에서 Amazon Redshift와의 Amazon Aurora 제로 ETL 통합을 발표했으며 2023년 6월에는 Amazon Aurora MySQL 호환 에디션의 퍼블릭 프리뷰에서 발표했습니다.

이제 정식 버전으로 제공: Amazon Redshift와의 Amazon Aurora 제로 ETL 통합
오늘 저희는 Amazon Redshift와의 Amazon Aurora 제로 ETL 통합이 정식 출시된다고 발표했습니다. 이 완전 관리형 솔루션을 사용하면 사용자는 더 이상 트랜잭션 데이터에서 시간에 민감한 인사이트를 도출하여 중요한 비즈니스 의사 결정을 내리기 위해 복잡한 데이터 파이프라인을 구축 및 관리하지 않아도 됩니다.

Amazon Redshift와의 Amazon Aurora 제로 ETL 통합을 통해 Amazon Redshift에 있는 페타바이트 규모의 트랜잭션 데이터에 대하여 거의 실시간에 가까운 분석 및 기계 학습(ML)을 실행할 수 있는 기회가 열립니다. 이 데이터가 Aurora에 기록되면 몇 초 내에 Amazon Redshift에서 사용할 수 있습니다.

또한 Amazon Redshift의 여러 Aurora MySQL 데이터베이스 클러스터에서 통합 분석을 실행하여 여러 애플리케이션 또는 파티션에서 전체적인 인사이트를 도출할 수 있습니다. Amazon Redshift와의 Amazon Aurora 제로 ETL 통합으로 여러 Aurora 데이터베이스에서 분당 1백만 건 이상의 트랜잭션(분당 1,750만 건의 행 삽입/업데이트/삭제 작업에 해당)을 처리하고 Amazon Redshift에서 15초 이내에 이러한 트랜잭션을 사용할 수 있습니다(지연 시간 50배 지연).

또한 구체화된 뷰, 리전 간 데이터 공유, 여러 데이터 스토어 및 데이터 레이크에 대한 통합 액세스 등 Amazon Redshift의 분석 및 내장 ML 기능을 활용할 수 있습니다.

그럼 시작해 보겠습니다.
이 문서에서는 쉽게 시작할 수 있는 방법에 대한 정보와 함께 몇 가지 단계를 중점적으로 설명하겠습니다. 기존 Amazon Aurora MySQL 서버리스 데이터베이스와 Amazon Redshift 데이터 웨어하우스를 사용합니다.

시작하려면 Amazon RDS로 이동하여 제로 ETL 통합 생성을 제로 ETL 통합 페이지에서 선택해야 합니다.

제로 ETL 통합 생성 페이지에서 몇 가지 단계에 따라 Amazon Aurora 데이터베이스 클러스터와 Amazon Redshift 데이터 웨어하우스에 대한 통합을 구성해야 합니다.

먼저 내 통합의 식별자를 정의하고 다음을 선택합니다.

다음 페이지에서 RDS 데이터베이스 찾아보기를 선택하여 소스 데이터베이스를 선택해야 합니다.

여기서 기존 데이터베이스를 소스로 선택할 수 있습니다.

다음 단계에서는 대상 Amazon Redshift 데이터 웨어하우스를 묻습니다. 여기서는 내 계정 또는 다른 계정에서 Amazon Redshift Serverless 또는 RA3 데이터 웨어하우스를 유연하게 선택할 수 있습니다. Redshift 데이터 웨어하우스 찾아보기를 선택합니다.

그런 다음 대상 데이터 웨어하우스를 선택합니다.

Amazon Aurora는 데이터 웨어하우스에 복제해야 하므로 추가적인 리소스 정책을 더하고, Aurora 데이터베이스를 Amazon Redshift 데이터 웨어하우스의 승인된 통합 소스로 추가해야 합니다.

Amazon Redshift 콘솔에서 수동으로 업데이트하거나 Amazon RDS에서 문제를 해결하게 하여 이 문제를 해결할 수 있습니다. 체크박스를 체크합니다.

다음 페이지에는 Amazon RDS가 수행할 변경 사항이 나와 있습니다. 계속을 선택합니다.

다음 페이지에서는 태그와 암호화를 구성할 수 있습니다. 기본적으로 제로 ETL 통합은 AWS Key Management Service(AWS KMS)를 사용하여 데이터를 암호화하며, 자체 키를 사용할 수도 있습니다.

그런 다음 모든 구성을 검토하고 제로 ETL 통합 생성을 선택하여 통합을 생성해야 합니다.

몇 분이 지나면 제로 ETL 통합이 생성됩니다. 그런 다음 Amazon Redshift로 전환했고 제로 ETL 통합 페이지에서 최근에 제로 ETL 통합을 생성했음을 확인할 수 있습니다.

통합에는 아직 Amazon Redshift에 대상 데이터베이스가 없으므로 한 개를 생성해야 합니다.

이제 통합 구성이 완료되었습니다. 이 페이지에서 통합 상태가 활성 상태이며 복제된 테이블이 하나 있음을 확인할 수 있습니다.

테스트를 위해 Amazon Aurora 데이터베이스에 새 테이블을 만들고 이 테이블에 레코드를 삽입합니다.

그런 다음 Amazon Redshift에서 Redshift 쿼리 편집기 v2로 전환했습니다. 여기서 통합의 일부로 만든 데이터베이스에 연결할 수 있습니다. 간단한 쿼리를 실행해 보면 Amazon Redshift에서 내 데이터를 이미 사용할 수 있다는 것을 알 수 있습니다.

이 제로 ETL 통합은 두 가지 이유로 매우 편리하다는 것을 알았습니다. 첫째, 여러 데이터베이스 클러스터의 모든 데이터를 통합하여 종합적으로 분석할 수 있었습니다. 둘째, 트랜잭션 데이터가 Amazon Aurora MySQL에 기록된 지 몇 초 만에 이러한 제로 ETL 통합을 통해 Amazon Redshift에서 데이터를 원활하게 사용할 수 있게 되었습니다.

알아야 할 사항

가용성 – Amazon Redshift와의 Amazon Aurora 제로 ETL 통합은 미국 동부(오하이오), 미국 동부(버지니아 북부), 미국 서부(오레곤), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(도쿄), 유럽(프랑크푸르트), 유럽(아일랜드) 및 유럽(스톡홀름) AWS 리전에서 정식 출시되었습니다.

지원되는 데이터베이스 엔진 – Amazon Redshift와의 Amazon Aurora 제로 ETL 통합은 현재 Amazon Aurora의 MySQL 호환 에디션을 지원합니다. Amazon Aurora PostgreSQL 호환 에디션에 대한 지원이 진행 중입니다.

요금 – Amazon Redshift와의 Amazon Aurora 제로 ETL 통합은 추가 비용 없이 제공됩니다. 제로 ETL 통합의 일부로 생성된 변경 데이터를 생성 및 처리하는 데 사용한 기존 Amazon Aurora 및 Amazon Redshift 리소스에 대한 비용을 지불합니다.

분석을 위해 준비하는 대신 데이터에서 가치를 창출하는 데 더 집중할 수 있도록 한 걸음 더 다가섰습니다. 시작하는 방법에 대해 자세히 알아보려면 Amazon Redshift와의 Amazon Aurora 제로 ETL 통합 페이지를 방문하십시오.

즐거운 통합 되세요!
— Donnie