Amazon Aurora와 Amazon Redshift의 제로 ETL 통합을 사용하면 페타바이트 규모의 트랜잭션 데이터에 Amazon Redshift를 사용하여 실시간에 가까운 분석 및 기계 학습(ML)을 지원할 수 있습니다. 트랜잭션 데이터가 Amazon Aurora에 기록된 후 몇 초 내에 제로 ETL을 통해 Amazon Redshift에서 데이터를 원활하게 사용할 수 있으므로 고객이 추출, 전환, 적재(ETL) 작업을 수행하는 복잡한 데이터 파이프라인을 구축하고 유지 관리할 필요가 없습니다.
이점
실시간에 가까운 데이터 액세스
Aurora의 트랜잭션 데이터를 Amazon Redshift에 몇 초 만에 액세스하여 페타바이트 규모의 데이터에 대해 실시간에 가까운 분석과 ML을 실행할 수 있습니다.
사용 편의성
트랜잭션 데이터를 분석 시스템으로 이동하기 위해 ETL 파이프라인을 구축하고 유지 관리할 필요 없이 거의 실시간으로 트랜잭션 데이터를 빠르게 분석할 수 있습니다.
원활한 데이터 통합
다양한 Aurora 데이터베이스 클러스터의 여러 테이블을 통합하고 하나의 Amazon Redshift 데이터 웨어하우스에 데이터를 복제하여 여러 애플리케이션과 데이터 소스에서 통합 분석을 실행할 수 있습니다.
인프라 관리 불필요
Amazon Aurora Serverless v2와 Amazon Redshift Serverless를 모두 사용하는 경우 인프라를 관리할 필요 없이 트랜잭션 데이터에 대해 거의 실시간 분석을 실시할 수 있습니다.
사용 사례
실시간에 가까운 운영 분석
Amazon Redshift 분석과 ML 기능을 사용하여 트랜잭션 데이터 등에서 거의 실시간으로 인사이트를 도출하여 시급한 중요 이벤트에 효과적으로 대응할 수 있습니다. 실시간에 가까운 분석을 통해 콘텐츠 타겟팅, 최적화된 게임 경험, 데이터 품질 모니터링, 사기 탐지, 고객 행동 분석과 같은 사용 사례에 대해 보다 정확하고 시기적절한 인사이트를 얻을 수 있습니다.
대규모 분석
Auro와 Amazon Redshift의 제로 ETL 통합을 통해 Amazon Redshift 기능을 사용하면 여러 Aurora 데이터베이스 클러스터에서 통합된 페타바이트 규모의 트랜잭션 데이터를 분석할 수 있습니다. 기본 제공 ML, 구체화된 뷰, 데이터 공유, 여러 데이터 스토어 및 데이터 레이크에 대한 통합 액세스 등 Amazon Redshift의 포괄적인 분석 기능을 활용할 수 있습니다. Amazon Redshift ML을 사용하면 Amazon SageMaker에 기본적으로 통합되어 있는 간단한 SQL 명령으로 수십억 개의 예측을 실행할 수 있습니다.
운영 부담 감소
트랜잭션 데이터베이스에서 중앙 데이터 웨어하우스로 데이터를 이동하려면 복잡한 데이터 파이프라인 ETL 솔루션을 구축, 유지 관리 및 운영해야 하는 경우가 많습니다. 제로 ETL 통합을 사용하면 Aurora 데이터베이스의 스키마, 기존 데이터 및 데이터 변경 사항을 신규 또는 기존 Amazon Redshift 클러스터로 원활하게 복제할 수 있습니다. 제로 ETL 통합에서는 복잡한 데이터 파이프라인을 관리하지 않아도 됩니다.
시작 방법
Aurora와 Amazon Redshift 간의 제로 ETL 통합을 생성하려면 Aurora DB 클러스터를 데이터 소스로 지정하고 Amazon Redshift 데이터 웨어하우스를 대상으로 지정합니다. 통합을 하면 소스 데이터베이스의 데이터가 대상 데이터 웨어하우스로 복제됩니다. 몇 초 만에 Amazon Redshift에서 데이터를 사용할 수 있게 되므로 데이터 분석가는 데이터에 Amazon Redshift 분석과 ML 기능을 사용하기 시작할 수 있습니다. 자세히 알아보려면 Aurora 및 Amazon Redshift 시작 안내서를 참조하세요.
리소스
요금
- 변경 데이터 캡처 지원에서 사용하는 추가 I/O 및 스토리지
- Amazon Redshift 데이터베이스를 시드하기 위한 초기 데이터 내보내기에 드는 스냅샷 내보내기 비용
- 복제된 데이터를 저장하기 위한 추가 Amazon Redshift 스토리지
- 데이터 복제 처리를 위한 추가 Amazon Redshift 컴퓨팅
- 소스에서 대상으로 데이터를 이동하는 데 드는 AZ 사이의 데이터 전송 비용
제로 ETL 통합을 통한 지속적인 데이터 변경 처리는 추가 비용 없이 제공됩니다. 자세한 내용은 Aurora 요금 페이지를 참조하세요.
고객
Infosys에서 제조, 소매 및 물류 고객의 공급망 무결성을 유지하려면 화물 확인이 매우 중요합니다. 이를 위해서는 화물 추적 데이터를 실시간으로 수집하여 화물 추적 및 화물 분석을 수행해야 합니다.
“Infosys는 제로 ETL의 기능을 활용하여 실시간으로 데이터를 수집함으로써 화물 운송을 추적하고 위치, 상태 및 예상 도착 시간에 대한 가시성을 제공했습니다. 이렇게 하면 화물 운영을 최적화하고 비용을 크게 절감할 수 있습니다. 제로 ETL의 포괄적인 보고 및 분석과 Infosys Cobalt 및 Topaz의 산업 청사진을 통해 이제 데이터를 기반으로 의사 결정을 내릴 수 있습니다.”
Sunil Senan, Infosys Data, Analytics and AI 부문 SVP 겸 Global Head
Intuit는 TurboTax, Credit Karma, QuickBooks 및 Mailchimp를 통해 1억 명의 소비자 및 중소기업 고객의 성공을 지원하는 글로벌 금융 기술 플랫폼입니다. Intuit는 복잡한 마이그레이션을 앞두고 있었는데, 하루 1,000만 건 이상의 프로필을 마이그레이션해야 할 것으로 예상하고 있었습니다. Intuit는 데이터 모으기 프로세스를 간소화하고 복잡한 엔지니어링 작업의 필요성을 없애기 위해 Amazon Aurora MySQL과 Amazon Redshift를 제로 ETL 방식으로 통합했습니다.
“엄청난 양의 데이터를 원활하게 마이그레이션해야 한다는 것이 중요한 과제였습니다. 또한 마이그레이션 프로세스를 신속하게 분석하여 데이터 기반 의사 결정을 신속하게 내릴 수 있는 솔루션이 필요했습니다. 이러한 문제를 해결하기 위해 Amazon Aurora와 Amazon Redshift를 제로 ETL 방식으로 통합하여 데이터 모으기 프로세스를 간소화하고 복잡한 엔지니어링 작업의 필요성을 없했습니다. 제로 ETL을 통해 데이터 캡처나 별도의 통합 작업 없이 대량의 데이터를 Amazon Redshift로 전송할 수 있었습니다. 중요한 기술 및 비즈니스 결정을 내리는 데 필요한 인사이트를 빠르게 얻을 수 있었기 때문에 수개월에 달하는 노력을 줄일 수 있었습니다. Intuit에서는 Amazon Redshift와 Aurora의 제로 ETL 통합을 활용하여 대규모 데이터 마이그레이션과 거의 실시간 분석을 위한 새로운 패턴을 탐색할 수 있었습니다.”
Aruna Ghiware, Intuit Product Development Manager
KINTO Technologies Corporation은 모빌리티 플랫폼 산업의 선두 주자이자 Toyota의 금융 서비스 회사로서 KINTO 서비스 개발을 담당하는 기술 회사입니다. KINTO Technologies는 Amazon Aurora MySQL과 Amazon Redshift를 제로 ETL 방식으로 통합하여 복원력이 더 높은 데이터 파이프라인을 구축할 수 있었습니다. 이제는 Amazon Redshift의 고급 분석 기능을 거의 실시간으로 운영 데이터에 적용할 수 있습니다.
“제로 ETL 통합이 가능하기 전에는 핵심 데이터베이스의 변경 사항을 다운스트림 애플리케이션으로 지속적으로 스트리밍하는 사용자 지정 솔루션을 사용했지만 지속적인 성능 문제가 프로덕션 워크로드에 영향을 미쳤습니다. 프로덕션 워크로드에 미치는 성능 영향을 해결하기 위해 업데이트 전송 빈도를 줄이고 Amazon Redshift의 오래된 데이터를 사용하도록 파이프라인을 수동으로 조정해야 했습니다. Aurora MySQL과 Amazon Redshift의 제로 ETL 통합을 사용하면 Amazon Redshift에서 항상 실시간에 가까운 데이터를 사용할 수 있습니다. 이렇게 하면 개발자가 ETL 작업을 위한 데이터 파이프라인을 수동으로 관리하거나 워크로드에 미치는 성능 영향을 처리하는 데 쓰는 시간이 줄어들기 때문에 운영 부담이 줄어듭니다.”
Hitoshi Kageyama, KINTO Technologies Corporation Executive Vice President
Money Forward i는 직관적인 SaaS 관리 플랫폼인 Admina를 통해 반복적인 작업을 간소화하고 비용을 절감하며 보안을 강화함으로써 조직 내 IT 팀의 생산성과 창의적 잠재력을 높이기 위해 노력합니다.
“Amazon Aurora와 Amazon Redshift의 제로 ETL 통합이 출시되기 전에는 Amazon Redshift에서 Amazon Aurora MySQL의 제품 데이터를 분석하기 위해 ETL 작업을 구현하고 유지해야 하는 부담이 컸습니다. Aurora MySQL과 Amazon Redshift를 제로 ETL 방식으로 통합하면 Aurora MySQL 데이터베이스와 Amazon Redshift 간에 거의 실시간으로 데이터를 동기화하여 분석 환경을 구축하는 데 걸리는 시간을 한 달에서 단 3시간으로 단축할 수 있습니다. 제로 ETL 통합은 개발 시 초기 부담을 줄여줄 뿐만 아니라 프로덕션 환경에 미치는 영향이 적기 때문에 최소 비용으로 최대 속도에서 분석 환경을 구축할 수 있습니다.”
Katsutoshi Murakami, Money Forward i Director 겸 CPO
Woolworths는 사하라 사막 이남 아프리카에서 혁신, 가치 및 지속 가능성에 중점을 두고 다양한 고급 의류, 일반 상품 및 식품을 공급하는 선도적인 소매업체입니다.
“데이터에서 시기적절한 인사이트를 도출하는 것은 매우 중요합니다. 비즈니스 전반에서 데이터 기반 의사 결정을 신속하게 촉진하고 중요하고 긴급한 이벤트에 효과적으로 대응할 수 있기 때문입니다. 변경 데이터를 캡처하고 레코드를 모으는 방법은 시간이 많이 걸렸고 처리 비용도 예상보다 많이 들었습니다. Amazon Aurora MySQL과 Amazon Redshift의 제로 ETL 통합을 사용한 덕에 ETL 작업에 필요한 엔지니어링 없이 동일한 결과를 하루 만에 얻을 수 있었습니다. 그렇지 않았다면 개발에 2개월이 걸렸을 것입니다. 이 통합을 사용한 덕에 데이터 지연 시간이 크게 줄었습니다. 데이터가 쿼리 준비를 마친 상태였기 때문입니다. 그 덕에 이벤트가 발생했을 때 더 빠르게 결정을 내릴 수 있었습니다. Amazon Redshift와 Aurora의 제로 ETL 통합을 통해 엔지니어링 작업을 줄이고 파이프라인 관리의 장애 지점을 축소하며 비용을 절감할 수 있었습니다.”
Raamy Schroeder, Woolworths Business Intelligence Lead
Aurora의 기능에 대해 자세히 알아보기