AWS와 데이터 통합

데이터는 서드 파티 호스팅 애플리케이션, 온프레미스 데이터 스토어, 운영 데이터 스토어 등 다양한 형식의 다양한 소스에서 가져옵니다. AWS 서비스는 서드 파티 서비스형 소프트웨어(SaaS), 온프레미스 및 다른 클라우드를 비롯한 수백 개의 데이터 소스에 연결됩니다. 데이터를 데이터 레이크, 웨어하우스 및 데이터베이스에 연결하거나 이동한 후에는 전체 조직에서 데이터를 안전하게 사용할 수 있습니다.

수많은 AWS 데이터 통합 서비스 중 하나인 AWS Glue는 데이터 검색, 추출, 전환, 적재(ETL), 정리, 변환 및 중앙 집중식 카탈로그를 비롯한 주요 데이터 통합 기능을 한곳으로 통합합니다. 서버리스 서비스이며 필요에 따라 워커를 자동으로 프로비저닝하고 관리할 수 있습니다.

AWS는 모든 기술 역량의 사용자가 대화식으로 데이터를 탐색하고 관련 작업을 수행할 수 있도록 데이터 엔지니어, ETL 개발자 및 비즈니스 분석가의 니즈를 충족하는 도구를 제공합니다. AWS Glue Studio의 드래그 앤 드롭 인터페이스를 통해 데이터를 시각적으로 변환하고, 데이터 준비 도구인 AWS Glue DataBrew로 데이터를 정리 및 정규화하며, 선호하는 통합 개발 환경(IDE) 또는 노트북을 사용하여 데이터를 테스트할 수 있습니다.

조직은 ETL, 역방향 ETL, 추출, 적재, 전환(ELT)과 같은 다양한 데이터 처리 프레임워크뿐만 아니라, 배치, 마이크로 배치, 스트리밍과 같은 다양한 워크로드도 지원해야 하는 경우가 많습니다. AWS는 모든 프레임워크와 워크로드에 대한 유연한 지원을 제공하고 오픈 소스 표준을 활용하여 이식성을 지원합니다.

AWS는 어디든 데이터를 저장하는 곳에서 데이터에 액세스하고 통합할 수 있도록 지원하므로, 데이터 통합 팀이 데이터의 가치를 극대화하는 고가치 활동에 집중할 수 있습니다.

AWS Glue를 사용하면 모든 데이터를 규모에 상관없이 손쉽게 검색, 준비 및 통합할 수 있습니다. AWS Database Migration Service는 데이터베이스 및 분석 워크로드를 AWS로 빠르고 안전하게 이동하여 가동 중단 시간과 데이터 손실을 방지하는 데 도움이 됩니다. Amazon Managed Workflows for Apache Airflow(MWAA)는 Apache Airflow를 위한 안전하고 가용성이 뛰어난 관리형 워크플로 오케스트레이션 기능을 제공합니다. AWS Data Exchange는 300개 이상의 데이터 공급자와 3,500개 이상의 데이터 제품에서 제공하는 서드 파티 데이터와 연결됩니다.

원시 데이터 스토어에서 데이터를 모으기 전에 데이터를 변환하거나, 데이터를 정규화하거나, 데이터 품질을 확인하거나, 테이블 열, 행 또는 데이터 크기를 줄여야 하는 복잡한 사용 사례의 경우 AWS Glue를 사용하면 데이터를 더 쉽게 준비하고 통합할 수 있습니다.

ETL이 주기적으로 반복되는 일반적인 사용 사례의 경우, ETL 파이프라인을 구축하고 관리할 필요가 없는 AWS 제로 ETL 기능을 사용할 수 있습니다. AWS 제로 ETL 기능을 사용하면 Amazon Managed Streaming for Apache Kafka에서 Amazon Redshift로 직접 스트리밍 데이터를 모으고, Amazon Redshift를 사용하여 거의 실시간으로 Amazon Aurora 데이터를 분석하는 등 다양한 작업을 수행할 수 있습니다.

비즈니스 전반의 사용자는 데이터와 상호 작용할 수 있는 다양한 기술 역량을 가지고 있으며 적절한 도구가 없으면 이러한 작업을 수행할 수 없습니다.

AWS는 개발자부터 비즈니스 사용자까지 모든 유형의 사용자를 위한 기술 역량별 인터페이스와 작업 작성 도구를 제공합니다. AWS Glue Studio는 ETL 코드를 자동으로 생성하며, ETL 개발자와 비즈니스 분석가가 노코드 인터페이스로 데이터를 변환할 수 있게 합니다. 또한 AWS Glue를 통해 개발자와 엔지니어는 선호하는 IDE, 노트북 및 처리 엔진을 사용할 수 있습니다. 과학자와 엔지니어는 Apache Airflow용 Amazon 관리형 워크플로를 사용하여 전반적인 데이터 파이프라인을 오케스트레이션할 수 있습니다.

AWS는 종속 없이 다양한 워크로드에 대한 지원을 제공합니다.

AWS Glue Studio를 사용하면 Apache Spark 전문가가 아니라도 확장성이 뛰어난 ETL 작업을 작성하고 정형 및 비정형 데이터를 데이터 웨어하우스 및 데이터 레이크에 로드할 수 있습니다. Amazon Managed Streaming for Apache Kafka(MSK) 및 Amazon Kinesis를 사용하여 손쉽게 스트리밍 데이터를 실시간으로 수집하고 처리할 수 있습니다. 다른 일반적인 워크로드로는 배치 데이터 변환, 데이터베이스 복제, SaaS에서 데이터 모으기, 팀 간 데이터 공유, 서드 파티 데이터 구독 등이 있습니다.