AWS Data Pipeline은 데이터 위주의 워크플로에 간단한 관리 시스템을 제공하는 웹 서비스입니다. AWS Data Pipeline을 사용하여 데이터를 포함하는 "데이터 소스", EMR 작업 또는 SQL 쿼리 등의 "활동" 또는 비즈니스 논리, 그리고 비즈니스 논리에서 실행할 "작업 일정"으로 구성된 파이프라인을 정의합니다. 예를 들어 매 시간마다 해당 시간의 Amazon Simple Storage Service(Amazon S3) 로그 데이터에서 Amazon Elastic MapReduce(Amazon EMR) 기반 분석을 실행하고, 앞으로의 조회를 위해 관련 데이터베이스로 결과를 로드한 다음 자동으로 사용자에게 일일 요약 이메일을 보내는 작업을 정의할 수 있습니다.

AWS Data Pipeline 처리:

  • 작업 일정 예약, 실행 및 재시도 논리
  • 모든 종속성이 충족될 때까지 논리를 실행하지 않도록 비즈니스 논리, 데이터 소스 및 이전 처리 단계들 간의 종속성 추적
  • 필요한 실패 알림 보내기
  • 작업에 필요할 수 있는 일시적인 컴퓨팅 리소스 만들기 및 관리

무료로 AWS 시작

무료 계정 생성
또는 콘솔에 로그인

AWS 프리 티어에는 AWS Data Pipeline과 함께 Low Frequency Precondition 3개 및 Low Frequency Activity 5개가 포함되어 있습니다.

AWS 프리 티어 세부 정보 보기 »

활동 실행에 앞서 데이터가 사용 가능한지 확인할 수 있도록 AWS Data Pipeline을 사용하여 "사전 조건"이라는 데이터 가용성 검사를 선택적으로 만들 수 있습니다. 이 검사는 반복적으로 데이터 가용성을 확인하도록 시도하고 사전 조건이 성공할 때까지 종속 활동이 실행되지 않게 합니다.

AWS Data Pipeline을 사용하려면 다음 단계를 따릅니다.

  • AWS Management Console, 명령행 인터페이스 또는 서비스 API를 사용하여 데이터 소스, 사전 조건, 활동, 이를 실행할 작업 일정 및 선택적인 알림 조건을 정의합니다.
  • 예상되는 때 데이터가 사용 가능하게 되지 않거나 활동에 오류가 있을 경우 구성할 수 있는 자동 알림을 수신합니다.

AWS Management Console의 템플릿 섹션에서 많이 사용되는 여러 AWS Data Pipeline 작업을 찾아 사용할 수 있습니다. 포함되는 작업은 다음과 같습니다.

  • Amazon S3 기반 로그 데이터의 시간별 분석
  • Amazon S3로의 AmazonDynamoDB 데이터 일일 복제
  • RDS로의 온프레미스 JDBC 데이터베이스 테이블 주기적 복제

자세한 내용은 AWS Data Pipeline Developer Guide를 참조하십시오.

이 서비스 사용은 Amazon Web Services 고객 계약에 따릅니다.