Amazon EMR, Amazon Redshift, Amazon Kinesis, Amazon Athena 및 다른 AWS 빅 데이터 플랫폼을 활용하여 데이터를 처리하고 빅 데이터 환경을 만드는 방법을 배웁니다

AWS 기반 빅 데이터 과정에서는 Amazon EMR, Amazon Redshift, Amazon Kinesis, 그 외 AWS 빅 데이터 플랫폼 등 클라우드 기반 빅 데이터 솔루션을 소개합니다. 이 과정에서는 Amazon EMR에서 Hive 및 Hue와 같이 폭넓은 하둡 도구 에코시스템을 사용해 데이터를 처리하는 방법을 보여줍니다. 또한, 빅 데이터 환경을 생성하고, Amazon DynamoDB, Amazon Redshift, Amazon Quicksight, Amazon Athena 및 Amazon Kinesis로 작업하며, 모범 사례를 활용해 안전하고 비용 효율적인 빅 데이터 환경을 설계하는 방법을 배웁니다.

수준

중급

전달 방식

강의실, 라이브 또는 가상 수업

기간

3일

이 과정에서는 다음 내용을 교육합니다.

  • 빅 데이터 에코시스템에 적합한 AWS 솔루션.
  • Amazon EMR의 컨텍스트에서 Apache 하둡 사용.
  • Amazon EMR 클러스터의 구성 요소 파악.
  • Amazon EMR 클러스터 시작 및 구성.
  • Hive, Pig, 스트리밍을 비롯해 Amazon EMR에 사용 가능한 일반적인 프로그래밍 프레임워크 사용.
  • Hue를 사용해 Amazon EMR의 사용 편이성을 개선.
  • Amazon EMR에서 Spark를 통해 인 메모리 분석 사용.
  • 적절한 AWS 데이터 스토리지 옵션 선택.
  • 근 실시간 빅 데이터 처리를 위해 Amazon Kinesis를 사용하는 이점 파악.
  • Amazon Redshift를 사용해 데이터를 효과적으로 저장 및 분석.
  • 빅 데이터 솔루션의 비용과 보안을 이해하고 관리.
  • 데이터 수집, 전송, 압축 옵션 파악.
  • Amazon Athena를 활용하여 임시 쿼리 분석.
  • AWS Glue를 활용하여 ETL 워크로드를 자동화.
  • 시각화 소프트웨어를 사용해 Amazon QuickSight로 데이터와 쿼리를 표시.
  • AWS Data Pipeline을 사용하여 빅 데이터 워크플로를 오케스트레이션.

본 교육 과정의 대상은 다음과 같습니다.

  • 솔루션스 아키텍트 및 시스템 운영 관리자와 같이 빅 데이터 솔루션의 설계 및 구현에 책임이 있는 개인
  • AWS 기반 빅 데이터 솔루션 뒤에 있는 서비스와 아키텍처 패턴을 배우는 데 관심이 있는 데이터 과학자와 데이터 애널리스트

이 과정을 수강하려면 다음 사전 조건을 갖추는 것이 좋습니다.

본 과정은 다음 방법을 통해 전달됩니다.

  • 강의식 교육(ILT)
  • 실습

이 과정에서는 다양한 실습을 통해 새로운 기술을 테스트하고 지식을 실무 환경에 적용해 봅니다.

참고: 과정 개요는 해당 강의가 제공되는 지역 및 언어에 따라 내용이 조금씩 다를 수 있습니다.

1일

  • 빅 데이터 개요
  • 수집
  • 빅 데이터 스트리밍 및 Amazon Kinesis
  • Amazon Kinesis를 사용해 Apache Server 로그를 스트리밍 및 분석
  • 스토리지 솔루션
  • Amazon Athena를 사용해 로그 데이터 분석
  • Apache 하둡 및 Amazon EMR 소개

2일

  • Amazon Elastic MapReduce 사용
  • DynamoDB에 데이터 저장 및 쿼리
  • 하둡 프로그래밍 프레임워크
  • Amazon EMR에서 Hive를 사용해 서버 로그 처리
  • Hue를 이용해 Amazon EMR 경험 간소화
  • Amazon EMR에서 Hue의 Pig 스크립트 실행
  • Amazon EMR에서 Spark 사용
  • Amazon EMR에서 Spark를 사용해 뉴욕 택시 데이터 세트를 처리

3일

  • AWS Glue를 사용해 ETL 워크로드를 자동화
  • Amazon Redshift 및 빅 데이터
  • 빅 데이터 시각화 및 오케스트레이션
  • Amazon EMR 비용 관리
  • 빅 데이터 솔루션 보호
  • 빅 데이터 설계 패턴
Big Data Thumbnail

aws.training으로 이동