Amazon EMR, Amazon Redshift, Amazon Kinesis, Amazon Athena 및 다른 AWS 빅 데이터 플랫폼을 활용하여 데이터를 처리하고 빅 데이터 환경을 만드는 방법을 배웁니다

AWS 기반 빅 데이터 과정에서는 Amazon EMR, Amazon Redshift, Amazon Kinesis, 그 외 AWS 빅 데이터 플랫폼 등 클라우드 기반 빅 데이터 솔루션을 소개합니다. 이 과정에서는 Amazon EMR에서 Hive 및 Hue와 같이 폭넓은 하둡 도구 에코시스템을 사용해 데이터를 처리하는 방법을 보여줍니다. 또한, 빅 데이터 환경을 생성하고, Amazon DynamoDB, Amazon Redshift, Amazon Quicksight, Amazon Athena 및 Amazon Kinesis로 작업하며, 모범 사례를 활용해 안전하고 비용 효율적인 빅 데이터 환경을 설계하는 방법을 배웁니다.

수준

중급

전달 방식

강의식, 라이브 또는 가상 수업

기간

3일

이 과정에서는 다음 내용을 교육합니다.

  • 빅 데이터 에코시스템 안에 AWS 솔루션 설치.
  • Amazon EMR의 컨텍스트에서 Apache 하둡 사용.
  • Amazon EMR 클러스터의 구성 요소 파악.
  • Amazon EMR 클러스터 시작 및 구성.
  • Hive, Pig, 스트리밍을 비롯해 Amazon EMR에 사용 가능한 일반적인 프로그래밍 프레임워크 사용.
  • Hue를 사용해 Amazon EMR의 사용 편이성을 개선.
  • Amazon EMR에서 Spark를 통해 인 메모리 분석 사용.
  • 적절한 AWS 데이터 스토리지 옵션 선택.
  • 근 실시간 빅 데이터 처리를 위해 Amazon Kinesis를 사용하는 이점 파악.
  • Amazon Redshift를 사용해 데이터를 효과적으로 저장 및 분석.
  • 빅 데이터 솔루션의 비용과 보안을 이해하고 관리.
  • 빅 데이터 솔루션 보안.
  • 데이터 수집, 전송, 압축 옵션 파악.
  • Amazon Athena를 활용하여 임시 쿼리 분석.
  • Amazon QuickSight로 데이터와 쿼리를 표시하기 위해 시각화 소프트웨어 사용.
  • AWS Data Pipeline을 사용하여 빅 데이터 워크플로 오케스트레이션.

본 교육 과정의 대상은 다음과 같습니다.

  • 솔루션스 아키텍트와 같이 빅 데이터 솔루션의 설계 및 구현을 담당하는 개인
  • AWS 기반 빅 데이터 솔루션 뒤에 있는 서비스와 아키텍처 패턴을 배우는 데 관심이 있는 데이터 과학자와 데이터 애널리스트

이 과정을 수강하려면 다음 사전 조건을 갖추는 것이 좋습니다.

본 과정은 다음 방법을 통해 전달됩니다.

  • 강의식 교육(ILT)
  • 실습

이 과정에서는 다양한 실습을 통해 새로운 기술을 테스트하고 지식을 실무 환경에 적용해 봅니다.

참고: 과정 개요는 해당 강의가 제공되는 지역 및 언어에 따라 내용이 조금씩 다를 수 있습니다.

1일

  • 빅 데이터 개요
  • 빅 데이터 수집 및 전송
  • 빅 데이터 스트리밍 및 Amazon Kinesis
  • 실습 1: Amazon Kinesis를 사용하여 Apache 서버 로그 데이터를 스트림 및 분석
  • 빅 데이터 스토리지 솔루션
  • 빅 데이터 처리 및 분석
  • 실습 2: Amazon Athena를 사용하여 Amazon S3의 로그 데이터 쿼리

2일

  • Apache 하둡 및 Amazon EMR
  • 실습 3: Amazon DynamoDB에 데이터 저장 및 쿼리
  • Amazon EMR 사용
  • 하둡 프로그래밍 프레임워크
  • 실습 4: Amazon EMR에서 Hive를 사용하여 서버 로그 처리
  • Amazon EMR의 웹 인터페이스
  • 실습 5: Amazon EMR에서 Hue를 사용하여 Pig 스크립트 실행
  • Amazon EMR 기반 Apache Spark
  • 실습 6: Amazon EMR에서 Spark를 사용하여 NY 택시 데이터 처리

3일

  • Amazon Redshift 및 빅 데이터
  • 빅 데이터 시각화 및 오케스트레이션
  • 실습 7: TIBCO Spotfire를 사용하여 데이터 시각화
  • 빅 데이터 비용 관리
  • Amazon 배포 보안
  • 빅 데이터 설계 패턴
Big Data Thumbnail

aws.training으로 이동