동영상

A Technical Introduction to Amazon EMR(50:44)
Amazon EMR Deep Dive & Best Practices(49:12)

AWS 웹 세미나 소식 받기.

Amazon EMR 사용 방법

  1. 데이터 처리 애플리케이션을 개발합니다. Java, Hive(유사 SQL 언어), Pig(데이터 처리 언어), Cascading, Ruby, Perl, Python, R, PHP, C++ 또는 Node.js를 사용할 수 있습니다. Amazon EMR은 사용자가 빠르게 시작 및 실행할 수 있도록 코드 샘플과 자습서를 제공합니다.
  2. Amazon S3에 애플리케이션과 데이터를 업로드합니다. 업로드할 데이터가 많은 경우 AWS Import/Export Snowball(물리적 스토리지 디바이스를 사용해 데이터 업로드) 또는 AWS Direct Connect(데이터 센터에서 AWS로 연결되는 전용 네트워크 연결 구성)를 사용할 수 있습니다. 원하는 경우 실행 중인 클러스터에 직접 데이터를 쓸 수도 있습니다.
  3. 클러스터를 구성하고 시작합니다. AWS Management Console, AWS CLI, SDK 또는 API를 사용하여 클러스터에서 프로비저닝할 Amazon EC2 인스턴스의 수, 사용할 인스턴스의 유형(표준, 고용량 메모리, 고성능 CPU, 고성능 I/O 등), 설치할 애플리케이션(Hive, Pig, HBase 등), 애플리케이션 및 데이터의 위치를 지정합니다. 부트스트랩 작업을 사용하여 추가 소프트웨어를 설치하거나 기본 설정을 변경할 수 있습니다.
  4. 클러스터를 모니터링합니다(선택 사항). Management Console, 명령줄 인터페이스, SDK 또는 API를 사용하여 클러스터의 상태와 진행 상태를 모니터링할 수 있습니다. EMR을 Amazon CloudWatch와 통합하여 모니터링하거나 경보를 실행하고 Ganglia와 같은 주요 모니터링 도구를 지원합니다. 언제든지 클러스터에 용량을 추가하거나 제거하여 더 많은 데이터 또는 더 적은 데이터를 처리할 수 있습니다. 문제 해결을 위해 콘솔의 간단한 디버깅 GUI를 사용할 수 있습니다.
  5. 출력을 가져옵니다. 클러스터의 Amazon S3 또는 HDFS에서 출력을 가져옵니다. Tableau 및 MicroStrategy와 같은 도구를 사용해 데이터를 시각화합니다. 처리가 완료되면 Amazon EMR이 자동으로 클러스터를 종료합니다. 또는 클러스터를 계속 실행하여 더 많은 작업을 처리하게 할 수 있습니다.

첫 번째 클러스터를 실행할 준비가 되었습니까?

Amazon EMR Management Console을 사용하여 클러스터를 시작하려면 여기를 클릭하십시오. 샘플 데이터가 있는 샘플 애플리케이션을 실행하려면, [Create Cluster] 페이지에서 [Advanced cluster configuration]으로 이동하여 오른쪽 위에 있는 회색 [Configure Sample Application] 버튼을 클릭하십시오.

자습서

Spark

EC2에서 Apache Kafka를 설정하고, EMR 기반 Spark Streaming을 사용하여 Apache Kafka 주제로 수신되는 데이터를 처리하며, EMR 기반 Spark SQL을 사용하여 스트리밍 데이터를 쿼리하는 방법을 알아보십시오.

Spark 및 Amazon EMR을 모델링 워크플로에 사용한 Intent Media의 사례를 확인하십시오.

HBase

JDBC를 사용해 Phoenix에 연결하고, 기존 HBase 테이블에 대한 보기를 생성하고, 보조 인덱스를 생성해 읽기 성능을 강화하는 방법을 알아보십시오.

HBase를 사용하여 EMR 클러스터를 시작하고 Amazon S3의 스냅샷에서 테이블을 복원하는 방법을 알아보십시오.

Amazon Elastic MapReduce에서 실행되는 Hive 작업 흐름에 연결하여 안전하고 확장 가능한 보고 및 분석 플랫폼을 생성하는 방법을 알아보십시오.

Presto

Presto 클러스터를 설정하고 Airpal을 사용해 S3에 저장된 데이터를 처리하는 방법을 알아보십시오.

Hive

HBase를 사용하여 EMR 클러스터를 시작하고 Amazon S3의 스냅샷에서 테이블을 복원하는 방법을 알아보십시오.

Amazon Elastic MapReduce에서 실행되는 Hive 작업 흐름에 연결하여 안전하고 확장 가능한 보고 및 분석 플랫폼을 생성하는 방법을 알아보십시오.

이 자습서에서는 Apache Flink에서 Amazon EMR, Amazon Kinesis,Amazon Elasticsearch Service를 사용하는 일관적이고, 확장 가능하며, 안정적인 스트림 처리 파이프라인의 참조 아키텍처를 개괄적으로 설명합니다.

다른 자습서를 사용해 자신의 속도에 맞춰 학습할 수 있습니다.

교육 및 도움말

단기 서비스

EMR 애플리케이션의 개념 증명 구축과 튜닝을 원하십니까? AWS에는 EMR에 특화된 글로벌 지원 팀이 있습니다. 단기(2~6주) 유료 지원 서비스에 대한 자세한 내용을 원하시면 AWS에 문의해 주십시오.

AWS 빅 데이터 교육

AWS 기반 빅 데이터 과정은 빅 데이터 워크로드에 Amazon Web Services를 어떻게 사용하는지 실습 활동을 통해 교육을 진행하도록 고안되어 있습니다. AWS에서는 Pig와 Hive 같은 하둡 도구의 광범위한 에코시스템을 사용하여 데이터를 처리할 수 있도록 Amazon EMR 작업을 실행하는 방법을 보여 드립니다. 또한, Amazon DynamoDB와 Amazon Redshift로 작업하여 클라우드에서 빅 데이터 환경을 구축하는 방법, Amazon Kinesis의 장점, 분석/보안/비용 효과적인 빅 데이터 환경을 설계하도록 모범 사례를 활용하는 방법을 알려 줍니다. 빅 데이터 과정에 대한 자세한 내용을 보려면 여기를 클릭하십시오.

추가 교육

Scale Unlimited는 EMR을 비롯한 빅 데이터 기술 사용법을 빠르게 익혀야 하는 회사를 대상으로 맞춤식 현장 교육을 제공합니다. 자세한 내용을 보려면 여기를 클릭하십시오.

더 많은 Amazon EMR 리소스 검색

리소스 페이지로 이동하기
구축할 준비가 되셨습니까?
Amazon EMR 시작하기
추가 질문이 있으십니까?
문의처