동영상 : A Technical Introduction to Amazon EMR(AWS re:Invent, 2015년 10월, 총: 50분)

Amazon EMR은 AWS 기반 Apache Hadoop, Apache Spark, Presto 등의 데이터 처리 프레임워크를 비용 효율적으로 안전하고 용이하게 실행하는 관리형 프레임워크를 제공합니다. 이 프레젠테이션에서는 이러한 클라우드 기반 프레임워크를 실행하는 핵심 설계 원칙과 Amazon EMR이 제공하는 기능 세트를 설명합니다. 컴퓨팅 및 스토리지 결합 해제의 장점과 클라우드가 제공하는 규모 및 병렬 처리의 저비용 활용 전략에 대해 논의합니다. 또한 AOL의 수석 소프트웨어 엔지니어로부터 이러한 전략을 활용해 하둡 워크로드를 AWS 클라우드로 마이그레이션한 방법과 그 과정에서 얻은 교훈에 대해 듣습니다.

 

동영상: Amazon EMR, Deep Dive and Best Practices(AWS re:Invent, 2015년 10월, 총: 49분)

이 프레젠테이션에서는 장기 및 단기 클러스터를 활용해 HDFS 대신 Amazon S3를 사용하는 등의 Amazon EMR 설계 패턴과 기타 Amazon EMR 아키텍처 모범 사례를 소개합니다. 클러스터를 동적으로 확장 또는 축소하는 방법을 설명하고 클러스터를 미세 조정할 수 있는 방법을 소개합니다. 또한 Amazon EMR 클러스터를 비용 효율적으로 유지할 수 잇는 모범 사례를 공유합니다. 마지막으로 당사의 최신 기능을 파악할 수 있도록 몇몇 최근 버전을 자세히 알아봅니다.

  1. 데이터 처리 애플리케이션을 개발합니다. Java, Hive(유사 SQL 언어), Pig(데이터 처리 언어), Cascading, Ruby, Perl, Python, R, PHP, C++ 또는 Node.js를 사용할 수 있습니다. Amazon EMR은 사용자가 빠르게 시작 및 실행할 수 있도록 코드 샘플과 자습서를 제공합니다.
  2. Amazon S3에 애플리케이션과 데이터를 업로드합니다. 업로드할 데이터가 많은 경우 AWS Import/Export Snowball(물리적 스토리지 디바이스를 사용해 데이터 업로드) 또는 AWS Direct Connect(데이터 센터에서 AWS로 연결되는 전용 네트워크 연결 구성)를 사용할 수 있습니다. 원하는 경우 실행 중인 클러스터에 직접 데이터를 쓸 수도 있습니다.
  3. 클러스터를 구성하고 시작합니다. AWS Management Console, AWS CLI, SDK 또는 API를 사용하여 클러스터에서 프로비저닝할 Amazon EC2 인스턴스의 수, 사용할 인스턴스의 유형(표준, 고용량 메모리, 고성능 CPU, 고성능 I/O 등), 설치할 애플리케이션(Hive, Pig, HBase 등), 애플리케이션 및 데이터의 위치를 지정합니다. 부트스트랩 작업을 사용하여 추가 소프트웨어를 설치하거나 기본 설정을 변경할 수 있습니다.
  4. 클러스터를 모니터링합니다(선택 사항). Management Console, 명령줄 인터페이스, SDK 또는 API를 사용하여 클러스터의 상태와 진행 상태를 모니터링할 수 있습니다. EMR을 Amazon CloudWatch와 통합하여 모니터링하거나 경보를 실행하고 Ganglia와 같은 인기 있는 모니터링 도구를 지원합니다. 언제든지 클러스터에 용량을 추가하거나 제거하여 더 많은 데이터 또는 더 적은 데이터를 처리할 수 있습니다. 문제 해결을 위해 콘솔의 간단한 디버깅 GUI를 사용할 수 있습니다.
  5. 출력을 가져옵니다. 클러스터의 Amazon S3 또는 HDFS에서 출력을 가져옵니다. Tableau 및 MicroStrategy와 같은 도구를 사용해 데이터를 시각화합니다. 처리가 완료되면 Amazon EMR이 자동으로 클러스터를 종료합니다. 또는 클러스터를 계속 실행하여 더 많은 작업을 처리하게 할 수 있습니다.

첫 번째 클러스터를 시작할 준비가 되었습니까?

Amazon EMR Management Console을 사용하여 클러스터를 시작하려면 여기를 클릭하십시오. 샘플 데이터가 있는 샘플 애플리케이션을 실행하려면, Create Cluster 페이지에서 Advanced cluster configuration으로 이동하여 오른쪽 위에 있는 회색 "Configure Sample Application" 버튼을 클릭하십시오.

단계별 문서화된 자습서를 참조하려면 여기를 클릭하십시오. 본 자습서에는 텍스트 파일에서 단어 빈도수를 세는 클러스터를 생성하는 방법이 설명되어 있습니다.

Amazon EMR 시작하기

무료 계정 생성

도움이 필요하십니까? 문의해 주십시오!

EMR 애플리케이션의 개념 증명 구축과 튜닝을 원하십니까? AWS에는 EMR에 특화된 글로벌 지원 팀이 있습니다.  단기(2~6주) 유료 지원 서비스에 대한 자세한 내용을 원하시면 AWS에 문의해 주십시오.

AWS 기반 빅 데이터 과정은 빅 데이터 워크로드에 Amazon Web Services를 어떻게 사용하는지 실습 활동을 통해 교육을 진행하도록 고안되어 있습니다. AWS에서는 Pig와 Hive 같은 하둡 도구의 광범위한 에코시스템을 사용하여 데이터를 처리할 수 있도록 Amazon EMR 작업을 실행하는 방법을 보여 드립니다. 또한, Amazon DynamoDB와 Amazon Redshift로 작업하여 클라우드에서 빅 데이터 환경을 구축하는 방법, Amazon Kinesis의 장점, 분석/보안/비용 효과적인 빅 데이터 환경을 설계하도록 모범 사례를 활용하는 방법을 알려줍니다.  빅 데이터 과정에 대한 자세한 내용을 보려면 여기를 클릭하십시오.

하루 1TB 보다 많은 양을 처리할 계획이라면 EMR 전문가인 AWS 솔수션스 아키텍트가 진행하는 현장 개념 입증 및 지식 전달 워크숍인 EMR 부트 캠프에 참가할 수 있습니다.  자세한 내용을 보려면 여기를 클릭하거나, AWS에 문의해 주시기 바랍니다.

Scale Unlimited는 EMR을 비롯한 빅 데이터 기술 사용법을 빠르게 익혀야 하는 회사를 대상으로 맞춤식 현장 교육을 제공합니다.  자세한 내용을 보려면 여기를 클릭하십시오.