프로젝트 시작하기

5단계  |  60분

Analyze_Big_Data_HERO-ART_SM

Q: Amazon EMR이란 무엇입니까?

Amazon EMR은 Apache Spark, Presto, Hbase, Hive 등과 같은 인기 있는 빅 데이터 프레임워크의 최신 버전을 완전히 사용자 지정 가능한 클러스터에서 실행할 수 있게 해주는 관리형 하둡 서비스입니다. Amazon EMR에서는 클러스터의 구성과 클러스터에 설치하는 소프트웨어를 사용자가 모두 제어할 수 있습니다.

Q: Amazon EMR로 어떤 작업을 할 수 있습니까?

Amazon EMR을 사용하면 하둡이나 Spark와 같이 널리 사용되는 오픈 소스 프레임워크를 규모에 구애받지 않고 원하는 용량으로 즉시 프로비저닝하여 데이터 집약적 작업을 수행할 수 있습니다. 일반 사용 사례로는 웹 인덱싱, 데이터 마이닝, 로그 파일 분석, ETL(Extract-Transform-Load), 기계 학습, 금융 분석, 과학적 시뮬레이션 및 생물 정보학 연구를 들 수 있습니다. Amazon EMR을 사용하면 시간이 걸리는 하둡 클러스터의 설정, 관리 또는 튜닝 작업이나 컴퓨팅 파워에 대해 걱정하지 않고, 데이터를 빠르게 처리 또는 분석하는 데 집중할 수 있습니다.

Amazon EMR은 대용량 데이터의 빠르고 효율적인 처리가 필요한 작업에 이상적입니다. 이 웹 서비스 인터페이스를 통해 처리 워크플로를 구축하고 실행 중인 클러스터의 진행 상태를 프로그래밍 방식으로 모니터링할 수 있습니다. 또한, AWS Management Console의 간단한 웹 인터페이스를 사용하여 클러스터를 시작하고 처리 중심의 컴퓨팅을 모니터링할 수 있습니다.

Q: 이 프로젝트를 사용하여 자체 로그를 분석할 수 있습니까?

예. 자체 데이터 로그를 Amazon S3 버킷에 업로드하고 유사한 클러스터를 사용하여 자체 데이터에 대한 쿼리를 실행할 수 있습니다. 하지만 이 프로젝트는 프로덕션 환경을 대상으로 하고 있지 않음을 유념하십시오.

Q: Amazon S3에 내 데이터를 저장하려면 어떻게 해야 합니까?
AWS Management Console을 사용하면 쉽고 안전하게 버킷을 만들고, 객체를 업로드하며, 액세스 제어를 설정할 수 있습니다. Amazon S3 시작 안내서에서는 Amazon S3에서 AWS Management Console을 사용하는 방법을 보여 줍니다.

또한, Amazon S3는 다른 다양한 AWS 서비스 및 타사 커넥터와 통합되므로 클라우드에서 데이터를 송수신하는 데 도움이 됩니다. 클라우드 데이터 마이그레이션 도구에 대해 자세히 알아보십시오.

Q: 저장된 데이터는 얼마나 안전합니까?

Amazon S3는 기본적으로 안전합니다. 버킷 및 객체 소유자만이 본인이 만든 Amazon S3 리소스에 액세스할 수 있습니다. Amazon S3는 데이터에 대한 액세스를 제어하기 위해 사용자 인증을 지원합니다. HTTPS 프로토콜을 사용하여 SSL 엔드포인트를 통해 Amazon S3에 데이터를 안전하게 업로드/다운로드할 수 있습니다. IAM 사용자 및 역할과 같은 AWS Identity and Access Management(IAM) 도구를 사용하여 액세스와 권한을 제어할 수 있습니다. 예를 들어, 특정 사용자에게 클러스터에 대한 읽기 권한을 부여하되, 쓰기 권한은 허용하지 않을 수 있습니다. 또한, Amazon EMR 보안 구성을 사용하여 Amazon S3 암호화에 대한 지원을 비롯한 다양한 저장 및 전송 암호화 옵션을 설정할 수 있습니다. 클러스터에 대한 액세스 제어Amazon EMR 암호화에 대해 자세히 알아보십시오.

프로젝트 시작하기