Comece a usar o projeto

5 etapas  |  60 minutos

Analyze_Big_Data_HERO-ART_SM

O Amazon EMR é um serviço gerenciado que permite executar o Apache Hadoop e o Spark com rapidez, facilidade e economia para processar vastas quantidades de dados. O Amazon EMR é compatível com ferramentas poderosas e comprovadas do Hadoop, como Presto, Hive, Pig e HBase, entre outras. Neste projeto, você implantará um cluster do Hadoop, totalmente funcional e pronto para analisar dados de log, em apenas alguns minutos. Para começar, você lançará um cluster do Amazon EMR e usará um script do HiveQL para processar dados de log de amostra armazenados em um bucket do Amazon S3. O HiveQL é uma linguagem de scripts semelhante ao SQL para armazéns e análises de dados. Você poderá usar uma configuração similar para analisar seus próprios arquivos de log.

aws-project_analyze-big-data_diagram
Comece o projeto

Você realizará as seguintes atividades:

Lançar um cluster do Hadoop totalmente funcional usando o Amazon EMR.

Definir o schema e criar uma tabela para os dados de log de amostra armazenados no Amazon S3.

Analisar os dados usando um script do HiveQL e gravar os resultados no Amazon S3.

Fazer o download dos dados e visualizá-los no computador.

O que você precisará antes de começar:

Uma conta da AWS: você precisará de uma conta da AWS para começar a provisionar os recursos que hospedarão o site. Cadastre-se na AWS.

Experiência em TI: é recomendado, mas não obrigatório, ter experiência anterior com o Hadoop para concluir o projeto.

Experiência em AWS: é recomendado, mas não obrigatório, ter familiaridade básica com o Amazon S3 e os pares de chave do Amazon EC2 para concluir o projeto.

Estimativas de cobrança:

Custo para concluir o projeto: o custo estimado para concluir o projeto é 1,05 USD. Esse custo supõe que você estará dentro dos limites do nível gratuito da AWS, seguirá as configurações recomendadas e encerrará todos os recursos usados no projeto uma hora depois de criá-los. O seu caso de uso pode exigir configurações diferentes, que poderão afetar a cobrança. Use a calculadora mensal para estimar os custos de acordo com suas necessidades.

Estimativa de cobrança mensal: o custo total desse projeto variará em função do uso e das configurações. Usando a configuração recomendada neste guia, o custo normal do projeto será 769 USD/mês. A definição de preço da AWS é baseada no uso de cada serviço individual. O uso combinado total de todos os serviços criará a cobrança mensal. Explore as guias abaixo para saber o que cada serviço faz e como ele afeta a sua cobrança. Para obter uma descrição detalhada dos serviços usados e de seus custos associados, consulte Serviços usados e custos.


Saiba mais sobre as soluções de big data na AWS e inscreva-se em um webinar.

Saiba mais sobre os recursos, os benefícios e os principais casos de uso do Amazon EMR.

Precisa de mais recursos para começar a usar a AWS? Acesse o Centro de recursos de conceitos básicos para saber mais.