O Apache™ Hadoop® é um projeto de software de código aberto que pode ser usado para processar de modo eficiente grandes conjuntos de dados. Em vez de usar um grande computador para processar e armazenar os dados, o Hadoop permite o agrupamento de hardware padrão em clusters para analisar em paralelo grandes conjuntos de dados.

Existem vários aplicativos e mecanismos de execução no ecossistema do Hadoop, o que disponibiliza várias ferramentas compatíveis com as necessidades das suas cargas de trabalho de análise. O Amazon EMR facilita a criação e o gerenciamento de clusters elásticos totalmente configurados de instâncias do Amazon EC2 executando o Hadoop e outros aplicativos no ecossistema do Hadoop.

Ilustração: Clustering do AWS Hadoop

O termo Hadoop comumente se refere ao projeto Apache Hadoop em si, que inclui o MapReduce (estrutura de execução), o YARN (gerente de recursos) e o HDFS (armazenamento distribuído). Você também pode instalar o Apache Tez, uma estrutura de próxima geração que pode ser usada em vez do Hadoop MapReduce como um mecanismo de execução.  O Amazon EMR também inclui o EMRFS, um conector que permite que o Hadoop use o Amazon S3 como uma camada de armazenamento.

No entanto, também existem outros aplicativos e outras estruturas no ecossistema do Hadoop, como ferramentas que permitem consultas de baixa latência, GUIs para consultas interativas, várias interfaces (como SQL) e bancos de dados NoSQL distribuídos. O ecossistema do Hadoop inclui várias ferramentas de código aberto, projetadas para criar funcionalidade adicional nos principais componentes do Hadoop. É possível usar o Amazon EMR para instalar e configurar ferramentas facilmente, como Hive, Pig, Hue, Ganglia, Oozie e HBase, no seu cluster. Você também pode executar outras estruturas, como o Apache Spark, para processamento na memória, ou o Presto, para SQL interativo, além do Hadoop no Amazon EMR.

O Amazon EMR instala e configura de modo programático aplicações no projeto do Hadoop, como o Hadoop MapReduce, o YARN e o HDFS, nos nós do seu cluster. No entanto, ao começar a usar o Amazon EMR versão 5.x, o Hive e o Pig, use o Apache Tez em vez do Hadoop MapReduce como mecanismo de execução.

O Hadoop MapReduce e o Tez, que são mecanismos de execução no ecossistema do Hadoop, processam cargas de trabalho usando estruturas que dividem os trabalhos em itens menores, os quais podem ser distribuídos entre os nós no seu cluster do Amazon EMR. Eles foram criados supondo que qualquer máquina no seu cluster possa falhar a qualquer momento, além de ter sido projetado com tolerância a falhas. Se um servidor executando uma tarefa falhar, o Hadoop reexecutará essa tarefa em outra máquina até a sua conclusão.

Você pode escrever programas do MapReduce e do Tez em Java, usar o Hadoop Streaming para executar scripts personalizados em paralelo, utilizar o Hive e o Pig para abstrações de nível superior no MapReduce e no Tez, ou outras ferramentas para interagir com o Hadoop.

A partir do Hadoop 2, o gerenciamento de recursos é feito pelo Yet Another Resource Negotiator (YARN). O YARN monitora todos os recursos no cluster, e garante que esses recursos sejam alocados de modo dinâmico para realizar as tarefas no trabalho de processamento. O YARN pode gerenciar as cargas de trabalho do Hadoop MapReduce e do Tez, como também de outras estruturas distribuídas, como o Apache Spark.

Ao usar o EMR File System (EMRFS) no cluster do Amazon EMR, é possível utilizar o Amazon S3 como a layer de dados do Hadoop. O Amazon S3 é altamente escalável, de baixo custo e projetado para durabilidade, o que o torna um datastore excelente para o processamento de big data. Ao armazenar dados no Amazon S3, você pode desassociar a layer de computação da layer de armazenamento, o que permite dimensionar o cluster do Amazon EMR de acordo com o volume de CPU e memória exigido para as suas cargas de trabalho, em vez de ter nós adicionais no cluster para maximizar o armazenamento nele. Além disso, você pode encerrar o cluster do Amazon EMR quando ele estiver inativo para economizar custos, enquanto seus dados permanecem no Amazon S3.

O EMRFS é otimizado para o Hadoop para ler e gravar diretamente em paralelo com o Amazon S3 apresentando bom desempenho, além de poder processar objetos criptografados com criptografia no lado do servidor e do cliente do Amazon S3. O EMRFS permite que você use o Amazon S3 como seu data lake, e o Hadoop no Amazon EMR pode ser usado como uma layer de consulta elástica.

O Hadoop também inclui um sistema de armazenamento distribuído, o Hadoop Distributed File System (HDFS), que armazena dados em discos locais do cluster em grandes blocos. O HDFS tem um fator de replicação configurável (com um padrão de 3 vezes), o que proporciona mais disponibilidade e durabilidade. O HDFS monitora a replicação e balanceia dados nos nós, conforme os nós forem falhando e outros novos forem adicionados.

O HDFS é instalado automaticamente com o Hadoop no cluster do Amazon EMR, e é possível usá-lo junto com o Amazon S3 para armazenar dados de entrada e saída. Você pode facilmente criptografar o HDFS usando uma configuração de segurança do Amazon EMR. Além disso, o Amazon EMR configura o Hadoop para usar o HDFS e o disco local para dados intermediários criados durante os trabalhos do Hadoop MapReduce, mesmo se os dados de entrada estiverem localizados no Amazon S3.

Ilustração: AWS – Como o Hadoop funciona
Benefícios do Hadoop na nuvem – Ícone de velocidade

Você pode inicializar um novo cluster do Hadoop de modo dinâmico e rápido ou adicionar servidores ao cluster do Amazon EMR atual, o que reduz bastante o tempo necessário para disponibilizar recursos para os seus usuários e cientistas de dados. O uso do Hadoop na plataforma da AWS pode aumentar drasticamente sua agilidade organizacional ao diminuir o custo e o tempo necessários para alocar recursos para testes e desenvolvimento.

Benefícios do Hadoop na nuvem – Ícone de redução de complexidade

A configuração, as redes, a instalação do servidor, a configuração de segurança e a manutenção administrativa contínua do Hadoop podem ser atividades complicadas e desafiadoras. Como serviço gerenciado, o Amazon EMR se encarrega dos requisitos de infraestrutura do Hadoop para que você possa concentrar-se nas suas principais atividades empresariais.

Benefícios do Hadoop na nuvem – Ícone de integração

Você pode integrar facilmente o ambiente do Hadoop a outros serviços, como o Amazon S3, o Amazon Kinesis, o Amazon Redshift e o Amazon DynamoDB para possibilitar movimentação, fluxos de trabalho e análises de dados entre os diversos serviços na plataforma da AWS. Além disso, você pode usar o catálogo de dados do AWS Glue como um repositório gerenciado de metadados para o Apache Hive e o Apache Spark.

Benefícios do Hadoop na nuvem – Ícone de economia de dinheiro

Por definição, muitos trabalhos do Hadoop atingem picos. Por exemplo, um trabalho do ETL pode ser executado por hora, dia ou mês, enquanto trabalhos de modelagem para empresas financeiras ou de sequenciamento genético podem ocorrer apenas algumas vezes ao ano. O uso do Hadoop no Amazon EMR permite que você inicialize esses clusters de carga de trabalho facilmente, salve os resultados e encerre os recursos do Hadoop quando eles não forem mais necessários para evitar custos de infraestrutura desnecessários.

Benefícios do Hadoop na nuvem – Ícone de disponibilidade

Ao usar o Hadoop no Amazon EMR, você tem a flexibilidade de executar clusters em qualquer número de zonas de disponibilidade em todas as regiões da AWS. Um possível problema ou ameaça em uma região ou zona pode ser facilmente contornado ao executar em minutos um cluster em outra zona.

Benefícios do Hadoop na nuvem – Ícone de flexibilidade

O planejamento da capacidade antes da implantação de um ambiente do Hadoop com frequência resulta em recursos inativos dispendiosos ou limitações de recursos. Com o Amazon EMR, é possível criar clusters com a capacidade exigida em minutos e usar o Auto Scaling para aumentar e reduzir a escala horizontal de modo dinâmico nos nós.

Mais comumente, o Hadoop é usado para processar cargas de trabalho de big data por ser altamente escalável. Para aumentar a capacidade de processamento do cluster do Hadoop, adicione mais servidores com os recursos de CPU e memória de que você precisa para atender às suas necessidades.

O Hadoop proporciona um alto nível de durabilidade e disponibilidade, enquanto continua processando em paralelo cargas de trabalho analíticas computacionais. A combinação de disponibilidade, durabilidade e escalabilidade de processamento torna o Hadoop a escolha ideal para cargas de trabalho de big data. É possível usar o Amazon EMR para criar e configurar um cluster de instâncias do Amazon EC2 em execução no Hadoop em minutos, e começar a derivar valor dos seus dados.

O Hadoop pode ser usado para analisar dados de sequência de cliques para segmentar usuários e entender suas preferências. Os publicitários também podem analisar as sequências de cliques e publicar registros de impressão para oferecer anúncios mais eficazes.

Saiba como a Razorfish usa o Hadoop no Amazon EMR para a análise de sequência de cliques »

O Hadoop pode ser usado para processar logs gerados por aplicativos móveis e da web. O Hadoop ajuda os clientes a transformar petabytes de dados não estruturados ou semi-estruturados em percepções úteis sobre seus aplicativos ou usuários.

Saiba como a Yelp usa o Hadoop no Amazon EMR para determinar os principais recursos do site »

Os aplicativos do ecossistema do Hadoop, como Hive, permitem que os usuários utilizem o Hadoop MapReduce usando uma interface SQL, o que possibilita a análise em uma grande escala distribuída, além de data warehousing tolerante a falhas. Use o Hadoop para armazenar dados e permitir que os usuários enviem consultas de dados de qualquer tamanho.

Veja como a Netflix usa o Hadoop no Amazon EMR para executar um data warehouse na escala de petabytes »

O Hadoop pode ser usado para processar grandes quantidades de dados de genoma e outros grandes conjuntos de dados científicos de maneira rápida e eficaz. A AWS disponibilizou publicamente os dados do projeto 1000 Genomes para a comunidade de forma gratuita.

Leia mais sobre genômica na AWS »

Graças à sua grande escalabilidade e aos seus custos reduzidos, o Hadoop é ideal para cargas de trabalho de ETL comuns, como a coleta, a classificação, a junção e a agregação de grandes conjuntos de dados, para que sejam consumidas mais facilmente por sistemas de downstream.

Leia sobre como o Euclid usa o Hadoop no Amazon EMR para ETL e agregação de dados »

 



Apache e Hadoop são marcas registradas da Apache Software Foundation.