O Apache™ Hadoop® é um projeto de software de código aberto que pode ser usado para processar de modo eficiente grandes conjuntos de dados. Em vez de usar um grande computador para processar e armazenar os dados, o Hadoop permite o agrupamento de hardware padrão em clusters para analisar em paralelo grandes conjuntos de dados.
Existem vários aplicativos e mecanismos de execução no ecossistema do Hadoop, o que disponibiliza várias ferramentas compatíveis com as necessidades das suas cargas de trabalho de análise. O Amazon EMR facilita a criação e o gerenciamento de clusters elásticos totalmente configurados de instâncias do Amazon EC2 executando o Hadoop e outros aplicativos no ecossistema do Hadoop.
O termo Hadoop comumente se refere ao projeto Apache Hadoop em si, que inclui o MapReduce (estrutura de execução), o YARN (gerente de recursos) e o HDFS (armazenamento distribuído). O Amazon EMR também inclui o EMRFS, um conector que permite que o Hadoop use o Amazon S3 como uma layer de armazenamento.
No entanto, também existem outros aplicativos e outras estruturas no ecossistema do Hadoop, como ferramentas que permitem consultas de baixa latência, GUIs para consultas interativas, várias interfaces (como SQL) e bancos de dados NoSQL distribuídos. O ecossistema do Hadoop inclui várias ferramentas de código aberto, projetadas para criar funcionalidade adicional nos principais componentes do Hadoop. É possível usar o Amazon EMR para instalar e configurar ferramentas facilmente, como Hive, Pig, Hue, Ganglia, Oozie e HBase, no seu cluster. Você também pode executar outras estruturas, como o Apache Spark, para processamento na memória, ou o Presto, para SQL interativo, além do Hadoop no Amazon EMR.
O Amazon EMR instala e configura de modo programático aplicativos no projeto Hadoop, como o Hadoop MapReduce, o YARN e o HDFS, nos nós do seu cluster. Você também pode selecionar aplicativos adicionais, como Hive e Pig para instalação.
O Hadoop MapReduce, um mecanismo de execução no Hadoop, processa cargas de trabalho usando a estrutura do MapReduce, que divide os trabalhos em componentes menores que podem ser distribuídos entre os nós no seu cluster do Amazon EMR. O mecanismo do Hadoop MapReduce foi criado considerando que qualquer máquina no seu cluster pode falhar, a qualquer momento, e foi projetado com tolerância a falhas. Se um servidor executando uma tarefa falhar, o Hadoop reexecuta essa tarefa em outra máquina até sua conclusão.
Você pode escrever programas do MapReduce em Java. Também é possível usar o Hadoop Streaming para executar scripts personalizados de modo paralelo, Hive e Pig (se você optar por instalar esses aplicativos no seu cluster do Amazon EMR) para abstrações de nível mais alto no MapReduce ou outras ferramentas para interagir com o Hadoop.
A partir do Hadoop 2, o gerenciamento de recursos é feito pelo Yet Another Resource Negotiator (YARN). O YARN monitora todos os recursos no cluster, e garante que esses recursos sejam alocados de modo dinâmico para realizar as tarefas no trabalho de processamento. O YARN é capaz de gerenciar as cargas de trabalho do Hadoop MapReduce tão bem quanto outras estruturas distribuídas, como o Apache Spark, o Apache Tez e muito mais.
Ao usar o EMR File System (EMRFS) no cluster do Amazon EMR, é possível utilizar o Amazon S3 como a layer de dados do Hadoop. O Amazon S3 é altamente escalável, de baixo custo e projetado para durabilidade, o que o torna um datastore excelente para o processamento de big data. Ao armazenar dados no Amazon S3, você pode desassociar a layer de computação da layer de armazenamento, o que permite dimensionar o cluster do Amazon EMR de acordo com o volume de CPU e memória exigido para as suas cargas de trabalho, em vez de ter nós adicionais no cluster para maximizar o armazenamento nele. Além disso, você pode encerrar o cluster do Amazon EMR quando ele estiver inativo para economizar custos, enquanto seus dados permanecem no Amazon S3.
O EMRFS é otimizado para o Hadoop para ler e gravar diretamente em paralelo com o Amazon S3 apresentando bom desempenho, além de poder processar objetos criptografados com criptografia no lado do servidor e do cliente do Amazon S3. O EMRFS permite que você use o Amazon S3 como seu data lake, e o Hadoop no Amazon EMR pode ser usado como uma layer de consulta elástica.
O Hadoop também inclui um sistema de armazenamento distribuído, o Hadoop Distributed File System (HDFS), que armazena dados em discos locais do cluster em grandes blocos. O HDFS tem um fator de replicação configurável (com um padrão de 3 vezes), o que proporciona mais disponibilidade e durabilidade. O HDFS monitora a replicação e balanceia dados nos nós, conforme os nós forem falhando e outros novos forem adicionados.
O HDFS é instalado automaticamente com o Hadoop no cluster do Amazon EMR, e é possível usá-lo junto com o Amazon S3 para armazenar dados de entrada e saída. Além disso, o Amazon EMR configura o Hadoop para usar o HDFS e o disco local para dados intermediários criados durante os trabalhos do Hadoop MapReduce, mesmo se os dados de entrada estiverem localizados no Amazon S3.
Você pode inicializar um novo cluster do Hadoop de modo dinâmico e rápido ou adicionar servidores ao cluster do Amazon EMR atual, o que reduz bastante o tempo necessário para disponibilizar recursos para os seus usuários e cientistas de dados. O uso do Hadoop na plataforma da AWS pode aumentar drasticamente sua agilidade organizacional ao diminuir o custo e o tempo necessários para alocar recursos para testes e desenvolvimento.
A configuração, as redes, a instalação do servidor e a manutenção administrativa contínua do Hadoop podem ser atividades complicadas e desafiadoras. Como serviço gerenciado, o Amazon EMR se encarrega dos requisitos de infraestrutura do Hadoop para que você possa concentrar-se nas suas principais atividades empresariais.
Você pode facilmente integrar o ambiente do Hadoop a outros serviços, como o Amazon S3, o Amazon Kinesis, o Amazon Redshift e o Amazon DynamoDB, além do Amazon EMR, para permitir movimentação de dados, fluxos de trabalho e análise entre os diversos serviços na plataforma da AWS.
Por definição, muitos trabalhos do Hadoop atingem picos. Por exemplo, um trabalho do ETL pode ser executado por hora, dia ou mês, enquanto trabalhos de modelagem para empresas financeiras ou de sequenciamento genético podem ocorrer apenas algumas vezes ao ano. O uso do Hadoop no Amazon EMR permite que você inicialize esses clusters de carga de trabalho facilmente, salve os resultados e encerre os recursos do Hadoop quando eles não forem mais necessários para evitar custos de infraestrutura desnecessários.
Ao usar o Hadoop no Amazon EMR, você tem a flexibilidade de executar clusters em qualquer número de zonas de disponibilidade em todas as regiões da AWS. Um possível problema ou ameaça em uma região ou zona pode ser facilmente contornado ao executar em minutos um cluster em outra zona.
O planejamento da capacidade antes da implantação de um ambiente do Hadoop com frequência resulta em recursos inativos dispendiosos ou limitações de recursos. Com o Amazon EMR, você pode alocar a capacidade necessária e aumentar ou diminuir a escala vertical, conforme for exigido, em apenas alguns minutos.
Mais comumente, o Hadoop é usado para processar cargas de trabalho de big data por ser altamente escalável. Para aumentar a capacidade de processamento do cluster do Hadoop, adicione mais servidores com os recursos de CPU e memória de que você precisa para atender às suas necessidades.
O Hadoop proporciona um alto nível de durabilidade e disponibilidade, enquanto continua processando em paralelo cargas de trabalho analíticas computacionais. A combinação de disponibilidade, durabilidade e escalabilidade de processamento torna o Hadoop a escolha ideal para cargas de trabalho de big data. É possível usar o Amazon EMR para criar e configurar um cluster de instâncias do Amazon EC2 em execução no Hadoop em minutos, e começar a derivar valor dos seus dados.
O Hadoop pode ser usado para analisar dados de sequência de cliques para segmentar usuários e entender suas preferências. Os publicitários também podem analisar as sequências de cliques e publicar registros de impressão para oferecer anúncios mais eficazes.
Saiba como a Razorfish usa o Hadoop no Amazon EMR para a análise de sequência de cliques »
O Hadoop pode ser usado para processar logs gerados por aplicativos móveis e da web. O Hadoop ajuda os clientes a transformar petabytes de dados não estruturados ou semi-estruturados em percepções úteis sobre seus aplicativos ou usuários.
Saiba como a Yelp usa o Hadoop no Amazon EMR para determinar os principais recursos do site »
Os aplicativos do ecossistema do Hadoop, como Hive, permitem que os usuários utilizem o Hadoop MapReduce usando uma interface SQL, o que possibilita a análise em uma grande escala distribuída, além de data warehousing tolerante a falhas. Use o Hadoop para armazenar dados e permitir que os usuários enviem consultas de dados de qualquer tamanho.
O Hadoop pode ser usado para processar grandes quantidades de dados de genoma e outros grandes conjuntos de dados científicos de maneira rápida e eficaz. A AWS disponibilizou publicamente os dados do projeto 1000 Genomes para a comunidade de forma gratuita.
Graças à sua grande escalabilidade e aos seus custos reduzidos, o Hadoop é ideal para cargas de trabalho de ETL comuns, como a coleta, a classificação, a junção e a agregação de grandes conjuntos de dados, para que sejam consumidas mais facilmente por sistemas de downstream.
Leia sobre como o Euclid usa o Hadoop no Amazon EMR para ETL e agregação de dados »
Apache e Hadoop são marcas registradas da Apache Software Foundation.