Funcionalidade do Amazon Elastic MapReduce

O Amazon Elastic MapReduce automaticamente realiza uma implementação Hadoop do framework do MapReduce nas instâncias do Amazon EC2, subdividindo os dados de um fluxo de trabalho em partes menores para que possam ser processados (a função "mapa") paralelamente e, por fim, recombinando os dados processados na solução final (a função "reduzir"). O Amazon S3 atua como fonte dos dados que estão sendo analisados e como destino de saída dos resultados finais.

A utilização do Amazon Elastic MapReduce é simples:

• Desenvolva seu aplicativo de processamento de dados. O Amazon Elastic MapReduce permite que fluxos de trabalho sejam desenvolvidos por linguagens do tipo SQ, como Hive e Pig, facilitando a gravação de scripts analíticos de dados sem o conhecimento aprofundado do paradigma de desenvolvimento do MapReduce. Se desejar, aplicativos mais sofisticados podem ser construídos em sua escolha de Cascading, Java, Ruby, Perl, Python, PHP, R, ou C++. Há diversos tutoriais e amostras de código disponíveis no Guia de Introdução que irão auxiliá-lo a dominar seu uso rapidamente.

• Faça o upload de seus dados e de seu aplicativo de processamento para o Amazon S3. O Amazon S3 fornece armazenamento confiável, escalável e fácil de usar para seu dados de entrada e de saída.

• Faça login no AWS Management Console para iniciar um "fluxo de trabalho" do Amazon Elastic Map Reduce: Basta selecionar o número e o tipo de instâncias do Amazon EC2 que você deseja, especificar a localização dos dados e/ou aplicativos no Amazon S3 e, em seguida, clicar no botão "Create Job Flow (Criar fluxo de trabalho)". Ou também é possível iniciar um fluxo de trabalho especificando as mesmas informações mencionadas acima por meio das nossas Ferramentas de linha de comando ou APIs. Para cargas de trabalho mais sofisticadas, também é possível instalar o software adicional ou alterar as configurações de suas instâncias do Amazon EC2 usando o Bootstrap Actions.

• Monitore o progresso de seu(s) fluxo(s) de trabalho(s) diretamente do AWS Management Console, das ferramentas de linha de comando ou das APIs. Por fim, após o fluxo de trabalho ser concluído, recupere a saída pelo Amazon S3. Outra opção é rastrear o desempenho e identificar problemas nas etapas, tarefas, tentativas de trabalho ou nos trabalhos de seu fluxo de trabalho diretamente da janela de debug do fluxo de trabalho no AWS Management Console. O Amazon Elastic MapReduce usa o Amazon SimpleDB para armazenar informações do estado do fluxo de trabalho.

• Pague somente pelos recursos que você de fato utilizar. O Amazon Elastic MapReduce monitora seu fluxo de trabalho e, a não ser que você especifique o contrário, desliga suas instâncias do Amazon EC2 após o trabalho ser concluído.

Destaques do serviço

Elastic – O Amazon Elastic MapReduce permite que você use quantas instâncias de computação forem desejadas executando o Hadoop. Você pode comissionar um, centenas ou até milhares de instâncias para processar gigabytes, terabytes ou petabytes de dados. Você pode modificar o número de instâncias enquanto o fluxo de trabalho estiver sendo executado e poderá executar quantos fluxos de trabalho desejar simultaneamente. Você pode acionar imediatamente grandes fluxos de trabalho do Hadoop que iniciarão o processamento dentro de minutos, não horas ou dias. Quando o fluxo de trabalho for concluído, a menos que você especifique em contrário, o serviço decomporá automaticamente as instâncias.

Fácil de usar – Não é necessário se preocupar com a configuração, execução ou aprimoramento do desempenho dos clusters do Hadoop; em vez disso, você pode se concentrar na análise dos dados. Fornecemos ferramentas fáceis de usar e aplicativos de processamento de dados de exemplo que permitem que você acione e execute sem gravar uma linha única de código. Ao iniciar um fluxo de trabalho, o Amazon Elastic MapReduce lida com o provisionamento de instâncias do Amazon EC2, definições de segurança, configuração do Hadoop, coleta de logs, monitoramento do status e outras complexidades relacionadas ao hardware, como a remoção automática de instâncias com falha do fluxo de trabalho em execução.

Confiável – O Amazon Elastic MapReduce foi criado na infraestrutura altamente confiável da Amazon e aprimorou o desempenho do Hadoop especificamente para o ambiente da infraestrutura da Amazon. O serviço também monitora a execução do fluxo de trabalho, recuperando tarefas com falha, desativando instâncias problemáticas e provisionando novos nós para substituir aqueles que falharam.

Perfeitamente integrado a outros serviços da AWS – O Amazon Elastic MapReduce foi criado para ser facilmente integrado a outros serviços da AWS, como o Amazon S3, o DynamoDB e o EC2, fornecendo a infraestrutura para aplicativos de processamento de dados. O serviço executa fluxos de trabalho no Amazon EC2 e armazena dados de entrada e de saída no Amazon S3 e/ou no Amazon DynamoDB.

Seguro – O Amazon Elastic MapReduce configura automaticamente as definições de firewall do Amazon EC2 que controlam o acesso à rede e entre as instâncias que executam os fluxos de trabalho. Os fluxos de trabalho também podem ser iniciados no Amazon Virtual Private Cloud (Amazon VPC), o que permite que você isole suas instâncias computacionais, especificando a faixa de IP que você deseja usar e conectar à sua infraestrutura de TI existente usando o padrão da indústria VPN IPsec criptografado.

Econômico – O Amazon Elastic MapReduce transfere a você os benefícios financeiros da escala da Amazon. Você paga uma taxa muito baixa pela capacidade computacional que você realmente utilizar. O Amazon Elastic MapReduce foi otimizado para poupar seu dinheiro ao monitorar o andamento dos fluxos de trabalho e desativar os recursos quando um fluxo de trabalho for concluído.

• Instâncias On Demand – As Instâncias On Demand permitem que você pague pela capacidade de computação por hora sem compromissos de longo prazo. Isso exime você dos custos e das complexidades de planejamento, aquisição e manutenção de hardware e transforma o que normalmente são grandes custos fixos em custos variáveis muito menores. As Instâncias On-Demand também eliminam a necessidade de se comprar uma "rede de segurança" com capacidade de lidar com repiques de tráfego periódicos.
• Instâncias Reservadas – As Instâncias Reservadas fornecem a você a opção de fazer um pagamento baixo único para cada instância que deseja reservar e, em troca, você recebe um desconto significativo quanto ao encargo do uso por hora daquela instância. Após o pagamento único para uma instância, essa instância fica reservada para você e você não tem nenhuma outra obrigação; você pode optar por executar essa instância dentro da taxa de utilização com desconto enquanto durar sua vigência, ou quando você não utilizar a instância, você não será cobrado por sua utilização.
• Instâncias Spot – As Instâncias Spot permitem que você ofereça a capacidade não utilizada do Amazon EC2 e execute essas instâncias desde que a oferta ultrapasse o Preço Spot atual. O Preço Spot muda periodicamente com base no fornecimento e na demanda, e os clientes cujas ofertas atendem ou ultrapassam tal preço obtêm acesso às Instâncias Spot disponíveis, com frequência por um preço significativamente menor. Para obter mais informações, consulte a seção Instâncias Spot do Guia do Desenvolvedor do Amazon Elastic MapReduce. Para obter informações adicionais sobre as instâncias Spot, visite a página Instâncias Spot do Amazon EC2.

Várias localizações – O Amazon Elastic MapReduce usa uma infraestrutura do EC2 geograficamente dispersa e atualmente está disponível nas Regiões Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon), Oeste dos EUA (Norte da Califórnia), UE (Irlanda), Ásia-Pacífico (Cingapura), Ásia-Pacífico (Tóquio), Ásia-Pacífico (Sydney) e América do Sul (São Paulo).

Ferramentas de terceiros – O Amazon Elastic MapReduce está integrado em uma ampla gama de soluções e ferramentas de terceiros. O Karmasphere Analyst, por exemplo, é um espaço de trabalho visual e de mesa, para análise de dados no Amazon Elastic MapReduce. Ele fornece ferramentas gráficas para executar as consultas baseadas em SQL de dados estruturados e não estruturados e visualizar os resultados. O Karmasphere Analyst está disponível com preços por hora e nenhuma taxa inicial ou compromissos em longo prazo. Visite a página de detalhes do Elastic MapReduce com Karamasphere Analytics para saber mais.

Tipos de instância

Para usar o Amazon Elastic MapReduce, você precisa selecionar o tipo e a quantidade de instâncias do Amazon EC2 para incluir em seu fluxo de trabalho. O EMR é compatível com opções de definição de preço de instâncias on demand, reservadas e spot; se você tiver instâncias reservadas, elas serão usadas primeiro.

Instâncias padrão do Amazon EC2

Instâncias desta família são adequadas para a maioria dos aplicativos.

• 1,7 GB de memória de instância pequena (padrão), 1 unidade de processamento EC2* (1 núcleo virtual com 1 unidade de processamento EC2), 160 GB de armazenamento de instâncias, plataforma de 32 bits

• 7,5 GB de memória de instância grande, 4 unidades de processamento EC2* (2 núcleos virtuais com 2 unidades de processamento EC2 cada), 850 GB de armazenamento de instâncias, plataforma de 64 bits

• 15 GB de memória de instância extragrande, 8 unidades de processamento EC2* (4 núcleos virtuais com 2 unidades de processamento EC2 cada), 1.690 GB de armazenamento de instâncias, plataforma de 64 bits

Instâncias do Amazon EC2 com mais memória

Instâncias dessa família oferecem grandes tamanhos de memória para aplicativos de alta taxa de transferência, incluindo banco de dados e aplicativos de cache de memória.

• Instância extragrande com mais memória e 17,1 GB de memória, 6,5 unidades de processamento EC2* (2 núcleos virtuais com 3,25 unidades de processamento EC2 cada), 420 GB de armazenamento de instância local, plataforma de 64 bits
• 34,2 GB de memória de instância dupla extragrande com mais memória, 13 unidades de processamento EC2* (4 núcleos virtuais com 3,25 unidades de processamento EC2 cada), 850 GB de armazenamento de instâncias, plataforma de 64 bits
• 68,4 GB de memória de instância quádrupla extragrande com mais memória, 26 unidades de processamento EC2* (8 núcleos virtuais com 3,25 unidades de processamento EC2 cada), 1.690 GB de armazenamento de instâncias, plataforma de 64 bits

Instâncias do Amazon EC2 com CPU de alta performance

As instâncias desta família têm proporcionalmente mais recursos de CPU do que memória (RAM) e são adequadas para aplicativos com processamento intensivo.

• 1,7 de memória de instância média com CPU de alta performance, 5 unidades de processamento EC2* (2 núcleos virtuais com 2,5 unidades de processamento EC2 cada), 350 GB de armazenamento de instâncias, plataforma de 32 bits

• 7 GB de memória de instância extragrande com CPU de alta performance, 20 unidades de processamento EC2* (8 núcleos virtuais com 2,5 unidades de processamento EC2 cada), 1.690 GB de armazenamento de instâncias, plataforma de 64 bits

Instâncias do Amazon EC2 com computação de alto desempenho

As instâncias desta família combinam tamanhos de memória grandes e recursos que requerem bastante CPU com rede de 10 Gbps. Elas são bastante adequadas para alto desempenho, aplicativos que requerem E/S, como mapeamento de genomas para pesquisa científica, simulação de designs aeroespaciais ou automotivos para atividades de engenharia e mineração de dados para inteligência dos negócios.

• Instância de computação em cluster quádrupla extragrande com 23 GB de memória, 33,5 unidades de processamento EC2*, 1.690 GB de armazenamento de instância local, plataforma de 64 bits, Ethernet de 10 gigabits
• Instância de computação em cluster óctupla extragrande com 60,5 GB de memória, 88 unidades de processamento EC2*, 3.370 GB de armazenamento de instância local, plataforma de 64 bits, Ethernet de 10 gigabits

• Instância de computação em cluster quádrupla extragrande 22 GB de memória, 33,5 unidades de processamento EC2*, 2 GPUs NVIDIA Tesla “Fermi” M2050, 1.690 GB de armazenamento de instância local, plataforma de 64 bits, Ethernet de 10 gigabits

Instâncias do Amazon EC2 com armazenamento de alta capacidade

As instâncias de armazenamento de alta capacidade são ideais para aplicativos que exigem acesso sequencial para conjuntos de dados muito grandes.

• 117 GB de memória para instância óctupla extragrande de computação em cluster, 35 de unidades de computação EC2*, 48 TB de armazenamento em 24 discos, Ethernet de 10 gigabits

*Unidade de processamento EC2 (ECU) – Uma unidade de processamento EC2 (ECU) fornece a capacidade de CPU equivalente de um processador Opteron 2007 ou Xeon 2007 de 1,0 a 1,2 GHz.

Definição de preço

Com o Elastic MapReduce, você paga somente pelo que utilizar.

O seu custo dependerá do número e do tipo de instâncias do Amazon EC2 em seu fluxo de trabalho e da quantidade de tempo em execução. A definição de preço para Elastic MapReduce é fornecida além da definição de preço para EC2 e S3.

Definição de preço para Amazon EC2 e Amazon Elastic MapReduce

Você será cobrado do momento em que o fluxo de trabalho iniciar o processamento até que seja encerrado. As horas parciais serão arredondadas.

Economize com instâncias reservadas e spot

Os preços do Amazon EC2 acima são para instâncias on demand. As instâncias on demand são as mais dispendiosas, mas fornecem a você mais flexibilidade. O EC2 também oferece instâncias reservadas e instâncias spot.

• As Instâncias reservadas dedicadas fornecem a opção de você fazer um pagamento único e acessível para cada instância que deseja reservar e por sua vez você recebe um desconto significativo sobre a taxa por hora para essa instância. Existem três tipos de Instância Reservada (Instâncias Reservadas de Utilização Leve, Média e Pesada) que permitem equilibrar o valor inicial pago e o preço efetivo da hora.
• As Instâncias Spot permitem que você negocie a capacidade não usada do Amazon EC2. As Instâncias são cobradas pelo preço Spot, que é definido pelo Amazon EC2 e oscila periodicamente em função da oferta e da demanda por capacidade de instância Spot. Para usar instâncias spot, você especifica o preço máximo que está disposto a pagar por hora de instância. Se a sua oferta de preço máximo exceder o preço Spot atual, sua requisição é atendida e suas instâncias serão executadas até que você escolha encerrá-las ou até que o preço Spot supere seu preço máximo (o que ocorrer primeiro).

"O Amazon Elastic MapReduce com instâncias spot facilitou a criação de protótipos e reduziu de forma surpreendente a ampliação, reduzindo nossos custos de processamento de dados em mais de 50%". - VP de engenharia na Fliptop

Outros detalhes de definição de preço

O Amazon S3 será cobrado separadamente. (Muitos clientes armazenam seus dados de entrada e saída no S3; outros armazenam todos os dados localmente no HDFS.) Atualmente, custa 668 USD por mês para armazenar 10 TB de dados no S3 com redundância reduzida. Quanto mais dados você armazenar, menor será o preço mensal por GB.

O Amazon SimpleDB também é cobrado separadamente. (Somente se aplica se você habilitar a depuração para seu fluxo de trabalho)

Se você escolher a distribuição Hadoop MapR M5m haverá um custo adicional. Consulte a página de detalhes de MapR para obter mais informações e preços atuais.

Faça uma estimativa de sua conta

Você pode usar a Calculadora Mensal simples da AWS para estimar sua conta.

Recursos

Recursos do desenvolvedor

visualizar tudo

• Treinamento do EMR
• AWS Management Console
• Aplicativos de processamento de exemplos de dados
• WSDL
• Notas de release
• Documentação
• Código de exemplo e bibliotecas
• Ferramentas do desenvolvedor
• Fórum da comunidade
• Artigos e tutoriais

Informações adicionais sobre produtos

• Perguntas frequentes
• Acordo do Cliente da Amazon Web Services
• Painel de saúde do serviço

Serviços relacionados

• Amazon Elastic Compute Cloud
• Amazon S3
• AWS Import/Export

Descrição detalhada

O Amazon Elastic MapReduce usa o Apache Hadoop como seu mecanismo de processamento distribuído. O Hadoop é uma estrutura de software Java de código livre que oferece suporte a aplicativos distribuídos que consomem bastante dados sendo executados em clusteres grandes de hardware tipo "commodities". O Hadoop implementa um modelo computacional chamado "MapReduce", no qual o trabalho é dividido em vários fragmentos pequenos de trabalho, sendo que cada um deles poderá ser executado em qualquer nó no cluster. Essa estrutura tem sido amplamente usada pelos desenvolvedores, empresas e startups, e tem se mostrado uma plataforma de software confiável para processar até petabytes de dados em clusters de milhares de máquinas tipo "commodities".

O Amazon Elastic MapReduce permite que você implemente aplicativos de processamento de dados em muitas linguagens, incluindo Java, Perl, Ruby, Python, PHP, R ou C++. Você pode testar esses aplicativos em diferentes tipos de instância e tamanhos de fluxo de trabalho para selecionar as definições de desempenho ideal para seu caso específico.

Faça login no AWS Management Console para iniciar um "fluxo de trabalho" do Amazon Elastic Map Reduce: Basta selecionar o número e o tipo de instâncias do Amazon EC2 que você deseja, especificar a localização dos dados e/ou aplicativos no Amazon S3 e, em seguida, clicar no botão "Create Job Flow (Criar fluxo de trabalho)". Ou também é possível iniciar um fluxo de trabalho especificando as mesmas informações mencionadas acima por meio das nossas Ferramentas de linha de comando ou APIs. O Amazon Elastic MapReduce emprega uma interface de serviço da Web simples que é fácil de usar e altamente flexível:

• RunJobFlow: cria uma solicitação de fluxo de trabalho, inicia instâncias do EC2 e começa o processamento.
• DescribeJobFlows: fornece status da(s) solicitação(ões) do fluxo de trabalho.
• AddJobFlowSteps: acrescenta uma etapa adicional a um fluxo de trabalho que já está sendo executado.
• TerminateJobFlows: encerra o fluxo de trabalho em execução e desativa todas as instâncias.

Se você quiser executar fluxos de trabalho com mais de 20 instâncias, preencha o formulário de solicitação de instância.

Pagamento por aquilo que for usado

Você é cobrado somente pelos recursos realmente consumidos. Por exemplo, digamos que você iniciou 100 instâncias pequenas padrão do Amazon EC2 para um fluxo de trabalho do Amazon Elastic MapReduce, onde o custo do Amazon Elastic MapReduce são mais USD 0,015 por hora. As instâncias do Amazon EC2 começarão a ser inicializadas de imediato, mas nem todas começarão necessariamente no mesmo momento. O Amazon Elastic MapReduce acompanhará quando cada instância começa e irá verificá-la no cluster de forma que possa aceitar tarefas de processamento.

Nos primeiros 10 minutos após a solicitação de início, o Amazon Elastic MapReduce inicia o fluxo de trabalho (se todas as instâncias estiverem disponíveis) ou verifica o máximo de instâncias possíveis. Após 10 minutos, o Amazon Elastic MapReduce começará o processamento (e o carregamento) do fluxo de trabalho assim que 90% das instâncias solicitadas estiverem disponíveis. À medida que os 10% restantes das instâncias solicitadas forem verificados, o Amazon Elastic MapReduce começará a fazer o carregamento dessas instâncias também.

Então, no exemplo acima, se todas as 100 instâncias solicitadas estiverem disponíveis 10 minutos após o lançamento de uma solicitação de início, haverá uma cobrança de USD 1,50 por hora (100 x USD 0,015) até que o fluxo de trabalho seja concluído. Se somente 90 das suas instâncias solicitadas estiverem disponíveis na marca de 10 minutos, haverá uma cobrança de USD 1,35 por hora (90 x USD 0,015) desde que este tenha sido o número de instâncias sendo executadas no fluxo de trabalho. Quando as 10 instâncias restantes forem verificadas, haverá uma cobrança de USD 1,50 por hora (100 x USD 0,015) até que o balanço do fluxo de trabalho seja concluído. Cada fluxo de trabalho será executado até que um dos seguintes ocorra: você encerre o fluxo de trabalho com a chamada da API TerminateJobFlows (ou uma ferramenta equivalente), o fluxo de trabalho desative-se ou seja encerrado devido a uma falha do software ou do hardware. Horas parciais de Instâncias de banco de dados são cobradas como horas completas.

Uso pretendido e restrições

O uso deste serviço está sujeito ao Acordo do Cliente da Amazon Web Services.