Publicado: Jun 25, 2020
O Amazon EMR oferece uma estratégia de alocação "Capacidade otimizada" para provisionar instâncias spot em um cluster do Amazon EMR. A estratégia de alocação de “Capacidade otimizada” usa automaticamente a capacidade ociosa disponível, da forma mais eficiente possível, sem deixar de aproveitar os grandes descontos oferecidos pelas instâncias spot. Com a oferta da possibilidade de menos interrupções, a estratégia otimizada para capacidade pode reduzir o custo geral da carga de trabalho.
A estratégia de alocação de capacidade otimizada utiliza dados de capacidade em tempo real para alocar instâncias dos conjuntos de instâncias spot, com a capacidade ideal para o número de instâncias que estão sendo iniciadas. Essa estratégia de alocação é apropriada para cargas de trabalho que têm um custo mais alto de interrupção. Os exemplos incluem tarefas de execução longa e clusters persistentes com vários locatários executando o Apache Spark, Apache Hive e Presto.
A opção de estratégia de alocação também permite especificar até cinco tipos de instâncias do EC2, por nó de tarefa, ao criar seu cluster com a configuração de frota de instâncias. Isso permite que você diversifique suas solicitações de spot e, portanto, obtenha descontos consideráveis.
O Amazon EMR possui vários aprimoramentos para melhorar a elasticidade e a resiliência dos clientes, incluindo o descomissionamento fácil de instâncias spot do Amazon EC2 executando aplicativos Apache Spark e Apache Hadoop no cluster do Amazon EMR. Para evitar a perda de dados, o dimensionamento do Amazon EMR garante que seu nó não tenha tarefas em execução no Apache Hadoop ou dados exclusivos que possam ser perdidos antes da remoção do nó. O Amazon EMR possui personalizações no Spark de código aberto que o tornam mais resiliente à perda de nós – integrando-se ao mecanismo de desativação do YARN, estendendo o mecanismo de desativação do Spark e ações em nós desativados.
Consulte a documentação para aprender aconfigurar frotas de instâncias, como criar uma função de serviço para Amazon EMR (função EMR) e asespecificações de API.
O suporte do Amazon EMR à estratégia de alocação agora está disponível, geralmente nas versões de lançamento do EMR 5.12.1 e superior, em todas as regiões comerciais da AWS em que o Amazon EMR está disponível. Aqui está um link para Disponibilidade regional do Amazon EMR.