Pular para o conteúdo principal

Amazon EMR

Amazon EMR Sem Servidor

Execute aplicações de big data usando frameworks de código aberto sem gerenciar clusters e servidores

Por que usar o EMR Sem Servidor?

O Amazon EMR Sem Servidor é uma opção do Amazon EMR que usa tecnologia sem servidor para facilitar a execução de estruturas de big data analytics de código aberto por analistas e engenheiros de dados sem que seja necessário configurar, gerenciar e escalar clusters ou servidores. Você obtém todos os recursos e benefícios do Amazon EMR sem precisar de especialistas para planejar e gerenciar clusters.

Benefícios

    Selecione a estrutura de código aberto que deseja executar para sua aplicação, como Apache Spark e Apache Hive, e o EMR Sem Servidor provisionará e gerenciará automaticamente os recursos subjacentes de computação e memória.

    Execute workloads de analytics em qualquer escala com o ajuste de escala automático sob demanda que redimensiona os recursos em segundos para atender aos requisitos dinâmicos de volumes de dados e processamento.

    O EMR Sem Servidor aumenta e diminui a escala dos recursos vertical e automaticamente para fornecer a quantidade certa de capacidade para sua aplicação. Você paga somente pelo que usa e pode minimizar as preocupações com provisionamento excessivo ou insuficiente.

    Com o agente de upgrade do Apache Spark, upgrades do Apache Spark que duram meses transformam-se em projetos eficientes de uma semana com automação inteligente. O agente de upgrade do Spark simplifica migrações corporativas ao lidar automaticamente com alterações complexas de API na sua base de código, reduzindo drasticamente os custos e esforços.

    O Amazon EMR Sem Servidor elimina o provisionamento de armazenamento local para workloads do Apache Spark, reduzindo os custos de processamento de dados em até 20% e evitando falhas de trabalho devido a restrições de capacidade de disco. O EMR Sem Servidor gerencia automaticamente operações intermediárias de dados, como a reprodução aleatória, sem custos de armazenamento: você paga apenas pelos recursos de computação e memória.

Como funciona

1. Crie sua aplicação

Escolha a estrutura e a versão de código aberto que deseja usar.

2. Envie trabalhos

Envie trabalhos para a aplicação por meio de APIs ou do EMR Studio. Você também pode enviar trabalhos usando serviços de orquestração de fluxo de trabalho, como o Apache Airflow ou o Amazon Managed Workflows para Apache Airflow.

3. Depure trabalhos

Use ferramentas conhecidas de código aberto, como o Spark UI e o Tez UI, para monitorar e depurar trabalhos.

Casos de uso

    À medida que as demandas das workloads mudam, dimensione os recursos da aplicação sem precisar pré-configurar a quantidade de capacidade de computação e memória de que você precisa.

    Escolha a opção de pré-inicializar os recursos da aplicação e ativar o tempo de resposta em segundos para pipelines de dados sensíveis ao SLA.

    Crie ambientes de desenvolvimento e teste com rapidez, escale de forma automática em situações de uso imprevisíveis e disponibilize produtos ao mercado mais rapidamente.