Amazon EMR Sem Servidor elimina o provisionamento de armazenamento local para workloads do Apache Spark
Agora, O Amazon EMR Sem Servidor oferece armazenamento com tecnologia sem servidor que elimina o provisionamento de armazenamento local para workloads do Apache Spark, reduzindo em até 20% os custos de processamento de dados e evitando falhas por restrições de capacidade de disco nos trabalhos. Você não precisa mais configurar o tipo e o tamanho do disco local para cada aplicação. O EMR Sem Servidor gerencia automaticamente operações intermediárias de dados, como reorganização aleatória, sem cobranças de armazenamento local. Você paga somente pelos recursos de computação e memória consumidos pelo trabalho.
O EMR Sem Servidor transfere as operações intermediárias de dados para um armazenamento com tecnologia sem servidor totalmente gerenciado e com escalabilidade automática que criptografa dados em trânsito e em repouso com isolamento no nível de trabalho. O armazenamento com tecnologia sem servidor separa o armazenamento da computação, permitindo que o Spark libere imediatamente operadores ociosos, em vez de mantê-los ativos para preservar dados temporários. Ele elimina falhas devido à insuficiência de capacidade de disco nos trabalhos e reduz os custos, evitando cobranças por operadores ociosos. Isso é particularmente valioso para trabalhos que usam alocação dinâmica de recursos, como mecanismos de recomendação que processam milhões de interações com clientes. Nas primeiras etapas, grandes conjuntos de dados são processados com alto nível de paralelismo e, à medida que os dados são agregados, o processamento se estreita.
Esse recurso está disponível ao público em geral para o EMR versão 7.12 e posterior. Consulte as regiões da AWS que oferecem o recurso para verificar a disponibilidade. Para começar, acesse a documentação de armazenamento com tecnologia sem servidor do EMR Sem Servidor.