O Armazenamento com tecnologia sem servidor no Amazon EMR Sem Servidor agora oferece suporte a shuffle em escala de terabytes
O Amazon EMR Sem Servidor agora oferece recursos aprimorados de armazenamento com tecnologia sem servidor com suporte para operações de shuffle de até 1 TB, elevando o limite anterior de 200 GB por trabalho. O Amazon EMR Sem Servidor é uma opção de implantação do Amazon EMR que simplifica a execução de estruturas de big data analytics de código aberto por engenheiros e cientistas de dados, sem necessidade de configurar, gerenciar e escalar clusters ou servidores. Esse aprimoramento permite que clientes corporativos executem workloads do Apache Spark em escala de produção que exigem o processamento de grandes volumes de dados aleatórios durante operações complexas, como uniões, agregações e classificação.
As equipes de dados corporativos agora podem migrar workloads de produção que processam rotineiramente conjuntos de dados em escala de terabytes com confiança, sem se preocupar com restrições de armazenamento. Esse aprimoramento é particularmente valioso para workloads que envolvem grandes uniões de tabelas em conjuntos de dados de vários terabytes e agregações complexas em dados de alta cardinalidade que exigem uma ampla combinação de dados. A adição do suporte a derramamento garante que as tarefas possam lidar perfeitamente com operações que consomem muita memória, transferindo dados para o disco quando necessário, melhorando a confiabilidade do trabalho e as taxas de sucesso para workloads analíticas exigentes.
Esse recurso está disponível com o Amazon emr-7.14, emr-spark-8.1 e versões posteriores, em 18 regiões da AWS em que o Amazon EMR Sem Servidor está disponível. Consulte a documentação do Amazon EMR para ver a lista completa das regiões com suporte e seus limites aplicáveis.
Para saber mais sobre o Amazon EMR Sem Servidor e começar a usar o suporte para shuffle em escala de terabytes, visite a página do Amazon EMR Sem Servidor.