Publicado: Nov 6, 2018
Agora, você pode usar o Apache Flink 1.6.0, o Apache Zeppelin 0.8.0 e o S3 Select com o Apache Hive e o Presto no Amazon EMR versão 5.18.0. O Flink 1.6.0 adiciona vários novos recursos e atualizações, incluindo o suporte nativo a TTL de estado, o que permite controlar o acesso a estados do Flink e oferecer suporte a envios de tarefas com base em HTTP/REST, proporcionando melhor integração com ambientes de contêiner no cluster. Além disso, a ferramenta oferece vários aprimoramentos de SQL e na API Table, simplificando a execução de consultas de streaming e lotes e adicionando suporte ao SQL para o formato de dados Avro. O Zeppelin 0.8.0 oferece suporte à execução do interpretador Spark em modo de cluster de YARN do Apache Hadoop, suporte ao interpretador Ipython e a capacidade de usar o Apache HDFS como armazenamento de back-end para salvar e ler arquivos de blocos de notas do Zeppelin.
Com o EMR versão 5.18.0, você pode usar o S3 Select com o Hive e o Presto. O S3 Select possibilita que os aplicativos recuperem apenas um subconjunto dos dados de um objeto armazenado no Amazon S3. Esse recurso melhora a performance, pois reduz a quantidade de dados que precisam ser transferidos e processados pelo cluster do EMR para executar consultas do Hive e do Presto. Acesse as páginas S3 Select with Hive e S3 Select with Presto para saber mais sobre esses recursos.
Além disso, com este lançamento, também é possível usar as versões atualizadas do Apache Spark 2.3.2, do Apache HBase 1.4.7 e do Presto 0.210.
Para criar um cluster do Amazon EMR com a versão 5.18.0, escolha o rótulo de versão “emr-5.18.0” no Console de Gerenciamento da AWS, na ILC da AWS ou no SDK. Você pode selecionar o Flink, o HBase, o Presto e o Zeppelin para instalar esses aplicativos quando executar o cluster do EMR. Consulte a documentação do Amazon EMR para obter mais informações sobre o EMR 5.18.0, o Flink 1.6.0, o HBase 1.4.7, o Spark 2.3.2, o Presto 0.210 e o Zeppelin 0.8.0.
O Amazon EMR versão 5.18.0 já está disponível em todas as regiões com suporte para Amazon EMR.
Para receber atualizações sobre as versões do EMR, assine o feed RSS das notas de release do EMR. Use o ícone de RSS na parte superior do Guia de versões do EMR para vincular o URL do feed diretamente ao leitor de feed favorito.