Publicado: Sep 20, 2018
Agora, você pode usar o TensorFlow 1.9.0, a conhecida estrutura de aprendizado de máquina e de aprendizado profundo, e o S3 Select com o Apache Spark na versão 5.17.0 do Amazon EMR. As bibliotecas do TensorFlow podem ser combinadas com mecanismos de processamento de big data, como o Spark no EMR, para acelerar o processo de treinamento do modelo paralelizando o ajuste dos parâmetros de treinamento. Em seguida, é possível transmitir o modelo treinado para todos os nós do cluster para realizar uma inferência distribuída em uma grande quantidade de dados que são muito longos para serem executados em um único nó. O TensorFlow no EMR é fornecido com o TensorBoard, uma ferramenta de visualização que ajuda a ver e a depurar o fluxo do gráfico de tensor em tempo real, a entender os efeitos das opções de design e a otimizar ainda mais o modelo. O TensorFlow se baseia no EMR, variando de acordo com o tipo de instância que você usa no cluster.
Com o EMR versão 5.17.0, você pode usar o S3 Select com o Spark. Esse recurso permite ao aplicativo Spark fazer consultas de forma seletiva em um subconjunto de dados de um objeto grande no S3. Isso melhora o desempenho reduzindo a quantidade de dados que precisam ser transferidos e processados pelo cluster do EMR. Além disso, com esta versão, você pode configurar o JupyterHub no EMR para salvar e persistir os blocos de anotações diretamente no S3. É possível também usar as versões atualizadas do Apache Flink 1.5.2, do Apache HBase 1.4.6 e do Presto 0.206.
Para criar um cluster do Amazon EMR com a versão 5.17.0, escolha o rótulo de versão “emr-5.17.0” no Console de Gerenciamento da AWS, na ILC da AWS ou no SDK. Você pode selecionar o TensorFlow, o Flink, o HBase e o Presto para instalar esses aplicativos quando executar o cluster do EMR. Acesse a documentação do Amazon EMR para saber mais sobre o EMR versão 5.17.0, o TensorFlow 1.9.0, o S3 Select com Spark, o Flink 1.5.2, o HBase 1.4.6 e o Presto 0.206.
O Amazon EMR versão 5.17.0 já está disponível em todas as regiões com suporte para Amazon EMR.
Para receber atualizações sobre as versões do EMR, assine o feed das notas de release do EMR. Use o ícone de RSS na parte superior do Guia de versões do EMR para vincular a URL do feed diretamente ao leitor de feed favorito.