Publicado en: Sep 20, 2018
Ahora puede usar TensorFlow 1.9.0, la popular máquina y marco de deep learning framework, y S3 Select con Apache Spark en Amazon EMR versión 5.17.0. Las bibliotecas de Tensorflow se pueden combinar con motores de procesamiento de big data como Spark en EMR para acelerar el proceso de entrenamiento de modelos haciendo ajustes paralelos de los parámetros de entrenamiento. El modelo entrenado puede ser transmitido después a todos los nodos del clúster para realizar una inferencia distribuida en una gran cantidad de datos que sea demasiado grande para ejecutarse en un solo nodo. TensorFlow en EMR está incluido en el paquete de TensorBoard, una herramienta de visualización que ayuda a visualizar y depurar el flujo de gráficos de tensores en tiempo real, entender los efectos de sus elecciones de diseño y optimizar aún más su modelo. Las versiones de TensorFlow en EMR varían según el tipo de instancia que usa para su clúster.
Con EMR versión 5.17.0, puede usar S3 Select con Spark. Esta característica permite a su aplicación Spark consultar selectivamente un subconjunto de datos de un objeto grande en S3. Esto mejora el rendimiento al reducir la cantidad de datos que deben ser transferidos y procesados por el clúster de EMR. Además, con esta versión, podrá configurar JupyterHub en EMR para que guarde y almacene de manera persistente los blocs de notas directamente en S3. También puede utilizar las versiones actualizadas de Apache Flink 1.5.2, Apache HBase 1.4.6 y Presto 0.206.
Puede crear un clúster de Amazon EMR con la versión 5.17.0, para lo cual deberá elegir la etiqueta de versión "emr-5.17.0" en la consola de administración de AWS, el SDK o CLI de AWS. Puede seleccionar TensorFlow, Flink, HBase y Presto, para instalar estas aplicaciones cuando lance su clúster de EMR. Consulte la documentación sobre Amazon EMR para obtener más información sobre EMR versión 5.17.0, TensorFlow 1.9.0, S3 Select con Spark, Flink 1.5.2, HBase 1.4.6 y Presto 0.206.
Amazon EMR versión 5.17.0 ya se encuentra disponible en todas las regiones admitidas para Amazon EMR.
Puede mantenerse informado acerca de las versiones de EMR si se suscribe a la fuente de notas de la versión de EMR. Use el RSS icono de la parte superior de la Guía de versión de EMR para vincular el URL de la fuente directamente a su lector favorito de fuentes.