Elastic Fabric Adapter

Ejecute aplicaciones de HPC y ML a escala

Elastic Fabric Adapter (EFA) es una interfaz de red para instancias de Amazon EC2 que permite al cliente ejecutar aplicaciones que requieren altos niveles de comunicación entre nodos a escala en AWS. Su interfaz de hardware de bypass del sistema operativo diseñada a medida mejora el rendimiento de las comunicaciones entre instancias, lo cual es fundamental para ajustar la escala de estas aplicaciones. Con EFA, las aplicaciones de informática de alto rendimiento (HPC) que utilizan aplicaciones de Message Passing Interface y aprendizaje automático que usan NVIDIA Collective Communications Library (NCCL) pueden aumentar su escala a miles de CPU o GPU. Como resultado, obtiene el rendimiento de las aplicaciones de los clústeres HPC locales con la elasticidad y flexibilidad bajo demanda de la nube de AWS.

EFA está disponible como una característica opcional de red de EC2 que puede habilitar en cualquier instancia EC2 compatible sin ningún costo adicional. Además, funciona con las interfaces, API y bibliotecas más utilizadas para las comunicaciones entre nodos, por lo que puede migrar sus aplicaciones de HPC a AWS con pocas modificaciones o ninguna.

Beneficios

Resultados con mayor rapidez

El exclusivo mecanismo de red de derivación del sistema operativo de EFA proporciona un canal de baja latencia y baja fluctuación para las comunicaciones entre instancias. Esto permite que sus aplicaciones de HPC estrechamente acopladas o de machine learning distribuido se escalen a miles de núcleos, lo que hace que sus aplicaciones se ejecuten más rápido.

Configuraciones flexibles

Puede habilitar la compatibilidad con EFA en una lista creciente de instancias de EC2 y conseguir la flexibilidad necesaria para elegir la configuración de computación adecuada para su carga de trabajo. Solo cambie las configuraciones del clúster a medida que cambian sus necesidades y habilite la compatibilidad con EFA en sus nuevas instancias de computación. No es necesario hacer reservas previas ni planificar por adelantado.

Migraciones sin inconvenientes

EFA utiliza la interfaz y las API de Libfabric para las comunicaciones. Como casi todos los modelos de programación de HPC admiten esta interfaz, puede migrar sus aplicaciones de HPC existentes a la nube con pocas modificaciones o ninguna.

Rendimiento de EFA

EFA proporciona un escalado 4 veces mejor con respecto a ENA para una simulación de CFD estándar, como se muestra en el gráfico anterior.

Solucionador para este análisis comparativo proporcionado por Metacomp Technologies

AWS Customer CFD Direct mantiene la popular plataforma OpenFOAM para la dinámica de fluidos computacional y también produce CFD Direct From the Cloud (CFDDFC), una oferta de AWS Marketplace que facilita la ejecución de OpenFOAM en AWS. Han probado y realizado análisis comparativos de EFA y, recientemente, compartieron sus mediciones en una entrada de blog titulada OpenFOAM HPC with AWS EFA (HPC de OpenFOAM con AWS EFA). En la publicación, se informa sobre una simulación de la aerodinámica externa alrededor de un automóvil. Esta simulación se escala de forma extralineal a más de 200 núcleos y se reduce de forma gradual a un escalado lineal a 1000 núcleos (alrededor de 100 000 celdas de simulación por núcleo).
 

Funcionamiento

Casos de uso

Dinámica de fluidos computacional

Los avances en los algoritmos de dinámica de fluidos computacional (CFD) permiten a los ingenieros simular fenómenos de flujo cada vez más complejos y la HPC ayuda a reducir los tiempos de respuesta. Con EFA, los ingenieros de diseño ahora pueden escalar horizontalmente sus trabajos de simulación para experimentar con parámetros más ajustables, lo que se traduce en resultados más precisos que se obtienen con mayor rapidez.

Modelado meteorológico

Los modelos meteorológicos complejos requieren un gran ancho de banda de memoria, interconexiones rápidas y sistemas de archivos paralelos robustos para ofrecer resultados precisos. Cuanto más cerca esté el espaciado de la cuadrícula en el modelo, más precisos serán los resultados y más recursos computacionales requerirá el modelo. EFA ofrece una interconexión rápida que permite a las aplicaciones de modelado meteorológico aprovechar las capacidades de escalado casi ilimitadas de la nube de AWS y obtener predicciones más precisas en menos tiempo.

Machine Learning

El entrenamiento de los modelos de aprendizaje profundo se puede acelerar de forma significativa con la computación distribuida en varias GPU. Los principales marcos de aprendizaje profundo, como Caffe, Caffe2, Chainer, MXNet, TensorFlow y PyTorch, ya se han integrado a NCCL para aprovechar sus colectivos de múltiples GPU para las comunicaciones entre nodos. EFA está optimizado para NCCL en AWS y, de este modo, mejora el rendimiento y la escalabilidad de estos modelos de entrenamiento, lo que permite obtener resultados más rápidos.

Recursos

Ya disponible: Elastic Fabric Adapter (EFA) para cargas de trabajo de HPC estrechamente acopladas
29 de abril de 2019
 
AWS re:Invent 2018: Escalado de aplicaciones de HPC en EC2 con Elastic Fabric Adapter
En esta charla de re:Invent de 2018, presentamos Elastic Fabric Adapter y analizamos cómo EFA mejora las redes entre instancias en Amazon EC2.
Deep Dive on OpenMPI and Elastic Fabric Adapter (EFA)
En esta charla técnica, analizaremos en profundidad OpenMPI y su compatibilidad específica para EFA de Amazon EC2, y le mostraremos cómo aprovechar al máximo su código y diseñar su solución para obtener rendimiento.

Introducción con Elastic Fabric Adapter (EFA)

En este tutorial, creará una AMI y un grupo de seguridad habilitados para EFA y luego los usará para ejecutar instancias habilitadas para EFA en un grupo con ubicación en clúster.
 
Obtenga más información sobre los servicios de AWS para HPC

Descubra todos los servicios de AWS que puede utilizar para crear una solución HPC en AWS

Más información 
Regístrese para obtener una cuenta gratuita

Obtenga acceso instantáneo a la capa gratuita de AWS. 

Inscribirse 
Comience a usar HPC en AWS

Cree su primer clúster HPC en AWS

Iniciar sesión