Publicado: Aug 2, 2019
A partir de hoje, o AWS Batch oferece suporte à capacidade de expor dispositivos host às tarefas do AWS Batch, incluindo o Elastic Fabric Adapter (EFA), que permite executar cargas de trabalho distribuídas de HPC e de machine learning de alta performance usando o provisionamento e o agendamento de instâncias gerenciadas do AWS Batch.
O EFA é uma interface de rede para instâncias do Amazon EC2 que habilita clientes a executar aplicativos que exigem altos níveis de comunicação entre nós em grande escala na AWS. Sua interface de hardware personalizada fora do sistema operacional (SO) aumenta a performance das comunicações entre instâncias, o que é essencial para escalar esses aplicativos. Com o EFA, aplicativos de computação de alta performance (HPC) usando a Message Passing Interface (MPI) e aplicativos de machine learning (ML) usando a NVIDIA Collective Communications Library (NCCL) podem escalar para milhares de CPUs ou GPUs. Como resultado, você obtém a performance de clusters de HPC locais com a elasticidade e a flexibilidade sob demanda da Nuvem AWS.
O AWS Batch é um programador nativo da nuvem que gerencia o provisionamento de instâncias e o agendamento de tarefas. O AWS Batch provisiona automaticamente instâncias de acordo com as especificações da tarefa, com o placement group e as configurações de rede adequados, e com qualquer sistema de arquivos especificado pelo usuário. O Batch configura automaticamente a interconexão EFA com as instâncias que executa, especificada pelo cliente por meio de um único parâmetro de API.
Para saber mais sobre como usar o EFA e expor dispositivos host ao AWS Batch, consulte a documentação.