亚马逊AWS官方博客
Tag: Horovod
在 Amazon SageMaker 管道模式下使用 Horovod 实现多 GPU 分布式训练
在Amazon SageMaker上以管道模式使用Horovod的多GPU或分布式训练方法，能够为数据集的各个分片创建独立的训练通道并在数据通道内访问对应分片，借此实现大规模模型训练。这种方式能够缩短在实际训练开始之前将数据集传输至训练实例所占用的时间，因此特别适用于具有大规模训练数据集的Amazon SageMaker训练场景。
在Amazon SageMaker上以管道模式使用Horovod的多GPU或分布式训练方法，能够为数据集的各个分片创建独立的训练通道并在数据通道内访问对应分片，借此实现大规模模型训练。这种方式能够缩短在实际训练开始之前将数据集传输至训练实例所占用的时间，因此特别适用于具有大规模训练数据集的Amazon SageMaker训练场景。