发布于: Jul 17, 2018
Amazon SageMaker 现在支持内置 TensorFlow 容器的管道输入模式。借助管道输入模式，可以使用 TensorFlow 数据集，直接以流的方式将数据从 Amazon Simple Storage Service (Amazon S3) 传入训练实例上的 TensorFlow 容器。
此功能加快了训练作业的启动时间，减少了磁盘使用量，从而进一步降低了 Amazon SageMaker 上的训练成本。例如，在今年年初推出适用于 Amazon Sagemaker 内置算法的管道输入模式时，我们开展了内部比较研究，发现 78GB 训练数据集的启动时间最高可减少 87%，吞吐速度达到一些对比组的两倍，总训练时间最高可减少 35%。
在使用管道输入模式之前，数据都会从 Amazon S3 加载到训练实例附加的使用文件输入模式的 Amazon Elastic Block Store (Amazon EBS) 卷。文件输入模式需要利用磁盘空间来存储您的最终模型构件和完整的训练数据集。对于数据集完全置于内存中并且运行多个纪元的训练作业，文件输入模式仍然十分有用。从小型的试验性训练作业到 PB 级分布式训练作业，这两种输入模式加起来覆盖了广泛的使用案例。
以下 AWS 区域现已支持在 Amazon SageMaker 中使用 TensorFlow 容器的管道输入模式：美国东部（弗吉尼亚北部）、美国东部（俄亥俄）、美国西部（俄勒冈）、欧洲（爱尔兰）、欧洲（法兰克福）、亚太地区（东京）、亚太地区（首尔）和亚太地区（悉尼）。有关更多详细信息，请参阅 Amazon SageMaker 文档。