发布于: Nov 27, 2023
从今天开始，AWS 命令行界面 (AWS CLI) 和 Python SDK 将自动使用 AWS Common Runtime (CRT) 来加快 Amazon S3 与 Amazon EC2 Trn1、P4d 和 P5 实例之间的数据传输。AWS CRT 在请求并行化、自动重试、DNS 负载平衡等方面实施了 Amazon S3 的性能最佳实践，以便在 Amazon EC2 和 Amazon S3 之间提供高数据传输速率。因此，机器学习训练工作现在从 Amazon S3 下载训练数据的速度提高了多达 3 倍，向 Amazon S3 上传模型检查点的速度提高了多达 5 倍，从而缩短了总训练时间。
在启动 Amazon EC2 Trn1、P4d 和 P5 实例时，这一更改会包含在最新的 AWS Deep Learning AMI (DLAMI) 中，这些实例非常适合生成式人工智能模型（包括大型语言模型和扩散模型）。现在，使用 AWS CLI 和 Python SDK 访问 Amazon S3 的应用程序会自动获得 AWS CRT 的性能优势。AWS CRT 针对这些实例上的高网络带宽进行了优化，因此，您无需手动调整存储性能即可充分利用计算资源。要了解更多信息，请访问 Python SDK 文档和 CLI 文档。