发布于: Jul 12, 2021
今天，我们很高兴地宣布推出 AWS Deep Learning Containers (DLC)，其中集成了用于推理的开发工具包，使客户能够在 Amazon SageMaker 中轻松进行大规模的 Hugging Face 模型部署。这是客户的首要要求，他们一直在利用 2021 年 3 月发布的针对训练的 Hugging Face AWS DLC（Hugging Face 训练 DLC）。
从今天开始，除了 Hugging Face 训练 DLC 外，Amazon SageMaker 还支持使用针对推理的 Hugging Face AWS Deep Learning Containers（Hugging Face 推理 DLC）来部署 Hugging Face 模型。Hugging Face 推理 DLC 同时支持 TensorFlow 和 PyTorch 框架，以供客户选择。Hugging Face 推理 DLC 简化了模型托管，使客户能够在几分钟内进行大规模的部署。这也使客户能够通过 SageMaker Pipelines 简化他们的操作。最后，此次发布让客户可以直接通过其 Hugging Face Model Hub 部署 Hugging Face 模型，或者部署一个他们之前借助我们的 Hugging Face 训练 DLC 改进的模型。
自 2016 年以来，依靠其转换器库和 Model Hub，Hugging Face 已成为 NLP 社群的领导者，其中的 10000 多种预先训练的模型使开发人员能够更轻松地开始他们的工作。Hugging Face 转换器库在 GitHub 上获得了 41000 次收藏，被下载超过 2500 万次，这里实际上已成为开发人员构建 NLP 模型的重地。Amazon SageMaker Python 开发工具包中的 Hugging Face 推理 DLC 有助于开发人员轻松地在 AWS 上部署这些模型。Hugging Face 推理 DLC 包含 Hugging Face 转换器库、深度学习 (DL) 框架和一个针对 SageMaker 优化的 DL 模型服务器。与托管自定义容器相比，开发人员只需编写最少的额外代码即可将预先训练的 Hugging Face 模型部署到 AWS。使用 Hugging Face 模型的开发人员现在可以更轻松地在 Amazon SageMaker 上进行开发，并受益于 SageMaker 为模型托管提供的成本效益、可扩展性、生产就绪性和高安全性标准。