Amazon SageMaker HyperPod 可加快开源权重基础模型的部署
Amazon SageMaker HyperPod 现支持将以下两种模型直接部署至 Amazon SageMaker HyperPod 集群:来自 Amazon SageMaker JumpStart 的开源权重基础模型,以及来自 Amazon S3 和 Amazon FSx 的经过微调的自有模型。这使您能够在同一 HyperPod 计算资源上无缝训练、微调和部署模型,从而在整个模型生命周期中最大化资源利用率。
您只需执行几个简单的步骤,即可从 SageMaker JumpStart 中选择一个开源权重基础模型,并快速将其部署在您的 SageMaker HyperPod 集群上。SageMaker 会自动完成以下操作:预置基础设施、在集群上部署模型、启用自动扩缩功能,并配置 SageMaker 端点。SageMaker 会通过 HyperPod 任务治理机制,根据模型端点的流量变化扩缩计算资源,并自动将指标发布至 HyperPod 可观测性仪表板,以便客户全面了解模型性能。
您可以在所有支持 HyperPod 的 AWS 区域部署来自 SageMaker JumpStart 的模型:美国东部(弗吉尼亚州北部)、美国西部(北加利福尼亚)、美国西部(俄勒冈州)、亚太地区(孟买)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(东京)、欧洲地区(法兰克福)、欧洲地区(爱尔兰)、欧洲地区(伦敦)、欧洲地区(斯德哥尔摩)和南美洲(圣保罗)。
要了解更多信息,请访问 SageMaker HyperPod 网页、博客和文档。