机器学习›
Amazon SageMaker

Amazon SageMaker JumpStart

Meta Llama 3 基础模型可通过 Amazon SageMaker JumpStart 进行部署和推理运行。

Meta Llama 3 基础模型现已在亚马逊云科技正式可用

2024 年 4 月 19 日亚马逊云科技宣布，Meta 刚刚发布的两款 Llama 3 基础模型 Llama 3 8B 和 Llama 3 70B 现已在 Amazon SageMaker JumpStart 中提供。这两款模型是一系列经过预训练和微调的生成文本模型，上下文长度为 8k，能够支持广泛的用例，并在推理、代码生成和指令跟随等方面有所改进。客户可以在 Amazon SageMaker JumpStart 中轻松发现、部署 Llama 3 基础模型，并运行推理。

Llama 3 提供两种参数大小的模型 —— 8B 和 70B，上下文长度为 8k，能够支持广泛的用例。Llama 3 使用了仅含解码器的 Transformer 架构，以及高达 128k 规模的新型分词器，极大提升了模型的性能。此外，Meta 改进的训练后处理程序大幅降低了误拒率，提高了模型响应的一致性和多样性。

Amazon SageMaker JumpStart 提供预训练的模型、内置算法和预构建的解决方案，帮助客户快速开始机器学习项目。Amazon SageMaker JumpStart 能够帮助客户从广泛的公开可用基础模型中进行选择，并将基础模型部署到专用的 SageMaker 实例中，这些实例置于网络隔离的环境，并可以使用 SageMaker 进行模型训练和部署。

客户现在可以在 Amazon SageMaker Studio 中通过几次点击或通过 SageMaker Python SDK 编程方式发现并部署 Llama 3 模型，还可以利用 SageMaker Pipelines、SageMaker Debugger 或容器日志等功能，提升模型性能并实施 MLOps 控制。此外，该方式部署的模型始终处在亚马逊云科技的安全环境下，由客户的 VPC 控制，以确保数据安全。

Meta Llama 3 基础模型现已在 Amazon SageMaker Studio 的美东（北弗吉尼亚州）、美东（俄亥俄州）、美西（俄勒冈州）、欧洲（爱尔兰）和亚太（东京）区域提供部署和推理服务。

工作原理

基础模型

带有预训练模型的内置算法

解决方案

ML 构件共享

SageMaker JumpStart 的优势

公开发布的基础模型

来自热门模型提供商的基础模型，用于生成可完全自定义的文本和图片

内置 ML 算法

带有来自热门模型中心的预训练模型的数百种内置算法

可定制的解决方案

针对常见用例的完全可定制解决方案和参考架构，可加速 ML 之旅

支持协作

在您的组织内共享 ML 模型和笔记本，以加速 ML 模型的构建和部署

Amazon SageMaker JumpStart 功能

基础模型

探索多个专有且公开可用的基础模型，这些模型用于执行各种诸如文章总结和文本、图像或视频生成之类的任务。由于根基模型是经过预训练的，因此它们可以帮助降低训练和基础设施成本，并支持针对您的应用场景进行定制。

访问数百种内置算法

SageMaker JumpStart 提供数百种内置算法以及经过预先训练的模型，这些模型均来自模型中心，包括 TensorFlow Hub、PyTorch Hub、HuggingFace 和 MxNet GluonCV。您也可以使用 SageMaker Python 开发工具包访问内置算法。内置算法包括常见的机器学习任务，如数据分类（图像、文本、表格）和情绪分析。

了解有关内置算法的更多信息