Llama 3.3 70B 现已通过 Amazon SageMaker JumpStart 在 AWS 上推出

发布于: 2024年12月26日

AWS 客户现在可以通过 Amazon SageMaker JumpStart 从 Meta 访问 Llama 3.3 70B 模型。Llama 3.3 70B 模型平衡了高性能和计算效率。此外,它还提供与大型 Llama 版本相当的输出质量,但所需资源显著减少,使其成为经济高效的 AI 部署的绝佳选择。

Llama 3.3 70B 采用了增强的注意力机制,可显著降低推理成本。该模型使用大约 15 万亿个令牌(包括源自 Web 的内容和合成示例)进行训练,经过了广泛的监督微调和基于人类反馈的强化学习 (RLHF)。这种方法使输出更加贴合人类的偏好,同时保持较高的性能标准。根据 Meta 的描述,这种效率提高意味着推理操作的成本效益提高了近五倍,使其成为生产部署中一个极具吸引力的选择。

客户可以通过 SageMaker JumpStart 用户界面或使用 SageMaker Python SDK 以编程方式部署 Llama 3.3 70B。SageMaker AI 的高级推理功能有助于优化部署的性能和成本效率,使您能够充分利用 Llama 3.3 70B 的固有效率,同时从简化的部署流程中受益。

Llama 3.3 70B 模型将在所有提供 Amazon SageMaker AI 的 AWS 区域推出。要了解有关在 Amazon SageMaker JumpStart 上部署 Llama 3.3 70B 的更多信息,请参阅文档或阅读博客