Llama 3.1 系列模型在 Amazon Bedrock 正式可用
今天，我们宣布在 Amazon Bedrock 上提供 Llama 3.1 模型。Llama 3.1 模型是极其先进、强大的模型。Llama 3.1 模型包括 8B、70B 和 405B 三种参数量的模型，在广泛的行业基准测试中展现出了极先进的性能，并为您的生成式 AI 应用程序提供了新的功能。
所有 Llama 3.1 模型都支持 128K 的上下文长度（比 Llama 3 多出 120K 个 token），容量是 Llama 3 模型的 16 倍，并针对包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语在内的八种语言的多语种对话用例，提高了推理能力。
您现在可以在 Amazon Bedrock 中使用三种新的 Llama 3.1 模型，来构建、实验和负责任地扩展您的生成式 AI 理念：
- Llama 3.1 405B （预览版）据称是目前公开可用的极大的大型语言模型 (LLM)。该模型为生成式 AI 确立了新的标准，非常适合企业级应用和研发。它非常适合诸如合成数据生成之类的任务，其模型输出可用于改进较小参数的 Llama 模型和模型蒸馏，从 405B 模型向较小模型转移知识。该模型擅长于通用知识、长文本生成、多语种翻译、机器翻译、编码、数学、工具使用、增强的上下文理解以及高级推理和决策。要了解更多信息，请访问亚马逊云科技机器学习博客，了解如何使用 Llama 3.1 405B 生成用于模型蒸馏的合成数据。
- Llama 3.1 70B 非常适合内容创作、对话式 AI、语言理解、研发和企业应用。该模型擅长于文本摘要和准确性、文本分类、情感分析和细微推理、语言建模、对话系统、代码生成和遵循指令。
- Llama 3.1 8B 极其适合计算能力和资源有限的情况。该模型擅长于低延迟推理需求下的文本摘要、文本分类、情感分析和语言翻译场景。
Llama 3.1 的性能在超过 150 个涵盖广泛语言的基准数据集上经受了测试，并经过了大量的人工评估。如下图所示，Llama 3.1 在每个主要基准测试类别中都优于 Llama 3。
要了解更多关于 Llama 3.1 的功能和能力，请访问 Llama 3.1 模型资料和亚马逊云科技文档中的 Llama 模型。
您可以利用 Llama 3.1 的负责任 AI 功能，结合 Amazon Bedrock 的数据治理和模型评估功能，自信地构建安全可靠的生成式 AI 应用程序。
- Guardrails for Amazon Bedrock - 通过针对特定用例创建具有不同配置的多个防护措施，您可以使用 Guardrails 来促进用户与您的生成式 AI 应用程序之间安全的交互，实施定制的保护措施，以符合您的使用情况和负责任 AI 政策。使用 Guardrails for Amazon Bedrock，您可以持续监控和分析可能违反客户定义的政策的用户输入和模型响应，检测模型响应中不基于企业数据或与用户查询无关的虚构内容，并跨不同模型（包括自定义和第三方模型）进行评估。要开始使用，请访问亚马逊云科技文档中的创建防护措施。
- Amazon Bedrock 上的模型评估 - 您可以使用自动评估或人工评估，通过几个步骤评估、比较并为您的用例选择更合适的 Llama 模型。使用 Amazon Bedrock 上的模型评估，您可以选择使用准确性、鲁棒性和有害性等预定义指标进行自动评估。或者，您可以选择针对相关性、风格和与品牌调性的一致性等主观或自定义指标的人工评估工作流程。模型评估提供内置的精选数据集，或者您可以引入自己的数据集。要开始使用，请访问亚马逊云科技文档中的开始使用模型评估。
要了解如何保护您在亚马逊云科技账户中的数据和应用程序的安全和隐私，请访问 Amazon Bedrock 安全和隐私页面。
在 Amazon Bedrock 中 开始使用 Llama 3.1 模型
如果您是第一次使用 Llama 模型，请转到美国西部（俄勒冈）地区的 Amazon Bedrock 控制台，并在左下方窗格中选择模型访问。要访问最新 Llama 3.1 模型，请分别申请访问 Llama 3.1 8B Instruct 或 Llama 3.1 70B Instruct。
要申请在 Amazon Bedrock 中预览 Llama 3.1 405B Instruct 模型的访问权限，请联系您的亚马逊云科技账户团队或通过亚马逊云科技管理控制台提交支持票证。创建支持票证时，请选择 Amazon Bedrock 作为服务，模型作为类别。
要在 Amazon Bedrock 控制台中测试 Llama 3.1 模型，请在左侧菜单窗格中的 “Playgrounds” 下选择 “Text” 或 “Chat”。然后选择 “Select model”，将类别设置为 “Meta”，并选择 Llama 3.1 8B Instruct、Llama 3.1 70B Instruct 或 Llama 3.1 405B Instruct 作为模型。
在下面的示例中，我选择了 Llama 3.1 405B Instruct 模型。
通过选择 “View API request”，您也可以使用亚马逊云科技命令行界面 (Amazon CLI) 和 Amazon SDKs 中的代码示例来访问模型。您可以使用诸如 meta.llama3-1-8b-instruct-v1、 meta.llama3-1-70b-instruct-v1 或 meta.llama3-1-405b-instruct-v1 等模型 ID。
这是一个 Amazon CLI 命令的示例：
aws bedrock-runtime invoke-model \
--model-id meta.llama3-1-405b-instruct-v1:0 \
--body "{\"prompt\":\" [INST]You are a very intelligent bot with exceptional critical thinking[/INST] I went to the market and bought 10 apples. I gave 2 apples to your friend and 2 to the helper. I then went and bought 5 more apples and ate 1. How many apples did I remain with? Let's think step by step.\",\"max_gen_len\":512,\"temperature\":0.5,\"top_p\":0.9}" \
--cli-binary-format raw-in-base64-out \
--region us-east-1 \
invoke-model-output.txt您可以在 Amazon Bedrock 中使用 Llama 模型代码示例，通过 Amazon SDK 使用多种编程语言构建应用程序。以下 Python 代码示例展示了如何使用 Amazon Bedrock 的 Converse API 向 Llama 发送文本消息，用于文本生成。
import boto3
from botocore.exceptions import ClientError
# Create a Bedrock Runtime client in the AWS Region you want to use.
client = boto3.client("bedrock-runtime", region_name="us-east-1")
# Set the model ID, e.g., Llama 3 8b Instruct.
model_id = "meta.llama3-1-405b-instruct-v1:0"
# Start a conversation with the user message.
user_message = "Describe the purpose of a 'hello world' program in one line."
conversation = [
{
"role": "user",
"content": [{"text": user_message}],
}
]
try:
# Send the message to the model, using a basic inference configuration.
response = client.converse(
modelId=model_id,
messages=conversation,
inferenceConfig={"maxTokens": 512, "temperature": 0.5, "topP": 0.9},
)
# Extract and print the response text.
response_text = response["output"]["message"]["content"][0]["text"]
print(response_text)
except (ClientError, Exception) as e:
print(f"ERROR: Can't invoke '{model_id}'. Reason: {e}")
exit(1)您还可以在 Amazon SageMaker JumpStart 中使用所有 Llama 3.1 模型（8B、70B 和 405B）。您可以在 Amazon SageMaker Studio 中通过几次点击部署 Llama 3.1 模型，或者通过 Amazon SageMaker Python SDK 以编程方式完成。您可以使用 Amazon SageMaker 功能（如 Amazon SageMaker Pipelines、Amazon SageMaker Debugger 或容器日志）在您的虚拟私有云 (VPC) 控制下操作您的模型，有助于提供数据安全性。
Amazon Bedrock 和 Amazon SageMaker JumpStart 中对 Llama 3.1 模型的微调功能即将推出。在 Amazon SageMaker JumpStart 中构建微调模型时，您还可以将自定义模型导入到 Amazon Bedrock。您可以访问亚马逊云科技机器学习博客上的 “Meta Llama 3.1 模型现已在 Amazon SageMaker JumpStart 中可用”，以获得更多信息。
对于希望通过自主管理的机器学习工作流在亚马逊云科技上部署 Llama 3.1 模型以获得更大灵活性和对底层资源的控制权的客户，Amazon Trainium 和 Amazon Inferentia 支持的 Amazon Elastic Compute Cloud (Amazon EC2) 实例可实现 Llama 3.1 模型在亚马逊云科技服务上的高性能、低成本部署。您可以访问亚马逊云科技机器学习博客上的 “Amazon AI 芯片赋能 Llama 3.1 模型，实现在亚马逊云科技上的高性能和低成本建构”，以获得更多信息。
现已推出
Llama 3.1 8B 和 70B 模型现已在美国西部（俄勒冈州）地区的 Amazon Bedrock 中正式可用，Llama 450B 模型目前处于预览阶段。如需申请预览 Llama 3.1 405B 的使用权限，请联系您亚马逊云科技客户经理或提交支持工单。请留意后续地区上线情况。欲了解更多信息，请查看 Amazon Bedrock 的 Llama 产品页面和定价页面。
现在就开始在 Amazon Bedrock 控制台试用 Llama 3.1 吧！并通过 Amazon re:Post 社区或您常用的亚马逊云科技支持渠道反馈意见。
作者简介
Channy Yun
Channy Yun 是亚马逊云科技的首席开发者布道师，他热衷于帮助开发人员在最新的亚马逊云科技服务上构建现代应用程序。作为一个务实的开发者和博主，他热爱社区驱动的学习和技术分享，并将开发人员聚集到全球亚马逊云科技用户群体中。他的博客主题主要为开源、容器、存储、网络和安全以及物联网。请关注他的推特账号 @channyun。
新手入门
快速体验生成式 AI
无需部署，借助开箱即用的 Amazon Bedrock 一次体验多种高性能模型，包括 Claude 3, Llama 3, SDXL, Mistral 等。
快速部署管理私服游戏
一键启动所需资源，快速完成游戏私服的自动化启动，备份以及恢复。
使用生成式 AI 构建多语言问答知识库
使用多种服务，构建可汇总搜索结果的多语言知识库。
免费套餐
AWS 海外区域
拓展海外业务或个人体验
免费使用 100 余种云产品或服务， 长达 12 个月
AWS 中国区域
发展中国业务
免费使用 40 余种核心云服务产品，长达 12 个月