宣布在 Amazon Bedrock 中推出来自 Meta 的 Llama 3.1 405B、70B 和 8B 模型

今天，我们宣布 Llama 3.1 模型在 Amazon Bedrock 上线。Llama 3.1 模型是 Meta 迄今为止最先进、功能最强大的模型。Llama 3.1 集合了 8B、70B 和 405B 参数大小的模型，这些模型在广泛的行业基准测试中展现了卓越的性能，并为您的生成式人工智能（生成式 AI）应用程序提供新功能。

所有 Llama 3.1 模型都支持 128K 上下文长度（比 Llama 3 增加了 12 万个令牌），容量是 Llama 3 模型的 16 倍，还提高了八种语言的多语言对话用例推理效率，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

现在可以在 Amazon Bedrock 中使用 Meta 的三款全新 Llama 3.1 模型，来构建、试验和负责任地扩展您的生成式人工智能创意：

根据 Meta 的数据，Llama 3.1 405B（预览版）是世界上最大的公开大型语言模型（LLM）。该模型为人工智能设定了新标准，是企业级应用程序和研发（R&D）的理想之选。它非常适合诸如生成合成数据之类的任务，在这些任务中，可将模型的输出用于改进较小的 Llama 模型和模型提炼，以将知识从 405B 模型转移到较小的模型。该模型在常识、长篇文本生成、多语言翻译、机器翻译、编码、数学、工具使用、增强情境理解以及高级推理和决策领域表现优异。要了解更多信息，请访问 AWS 机器学习博客，了解如何使用 Llama 3.1 405B 生成用于模型提炼的合成数据。
Llama 3.1 70B 非常适合内容创建、对话式 AI、语言理解、研发和企业应用程序。该模型在文本摘要和准确性、文本分类、情感分析和细微差别推理、语言建模、对话系统、代码生成和遵循指令方面表现出色。
Llama 3.1 8B 非常适合有限的计算能力和资源。该模型在要求低延迟推理的文本摘要、文本分类、情感分析和语言翻译方面表现出色。

Meta 衡量了 Llama 3.1 在 150 多个基准数据集上的性能，这些数据集涵盖了多种语言并进行了广泛的人工评估。如下图所示，在所有主要基准测试类别中，Llama 3.1 的表现都优于 Llama 3。

要了解有关 Llama 3.1 特征和功能的更多信息，请访问 Meta 的 Llama 3.1 模型卡和 AWS 文档中的 Llama 模型。

您可以利用 Llama 3.1 的负责任的人工智能功能，结合 Amazon Bedrock 的数据治理和模型评估功能，自信地构建安全可靠的生成式人工智能应用程序。

Amazon Bedrock 防护机制 – 创建多个防护机制，使其具有为特定应用场景定制的不同配置，之后您就可以使用这些防护机制，通过实施针对您的应用场景和负责任的人工智能策略定制的保护措施，来促进用户与生成式人工智能应用程序之间的安全交互。借助 Amazon Bedrock 防护机制，您可以持续监控和分析可能违反客户定义政策的用户输入和模型响应，检测不基于企业数据或与用户查询无关的模型响应中的幻觉，并对包括自定义和第三方模型在内的不同模型进行评估。要开始使用，请访问 AWS 文档中的创建防护机制。
Amazon Bedrock 上的模型评估 – 您可以使用自动评估或人工评估，只需几个步骤，即可评估、比较和选择最适合您的应用场景的 Llama 模型。借助 Amazon Bedrock 上的模型评估，您可以使用包含准确性、稳定性和毒性等预定义指标的自动评估。或者，对于相关性、风格和与品牌声音的一致性等主观或自定义指标，您可以选择人工评估工作流程。模型评估提供内置的精选数据集，或者您可以引入自己的数据集。要开始使用，请访问 AWS 文档中的开始进行模型评估。

要详细了解如何在 AWS 中保护您的数据和应用程序的安全和隐私，请访问 Amazon Bedrock 安全和隐私页面。

开始在 Amazon Bedrock 中使用 Llama 3.1 模型
如果您是第一次使用 Meta 的 Llama 模型，请前往 Amazon Bedrock 控制台，然后在左下方窗格中选择模型访问权限。要从 Meta 访问最新的 Llama 3.1 模型，请单独请求访问 Llama 3.1 8B Instruct、Llama 3.1 70B Instruct 或 Llama 3.1 405B Instruct。

要申请在 Amazon Bedrock 中访问 Llama 3.1 405B 预览版的权限，请联系您的 AWS 账户团队或通过 AWS 管理控制台提交支持票证。创建支持票证时，为服务和模型的类别选择 Amazon Bedrock。

要在 Amazon Bedrock 控制台中测试 Llama 3.1 模型，请在左侧菜单窗格的操场下选择文本或聊天。然后选择选择模型并选择 Meta 作为类别，选择 Llama 3.1 8B Instruct、Llama 3.1 70B Instruct 或 Llama 3.1 405B Instruct 作为模型。

在以下示例中，我选择了 Llama 3.1 405B Instruct 模型。

您还可以选择查看 API 请求，使用 AWS 命令行界面（AWS CLI）和 AWS SDK 中的代码示例访问模型。您可以使用模型 ID，如 meta.llama3-1-8b-instruct-v1、meta.llama3-1-70b-instruct-v1 或 meta.llama3-1-405b-instruct-v1。

以下是 AWS CLI 命令的示例：

aws bedrock-runtime invoke-model \
  --model-id meta.llama3-1-405b-instruct-v1:0 \
--body "{\"prompt\":\" [INST]You are a very intelligent bot with exceptional critical thinking[/INST] I went to the market and bought 10 apples.I gave 2 apples to your friend and 2 to the helper.I then went and bought 5 more apples and ate 1.How many apples did I remain with? Let's think step by step.\",\"max_gen_len\":512,\"temperature\":0.5,\"top_p\":0.9}" \
  --cli-binary-format raw-in-base64-out \
  --region us-east-1 \
  invoke-model-output.txt

您可以使用 AWS SDK，通过 Amazon Bedrock 中的 Llama 模型代码示例以各种编程语言构建应用程序。以下 Python 代码示例展示了如何使用 Amazon Bedrock 对话 API 向 Llama 发送短信来生成文本。

import boto3
from botocore.exceptions import ClientError

# 在您要使用的 AWS 区域中创建 Bedrock 运行时客户端。
client = boto3.client("bedrock-runtime", region_name="us-east-1")

# 设置模型 ID，例如 Llama 3 8b Instruct。
model_id = "meta.llama3-1-405b-instruct-v1:0"

# 使用用户消息开始对话。
user_message = "Describe the purpose of a 'hello world' program in one line."
conversation = [
    {
        "role": "user",
        "content": [{"text": user_message}],
    }
]

try:
    # 使用基本推理配置将消息发送到模型。
    response = client.converse(
        modelId=model_id,
        messages=conversation,
        inferenceConfig={"maxTokens": 512, "temperature": 0.5, "topP": 0.9},
    )

    # 提取并打印响应文本。
    response_text = response["output"]["message"]["content"][0]["text"]
    print(response_text)

except (ClientError, Exception) as e:
    print(f"ERROR: Can't invoke '{model_id}'.Reason: {e}")
    exit(1)

还可以在 Amazon SageMaker JumpStart 中使用所有 Llama 3.1 模型（8B、70B 和 405B）。可以在 Amazon SageMaker Studio 中单击几下或通过 SageMaker Python SDK 以编程方式发现和部署 Llama 3.1 模型。可以在虚拟私有云（VPC）控件下使用 SageMaker Pipelines、SageMaker Debugger 或容器日志等 SageMaker 功能来操作您的模型，这有助于保护数据安全。

即将对 Amazon Bedrock 和 Amazon SageMaker JumpStart 中的 Llama 3.1 模型进行微调。在 SageMaker JumpStart 中构建经过微调的模型时，您还可以将自定义模型导入到 Amazon Bedrock。要了解更多信息，请访问 AWS 机器学习博客上的 Meta Llama 3.1 模型现已在 Amazon SageMaker JumpStart 中推出。

有些客户想要通过自我管理的机器学习工作流程在 AWS 上部署 Llama 3.1 模型，以此提高底层资源的灵活性和控制力，对于这些客户，由 AWS Trainium 和 AWS Inferentia 提供支持的 Amazon Elastic Compute Cloud（Amazon EC2）实例可实现在 AWS 上高性能、经济高效地部署 Llama 3.1 模型。要了解更多信息，请访问 AWS 机器学习博客中 AWS 上的 AWS AI 芯片为 Meta Llama 3.1 模型实现高性能和低成本。

为庆祝此次发布，Meta 业务发展经理 Parkin Kent 谈到了 Meta 和亚马逊合作的力量，重点介绍了 Meta 和亚马逊如何共同努力、突破生成式人工智能可能性的界限。

了解企业如何利用 Amazon Bedrock 中的 Llama 模型来充分挖掘生成式人工智能的力量。Nomura 是一家横跨 30 个国家和地区的全球金融服务集团，它正在使用 Amazon Bedrock 中的 Llama 模型在其组织中普及生成式人工智能。

现已推出
来自 Meta 的 Llama 3.1 8B 和 70B 模型现已正式推出，Llama 450B 模型当前在美国西部（俄勒冈州）地区在 Amazon Bedrock 中为预览版。要申请在 Amazon Bedrock 中访问 Llama 3.1 405B 预览版的权限，请联系您的 AWS 账户团队或提交支持票证。查看完整区域列表以了解将来的更新。要了解更多信息，请查看 Amazon Bedrock 中的 Llama 产品页面和 Amazon Bedrock 定价页面。

立即在 Amazon Bedrock 控制台中试用 Llama 3.1，并将反馈发送至 AWS re:Post for Amazon Bedrock 或通过您常用的 AWS Support 联系方式发送。

请访问我们的 community.aws 网站，查找深入的技术内容，并了解我们的构建者社区如何在其解决方案中使用 Amazon Bedrock。告诉我您在 Amazon Bedrock 中用 Llama 3.1 构建了什么！

— Channy

*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外区域可用，亚马逊云科技中国仅为帮助您了解行业前沿技术和发展海外业务选择推介该服务。

亚马逊AWS官方博客

宣布在 Amazon Bedrock 中推出来自 Meta 的 Llama 3.1 405B、70B 和 8B 模型