亚马逊AWS官方博客

Amazon Bedrock 现已提供使用 Cohere Command R 和 Cohere Command R+ 运行可扩展的企业级生成式人工智能工作负载的功能



2023 年 11 月，我们在 Amazon Bedrock 中推出了两个新的 Cohere 模型（Cohere Command Light 和 Cohere Embed English）。今天，我们宣布在 Amazon Bedrock 中新增两个 Cohere 模型：Cohere Command R 和 Command R+。

组织需要生成式人工智能（生成式 AI）模型来安全地与存储在其企业数据来源中的信息进行交互。Command R 和 Command R+ 都是功能强大、可扩展的大型语言模型（LLM），专为现实世界的企业级工作负载而构建。它们是多语言模型，注重在高效率和高准确性之间寻求平衡，以便在检索增强生成（RAG）等功能以及工具使用方面带来出色表现，从而帮助企业从概念验证（POC）阶段过渡到使用人工智能（AI）的实际生产阶段。

Command R 是一种可扩展的多语言生成模型，针对为企业提供生产规模 AI 的 RAG 和工具使用。Command R+ 是最先进的 RAG 优化模型，旨在处理企业级工作负载并优化业务 AI 应用程序。Command R+ 针对高级 RAG 进行了优化，该模型标配内联引用，因此可提供企业级、高度可靠且可验证的响应。借助 Bedrock 中的这些新 Cohere 模型，您可以利用 AI 进行扩展，快速找到最相关的信息来支持跨业务职能部门的任务，例如财务、人力资源（HR）、销售、营销和客户支持等一系列业务部门的任务。Command R+ 中也可以使用工具。Command R+ 是一种强大的多语言模型，与 Command R 类似，它配备一个分词器，该分词器对非英语文本的压缩效果比市面上其他模型使用的分词器要好得多。

Command R 和 Command R+ 入门
要开始在 Amazon Bedrock 中使用这两种模型，首先需要访问这些模型。在 Amazon Bedrock 控制台上，选择模型访问权限，然后选择管理模型访问权限。接下来，选择您首选的模型，然后选择保存更改。如您所见，Amazon Bedrock 目前提供六种 Cohere 模型可供选择，包括 Command R 和 Command R+，这为您提供了更多的选择和更高的灵活性，让您可以根据自己的特定业务需求使用最适合的模型。

获得首选模型后，即可在 Amazon Bedrock 中使用该模型。刷新基础模型表以查看更新后的状态。

这些模型经过训练，可以使用用户的语言做出响应，例如英语、法语、西班牙语、意大利语、德语、巴西葡萄牙语、日语、韩语、简体中文和阿拉伯语。请看以下示例：

提示

<s>"Écris une description de produit pour une voiture électrique en 50 à 75 mots"

输出

Découvrez la voiture électrique qui va révolutionner votre façon de conduire.
Avec son design élégant, cette voiture offre une expérience de conduite unique
avec une accélération puissante et une autonomie impressionnante.Sa
technologie avancée vous garantit une charge rapide et une fiabilité inégalée.
Avec sa conception innovante et durable, cette voiture est parfaite pour les 
trajets urbains et les longues distances.Profitez d'une conduite silencieuse
et vivez l'expérience de la voiture électrique!

以编程方式与命令 R 和命令 R+ 进行交互
您还可以通过 AWS 命令行界面（CLI）和 AWS 软件开发工具包（SDK）使用 Amazon Bedrock API 进行各种调用。以下是使用 AWS 开发工具包与 Amazon Bedrock 运行时系统 API 交互的 Python 示例代码。采用我之前使用的相同文本生成提示，以下是以编程方式使用时的样子。在此示例中，我正在与 Command R 模型进行交互。回到 Python 上来，我首先运行 ListFoundationModels API 调用，查找 Cohere Embed 的 modelId。

import boto3
import json
import numpy

bedrock = boto3.client(service_name='bedrock', region_name='us-east-1')

listModels = bedrock.list_foundation_models(byProvider='cohere')
print("\n".join(list(map(lambda x: f"{x['modelName']} : { x['modelId'] }", listModels['modelSummaries']))))

运行这段代码可生成以下列表：

Command : cohere.command-text-v14
Command Light：cohere.command-light-text-v14
Embed English : cohere.embed-english-v3
Embed Multilingual : cohere.embed-multilingual-v3
Command R: cohere.command-r-v1:0
Command R+: cohere.command-r-plus-v1:0

从该列表中，我选择了 cohere.command-r-v1:0 模型 ID，然后编写代码来生成前文所示的文本。

import boto3
import json

bedrock = boto3.client(service_name="bedrock-runtime", region_name='us-east-1')

prompt = """
<s>Écris une description de produit pour une voiture électrique en 50 à 75 mots

body = json.dumps({
    "prompt": prompt,
    "max_tokens": 512,
    "top_p": 0.8,
    "temperature": 0.5,
})

modelId = "cohere.command-r-v1:0"

accept = "application/json"
contentType = "application/json"

response = bedrock.invoke_model(
    body=body,
    modelId=modelId,
    accept=accept,
    contentType=contentType
)

print(json.loads(response.get('body').read()))

您可以获得 JSON 格式的输出，如下所示：

Découvrez la voiture électrique qui va révolutionner votre façon de conduire.
Avec son design élégant, cette voiture offre une expérience de conduite unique
avec une accélération puissante et une autonomie impressionnante.Sa
technologie avancée vous garantit une charge rapide et une fiabilité inégalée.
Avec sa conception innovante et durable, cette voiture est parfaite pour les 
trajets urbains et les longues distances.Profitez d'une conduite silencieuse
et vivez l'expérience de la voiture électrique!

现已推出

Command R 和 Command R+ 模型以及其他 Cohere 模型现已在美国东部（弗吉尼亚州北部）和美国西部（俄勒冈州）区域的 Amazon Bedrock 中推出；查看完整的区域列表以了解将来的更新。

请访问我们的 community.aws 网站，查找深入的技术内容，并了解我们的构建者社区如何在其解决方案中使用 Amazon Bedrock。立即在 Amazon Bedrock 控制台中试用 Command R 和 Command R+，并将反馈发送至 AWS re:Post for Amazon Bedrock 或通过您常用的 AWS Support 联系方式发送。

– Veliswa。