Menjalankan workload generative AI skala enterprise dengan Cohere Command R & R+, sekarang tersedia di Amazon Bedrock

Pada November 2023, kami telah menyediakan dua model Cohere baru di Amazon Bedrock (Cohere Command Light dan Cohere Embed English). Hari ini, kami mengumumkan penambahan dua model Cohere lainnya di Amazon Bedrock; Cohere Command R dan Command R+.

Organisasi membutuhkan model generative artificial intelligence (generative AI) untuk berinteraksi secara aman dengan informasi yang disimpan di data source yang dimiliki oleh organisasi. Baik Command R maupun Command R+ adalah large language model (LLM) yang powerful dan scalable, dibangun khusus untuk workload setingkat enterprise sesuai kondisi di lapangan yang sebenarnya. Model-model ini bersifat multibahasa dan berfokus pada keseimbangan antara efisiensi tinggi dengan akurasi yang kuat untuk unggul dalam kemampuan seperti Retrieval-Augmented Generation (RAG), dan tool use yang memungkinkan enterprise untuk melangkah melampaui proof-of-concept (POC), dan masuk ke production menggunakan artificial intelligence (AI).

Command R adalah model generatif multibahasa yang scalable, yang ditargetkan untuk RAG dan tool use untuk memungkinkan AI skala production untuk enterprise. Command R+ adalah model yang dioptimalkan untuk RAG, dirancang untuk menangani workload setingkat enterprise dan mengoptimalkan aplikasi AI bisnis. Command R+ dioptimalkan untuk advanced RAG untuk memberikan respons yang enterprise-ready, sangat reliable, dan dapat diverifikasi karena kutipan inline yang menjadi standar dalam model ini. Dengan model-model Cohere baru di Bedrock ini, Anda dapat melakukan scaling dengan AI untuk dengan cepat menemukan informasi yang paling relevan untuk mendukung task di berbagai fungsi bisnis seperti keuangan, sumber daya manusia (SDM), penjualan, pemasaran, dan customer support, di berbagai sektor bisnis. Tool use juga tersedia di Command R+. Command R+ adalah model multibahasa yang kuat, dan sama seperti Command R, memiliki tokenizer yang dapat mengompres teks selain Bahasa Inggris jauh lebih baik daripada tokenizer yang digunakan untuk model lain di pasar.

Memulai dengan Command R dan Command R+

Untuk memulai dengan kedua model di Amazon Bedrock, pertama Anda perlu mendapatkan akses ke model-model tersebut. Di konsol Amazon Bedrock, pilih Model access, lalu pilih Manage model access. Selanjutnya, pilih model yang Anda inginkan, lalu pilih Save changes. Seperti yang Anda lihat, sekarang Anda memiliki enam model Cohere untuk dipilih di Amazon Bedrock – termasuk Command R dan Command R+ – yang memberikan Anda lebih banyak pilihan dan fleksibilitas untuk menggunakan model optimal sesuai kebutuhan bisnis Anda.

Setelah Anda memiliki akses ke model yang Anda sukai, Anda dapat menggunakan model tersebut di Amazon Bedrock. Refresh tabel foundation model untuk melihat status yang telah diupdate.

Model-model tersebut telah dilatih untuk merespons dalam bahasa pengguna seperti Bahasa Inggris, Prancis, Spanyol, Italia, Jerman, Portugis Brasil, Jepang, Korea, Tiongkok Sederhana, dan Arab. Berikut contohnya:

Prompt

<s>"Écris une description de produit pour une voiture électrique en 50 à 75 mots"

Output

Découvrez la voiture électrique qui va révolutionner votre façon de conduire.
Avec son design élégant, cette voiture offre une expérience de conduite unique
avec une accélération puissante et une autonomie impressionnante. Sa
technologie avancée vous garantit une charge rapide et une fiabilité inégalée.
Avec sa conception innovante et durable, cette voiture est parfaite pour les 
trajets urbains et les longues distances. Profitez d'une conduite silencieuse
et vivez l'expérience de la voiture électrique!

Berinteraksi secara programmatik dengan Command R dan Command R+

Anda juga dapat menggunakan AWS Command Line Interface (CLI) dan AWS Software Development Kit (SDK) untuk membuat berbagai panggilan menggunakan Amazon Bedrock API. Berikut adalah contoh kode dalam Python yang berinteraksi dengan Amazon Bedrock Runtime API menggunakan AWS SDK. Menggunakan prompt generasi teks yang sama yang saya gunakan sebelumnya, berikut tampilannya saat digunakan secara programmatik. Dalam contoh ini, saya berinteraksi dengan model Command R. Kembali ke Python, pertama-tama saya memanggil API ListFoundationModels untuk menemukan modelId untuk Command R.

import boto3
import json
import numpy

bedrock = boto3.client(service_name='bedrock', region_name='us-east-1')

listModels = bedrock.list_foundation_models(byProvider='cohere')
print("\n".join(list(map(lambda x: f"{x['modelName']} : { x['modelId'] }", listModels['modelSummaries']))))
Python

Menjalankan kode ini akan menghasilkan:

Command : cohere.command-text-v14
Command Light : cohere.command-light-text-v14
Embed English : cohere.embed-english-v3
Embed Multilingual : cohere.embed-multilingual-v3
Command R: cohere.command-r-v1:0
Command R+: cohere.command-r-plus-v1:0

Dari list tersebut, saya memilih model ID cohere.command-r-v1:0 dan menulis kode untuk menghasilkan teks seperti yang ditunjukkan sebelumnya dalam posting ini.

import boto3
import json

bedrock = boto3.client(service_name="bedrock-runtime", region_name='us-east-1')

prompt = """
<s>Écris une description de produit pour une voiture électrique en 50 à 75 mots

body = json.dumps({
    "prompt": prompt,
    "max_tokens": 512,
    "top_p": 0.8,
    "temperature": 0.5,
})

modelId = "cohere.command-r-v1:0"

accept = "application/json"
contentType = "application/json"

response = bedrock.invoke_model(
    body=body,
    modelId=modelId,
    accept=accept,
    contentType=contentType
)

print(json.loads(response.get('body').read()))

Anda akan mendapatkan output dalam format JSON seperti:

Découvrez la voiture électrique qui va révolutionner votre façon de conduire.
Avec son design élégant, cette voiture offre une expérience de conduite unique
avec une accélération puissante et une autonomie impressionnante. Sa
technologie avancée vous garantit une charge rapide et une fiabilité inégalée.
Avec sa conception innovante et durable, cette voiture est parfaite pour les 
trajets urbains et les longues distances. Profitez d'une conduite silencieuse
et vivez l'expérience de la voiture électrique!

Tersedia Sekarang

Model Command R dan Command R+, bersama dengan model Cohere lainnya, tersedia hari ini di Amazon Bedrock di US East (N. Virginia) dan US West (Oregon); periksa daftar full Region untuk pembaruan di masa mendatang.

Kunjungi website community.aws kami untuk menemukan konten teknis yang mendalam dan untuk mengetahui bagaimana komunitas Builder kami menggunakan Amazon Bedrock dalam solusi mereka. Coba Command R dan Command R+ di konsol Amazon Bedrock hari ini dan kirimkan feedback ke AWS re:Post untuk Amazon Bedrock atau melalui kontak AWS Support Anda.

Artikel ini diterjemahkan dari artikel asli dengan judul “Run scalable, enterprise-grade generative AI workloads with Cohere Command R & R+, now available in Amazon Bedrock“Meta Llama 3 models are now available in Amazon Bedrock” yang ditulis oleh Veliswa Boya, AWS.

Anda mungkin tertarik dengan artikel terkait dengan generative AI berikut:

Blog AWS Indonesia

Menjalankan workload generative AI skala enterprise dengan Cohere Command R & R+, sekarang tersedia di Amazon Bedrock

Sumber Daya

Ikuti