Model Meta Llama 3 kini tersedia di Amazon Bedrock

Hari ini, kami mengumumkan ketersediaan model Llama 3 Meta di Amazon Bedrock. Meta Llama 3 dirancang bagi Anda untuk membangun, bereksperimen, dan scaling aplikasi generative artificial intelligence (AI) Anda. Model Llama 3 yang baru memiliki kemampuan yang lebih tinggi untuk mendukung berbagai kasus penggunaan dengan peningkatan dalam penalaran, pembuatan kode, dan instruksi.

Menurut pengumuman Meta’s Llama 3, rangkaian model Llama 3 adalah kumpulan large language models (LLMs) yang telah dilatih dan disesuaikan dengan instruksi dalam ukuran parameter 8B dan 70B. Model-model ini telah dilatih dengan lebih dari 15 triliun token data, jumlah data pelatihan yang tujuh kali lebih besar dibandingkan yang digunakan untuk model Llama 2, termasuk kode yang empat kali lebih banyak, dan mendukung panjang konteks 8K yang menggandakan kapasitas Llama 2.

Anda kini dapat menggunakan dua model Llama 3 yang baru di Amazon Bedrock, yang semakin meningkatkan banyaknya pilihan model di Amazon Bedrock. Model ini memberikan kemampuan bagi Anda untuk dengan mudah bereksperimen dan mengevaluasi lebih banyak foundation models (FMs) bagus untuk kasus penggunaan Anda:

• Llama 3 8B ideal untuk resource dan sumber daya komputasi yang terbatas, serta perangkat edge. Model ini unggul dalam peringkasan teks, klasifikasi teks, analisis sentimen, dan terjemahan bahasa.
• Llama 3 70B ideal untuk pembuatan konten, percakapan AI, pemahaman bahasa, pengembangan penelitian, dan aplikasi enterprise. Model ini unggul dalam peringkasan dan akurasi teks, klasifikasi dan nuansa teks, analisis sentimen dan penalaran nuansa, pemodelan bahasa, sistem dialog, pembuatan kode, dan mengikuti instruksi.

Meta juga sedang melatih model Llama 3 lain dengan ukuran lebih dari 400 miliar parameter. Model 400B ini akan memiliki kemampuan baru, termasuk multimodalitas, dukungan berbagai bahasa, dan context window yang lebih panjang. Ketika dirilis, model-model ini akan ideal untuk pembuatan konten, percakapan AI, pemahaman bahasa, penelitian dan pengembangan (R&D), dan aplikasi perusahaan.

Menggunakan Model Llama 3
Jika Anda baru menggunakan model Meta, buka konsol Amazon Bedrock dan pilih Model access di panel kiri bawah. Untuk mengakses model Llama 3 terbaru dari Meta, minta akses secara terpisah untuk Llama 3 8B Instruct atau Llama 3 70B Instruct.

Untuk menguji model Meta Llama 3 di konsol Amazon Bedrock, pilih Text atau Chat di bawah Playgrounds di panel menu kiri. Kemudian pilih Select model dan pilih Meta sebagai kategori dan Llama 8B Instruct atau Llama 3 70B Instruct sebagai model.

Dengan memilih View API request, Anda juga dapat mengakses model menggunakan contoh kode di AWS Command Line Interface (AWS CLI) dan AWS SDK. Anda dapat menggunakan ID model seperti meta.llama3-8b-instruct-v1 atau meta.llama3-70b-instruct-v1.

Berikut adalah contoh perintah AWS CLI:

$ aws bedrock-runtime invoke-model \
  --model-id meta.llama3-8b-instruct-v1:0 \
  --body "{\"prompt\":\"Simply put, the theory of relativity states that\\n the laws of physics are the same everywhere in the universe, and that the passage of time and the length of objects can vary depending on their speed and position in a gravitational field \",\"max_gen_len\":512,\"temperature\":0.5,\"top_p\":0.9}" \
  --cli-binary-format raw-in-base64-out \
  --region us-east-1 \
  invoke-model-output.txt

Anda dapat menggunakan contoh kode untuk Amazon Bedrock menggunakan AWS SDK untuk membangun aplikasi Anda dengan berbagai bahasa pemrograman. Contoh kode Python berikut menunjukkan cara memanggil model Chat Llama 3 di Amazon Bedrock untuk pembuatan teks.

def invoke_llama3(self, prompt):
        try:
            body = {
                "prompt": prompt,
                "temperature": 0.5,
                "top_p": 0.9,
                "max_gen_len": 512,
            }

            response = self.bedrock_runtime_client.invoke_model(
                modelId="meta.llama3-8b-instruct-v1:0", body=json.dumps(body)
            )

            response_body = json.loads(response["body"].read())
            completion = response_body["generation"]

            return completion

        except ClientError:
            logger.error("Couldn't invoke Llama 3")
            raise

Anda dapat menggunakan model Llama 3 ini untuk berbagai task, seperti menjawab pertanyaan, menerjemah bahasa, analisis sentimen, dan banyak lagi. Berikut adalah contoh model Llama 3 dengan few-shot in-context learning di mana kami menyediakan sampel pelatihan yang tersedia untuk model tersebut.

Input: Translate English to French:
sea otter => loutre de mer
peppermint => menthe poivrée
plush girafe => girafe peluche
cheese =>
Output:  fromage
panda => panda
penguin => pingouin
polar bear => ours polaire
puffin => macareux
sloth => paresseux
walrus => morse
whale => baleine
zebra => z\u00e8bre

Translate English to German:
sea otter => Seeotter

Anda juga dapat menggunakan model instruksi Llama 3 yang dioptimalkan untuk percakapan atau dialog. Inputan untuk endpoint model instruksi adalah riwayat percakapan sebelumnya antara asisten chat dan pengguna. Jadi, Anda dapat mengajukan pertanyaan kontekstual terhadap percakapan yang telah terjadi sejauh ini dan memberikan konfigurasi sistem, seperti persona, yang menentukan perilaku asisten chat dalam format berikut:

<|begin_of_text|><|start_header_id|>system<|end_header_id|>
[SYSTEM_TEXT]<|eot_id|><|start_header_id|>user<|end_header_id|>
[USER_TEXT]<|eot_id|><|start_header_id|>assistant<|end_header_id|>

Pada contoh berikut, pengguna melakukan percakapan dengan asisten tentang lokasi wisata di Paris. Kemudian, pengguna menanyakan tentang opsi pertama yang direkomendasikan oleh asisten chat.

Input: <|begin_of_text|><|start_header_id|>user<|end_header_id|>\n\n
I am going to Paris, what should I see?<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n
Paris, the capital of France, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. Here are some of the top attractions to see in Paris:\n\n
1. The Eiffel Tower: The iconic Eiffel Tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.\n
2. The Louvre Museum: The Louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the Mona Lisa.\n
3. Notre-Dame Cathedral: This beautiful cathedral is one of the most famous landmarks in Paris and is known for its Gothic architecture and stunning stained glass windows.\n\n
These are just a few of the many attractions that Paris has to offer. With so much to see and do, it's no wonder that Paris is one of the most popular tourist destinations in the world.<|eot_id|><|start_header_id|>user<|end_header_id|>\n\n
What is so great about #1?<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n
Output: The Eiffel Tower! It's an iconic symbol of Paris and one of the most recognizable landmarks in the world. Here are some reasons why it's so great:\n\n
1. **Engineering marvel**: When it was built for the 1889 World's Fair, the Eiffel Tower was a groundbreaking feat of engineering. It was the tallest structure in the world at the time, standing at 324 meters (1,063 feet).\n
2. **Panoramic views**: The Eiffel Tower offers breathtaking 360-degree views of the city from its observation decks. You can see many of Paris' famous landmarks, such as the Seine River, the Louvre, and Montmartre.\n
3. **Romantic atmosphere**: The Eiffel Tower is often associated with romance and is a popular spot for proposals, weddings, and romantic dinners. The tower's iron latticework and twinkling lights at night add to its romantic ambiance.\n
4. **Historical significance**: The Eiffel Tower has played a significant role in French history, serving as a communication tower during World War I and a symbol of French culture and engineering.\n
5. **Accessibility**: The Eiffel Tower is easily accessible by public transportation or on foot, and there are various ways to experience it, including taking the stairs, elevator, or a guided tour.\n
6. **Nighttime spectacle**: The Eiffel Tower is even more magical at night, when it's illuminated with thousands of twinkling lights. The light show, known as the \"Eiffel Tower Sparkle,\" takes place every hour on the hour from dusk to midnight.\n
7. **Iconic status**: The Eiffel Tower has been featured in countless films, literature, and art, making it an instantly recognizable symbol of Paris and France.\n\n
Overall, the Eiffel Tower is a must-visit attraction in Paris, offering a unique combination of history, engineering, romance, and stunning views.

Untuk mempelajari lebih lanjut tentang template prompt baru dan token spesial Llama 3, lihat model cards dan format prompt Meta atau Llama recipes di repositori GitHub.

Kini tersedia
Model Llama 3 dari Meta saat ini tersedia di Amazon Bedrock di region US East (Virginia Utara) dan US West (Oregon). Periksa daftar lengkap Region untuk update di masa mendatang. Untuk mempelajari lebih lanjut, lihat halaman produk Llama di Amazon Bedrock dan juga halaman harga.

Coba Llama 3 di konsol Amazon Bedrock hari ini, dan kirimkan feedback ke AWS re:Post for Amazon Bedrock atau melalui kontak AWS Support Anda.

Kunjungi website community.aws kami untuk menemukan konten teknis mendalam dan mengetahui bagaimana komunitas Builder kami menggunakan Amazon Bedrock dalam solusi mereka.

Artikel ini diterjemahkan dari artikel asli dengan judul “Meta Llama 3 models are now available in Amazon Bedrock” yang ditulis oleh Channy Yun, AWS.