Llama 3.3 70B sekarang tersedia di AWS melalui Amazon SageMaker JumpStart

Dikirim di: 26 Des 2024

Pelanggan AWS sekarang dapat mengakses model Llama 3.3 70B dari Meta melalui Amazon SageMaker JumpStart. Model Llama 3.3 70B menyeimbangkan kinerja tinggi dengan efisiensi komputasi. Ini juga memberikan kualitas keluaran yang sebanding dengan versi Llama yang lebih besar sambil membutuhkan sumber daya yang jauh lebih sedikit, menjadikannya pilihan yang sangat baik untuk deployment AI yang hemat biaya.

Llama 3.3 70B dilengkapi mekanisme perhatian yang ditingkatkan yang secara substansial mengurangi biaya inferensi. Dilatih pada sekitar 15 triliun token, termasuk konten bersumber dari web dan contoh sintetis, model tersebut menjalani penyempurnaan yang diawasi secara ekstensif dan Pembelajaran Penguatan dari Umpan Balik Manusia (RLHF). Pendekatan ini menyelaraskan keluaran lebih dekat dengan preferensi manusia sambil mempertahankan standar kinerja yang tinggi. Menurut Meta, peningkatan efisiensi ini menghasilkan operasi inferensi yang hampir lima kali lebih hemat biaya, menjadikannya opsi yang menarik untuk deployment produksi.

Pelanggan dapat men-deploy Llama 3.3 70B melalui antarmuka pengguna SageMaker JumpStart atau secara terprogram menggunakan SageMaker Python SDK. Kemampuan inferensi canggih SageMaker AI membantu mengoptimalkan performa dan efisiensi biaya untuk deployment Anda, memungkinkan Anda memanfaatkan sepenuhnya efisiensi bawaan Llama 3.3 70B sambil mendapatkan keuntungan dari proses deployment yang efisien.

Model Llama 3.3 70B tersedia di semua AWS Region tempat Amazon SageMaker AI tersedia. Untuk mempelajari lebih lanjut tentang penerapan Llama 3.3 70B di Amazon SageMaker JumpStart, lihat dokumentasi atau baca blog.