Amazon Bedrock Agent, Flow, dan Knowledge Base sekarang mendukung Model yang Dioptimalkan Latensi

Dikirim di: 23 Des 2024

Amazon Bedrock Agent, Flow, dan Knowledge Base sekarang menawarkan dukungan untuk model yang baru-baru ini diumumkan, dalam pratinjau, dan dioptimalkan latensi melalui SDK. Peningkatan ini menghadirkan waktu respons yang lebih cepat dan peningkatan respons terhadap aplikasi AI yang dibangun dengan Amazon Bedrock Tooling. Saat ini, optimisasi ini tersedia untuk model Claude 3.5 Haiku Anthropic dan model Llama 3.1 405B dan 70B Meta, menawarkan latensi yang lebih rendah dibandingkan dengan model standar tanpa mengorbankan akurasi.

Pembaruan ini sangat bermanfaat bagi pelanggan yang mengembangkan aplikasi sensitif latensi seperti chatbot layanan pelanggan real-time dan asisten pengkodean interaktif. Dengan memanfaatkan chip AI yang dibuat khusus, seperti AWS Trainium2 dan optimisasi perangkat lunak lanjutan di Amazon Bedrock, pelanggan dapat mengakses lebih banyak opsi guna mengoptimalkan inferensi mereka untuk kasus penggunaan spesifik. Yang penting, kemampuan ini dapat segera diintegrasikan ke dalam aplikasi yang ada tanpa pengaturan tambahan atau penyempurnaan model, menghasilkan peningkatan kinerja dan waktu respons yang lebih cepat.

Dukungan inferensi yang dioptimalkan latensi untuk Amazon Bedrock Agent, Flow, dan Knowledge Base tersedia di Region AS Timur (Ohio) melalui inferensi lintas wilayah. Pelanggan dapat mengakses kemampuan baru ini melalui Amazon Bedrock SDK melalui konfigurasi runtime, memungkinkan mereka untuk secara terprogram menggabungkan model yang dioptimalkan ini ke dalam alur kerja dan aplikasi mereka.

Untuk mempelajari lebih lanjut tentang Amazon Bedrock dan kemampuannya, termasuk dukungan inferensi baru yang dioptimalkan latensi ini, kunjungi halaman produk Amazon Bedrock, halaman harga, dan dokumentasi.