Inferensi batch Amazon Bedrock kini mendukung format API Converse
Inferensi batch Amazon Bedrock kini mendukung API Converse sebagai tipe invokasi model, memungkinkan Anda menggunakan format input yang konsisten dan tidak bergantung pada model untuk beban kerja batch Anda.
Sebelumnya, inferensi batch memerlukan format permintaan khusus model menggunakan API InvokeModel. Sekarang, saat membuat pekerjaan inferensi batch, Anda dapat memilih Converse sebagai tipe invokasi model dan menyusun data input Anda menggunakan format permintaan API Converse standar. Output untuk pekerjaan batch Converse mengikuti format respons API Converse. Dengan fitur ini, Anda dapat menggunakan format permintaan terpadu yang sama untuk inferensi waktu nyata dan inferensi batch, menyederhanakan manajemen prompt dan mengurangi upaya yang dibutuhkan untuk beralih antar model. Anda dapat mengkonfigurasi tipe invokasi model Converse melalui konsol Amazon Bedrock dan API.
Kemampuan ini tersedia di semua AWS Region yang mendukung inferensi batch Amazon Bedrock. Untuk memulai, lihat Membuat pekerjaan inferensi batch dan Memformat dan mengunggah data inferensi batch Anda di Panduan Pengguna Amazon Bedrock.