Amazon Bedrock menawarkan FM tertentu untuk inferensi batch dengan harga 50% dari harga inferensi sesuai permintaan
Tahun lalu, kami memperkenalkan dukungan untuk inferensi batch dalam pratinjau, yang memungkinkan Anda memproses prompt secara batch untuk mendapatkan respons untuk evaluasi model, eksperimen, dan pemrosesan offline. Mulai hari ini, Amazon Bedrock mendukung inferensi batch dalam ketersediaan umum di semua AWS region yang didukung untuk model yang didukung. Gunakan inferensi batch untuk menjalankan beberapa permintaan inferensi secara asinkron, dan tingkatkan kinerja inferensi model pada set data besar. Amazon Bedrock menawarkan model fondasi (FM) terpilih dari penyedia AI terkemuka seperti Anthropic, Meta, Mistral AI, dan Amazon untuk inferensi batch dengan 50% dari harga inferensi sesuai permintaan. Waktu penyelesaian inferensi batch bergantung pada berbagai faktor seperti ukuran pekerjaan, tetapi Anda dapat memperkirakan jangka waktu penyelesaian pekerjaan umum dalam waktu 24 jam. Anda dapat mempelajari lebih lanjut dalam dokumentasi inferensi batch kami dan Anda juga dapat merujuk pada dokumentasi referensi API.
Amazon Bedrock adalah layanan terkelola sepenuhnya yang menawarkan pilihan model fondasi (FM) berkinerja tinggi dari perusahaan AI terkemuka seperti AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI, serta Amazon melalui satu API. Amazon Bedrock juga menyediakan serangkaian kemampuan yang dibutuhkan pelanggan untuk membangun aplikasi AI generatif dengan keamanan, privasi, dan AI yang bertanggung jawab bawaan. Kemampuan ini membantu Anda membangun aplikasi yang disesuaikan untuk berbagai kasus penggunaan di berbagai industri, membantu organisasi membuka pertumbuhan berkelanjutan dari AI generatif sambil memastikan kepercayaan pelanggan dan tata kelola data.
Untuk informasi lebih lanjut tentang Amazon Bedrock, kunjungi halaman Amazon Bedrock dan lihat dokumentasi Amazon Bedrock untuk detail lebih lanjut.