Amazon Bedrock kini mendukung inferensi Batch untuk model Anthropic Claude Sonnet 4 dan OpenAI GPT-OSS
Model Claude Sonnet 4 dari Anthropic dan GPT-OSS 120B dan 20B dari OpenAI kini tersedia untuk inferensi Batch di Amazon Bedrock. Dengan inferensi Batch, Anda dapat menjalankan beberapa permintaan inferensi secara asinkron, meningkatkan kinerja pada set data besar dengan 50% dari harga inferensi sesuai permintaan. Amazon Bedrock menawarkan model fondasi (FM) pilihan dari penyedia AI terkemuka seperti Anthropic, OpenAI, Meta, dan Amazon untuk inferensi batch, membuatnya lebih mudah dan lebih hemat biaya untuk memproses beban kerja bervolume tinggi.
Dengan inferensi Batch pada model Claude Sonnet 4 dan OpenAI GPT-OSS, Anda dapat memproses set data besar untuk skenario seperti analisis dokumen dan umpan balik pelanggan, pembuatan konten massal (misalnya, salinan pemasaran, deskripsi produk), evaluasi prompt atau output skala besar, peringkasan otomatis basis pengetahuan dan arsip, kategorisasi massal tiket dukungan atau email, dan ekstraksi data terstruktur dari teks tak terstruktur—dalam skala besar dan dengan biaya lebih rendah. Kami telah mengoptimalkan penawaran Batch kami untuk memberikan throughput batch keseluruhan yang lebih tinggi pada model-model baru ini dibandingkan dengan model-model sebelumnya. Selain itu, Anda sekarang dapat melacak kemajuan beban kerja Batch di tingkat akun AWS dengan metrik Amazon CloudWatch. Untuk semua model, metrik ini meliputi total rekaman yang tertunda, rekaman yang diproses, dan token per menit, dan untuk model Claude, metrik ini juga meliputi token yang tertunda pemrosesannya.
Untuk mempelajari lebih lanjut tentang inferensi Batch di Amazon Bedrock, kunjungi dokumentasi inferensi Batch. Anda dapat mengunjungi halaman Region dan model yang Didukung untuk inferensi batch untuk detail lebih lanjut tentang model yang didukung dan mengikuti referensi API Amazon Bedrock untuk memulai inferensi Batch.