Basis Pengetahuan Amazon Bedrock sekarang mendukung inferensi lintas region
Basis Pengetahuan Amazon Bedrock mengumumkan dukungan untuk inferensi lintas region, fitur opsional yang memungkinkan pengembang mengelola lonjakan lalu lintas secara lancar dengan memanfaatkan komputasi di berbagai AWS Region.
Dengan menggunakan inferensi lintas region, pelanggan Basis Pengetahuan Amazon Bedrock yang menggunakan API RetrieveAndGenerate akan dapat memperoleh batas throughput yang lebih tinggi dan ketahanan yang ditingkatkan selama periode permintaan puncak. Dengan ikut serta, pengembang tidak perlu lagi menghabiskan waktu dan tenaga untuk memprediksi fluktuasi permintaan. Sebaliknya, inferensi lintas region secara dinamis merutekan lalu lintas ke beberapa region, memastikan ketersediaan optimal untuk setiap permintaan dan kinerja yang lebih lancar selama periode penggunaan tinggi. Untuk menggunakan inferensi lintas region, pelanggan perlu menentukan profil inferensi sebagai “modelARN“dalam permintaan API RetrieveAndGenerate. Tidak ada biaya perutean tambahan untuk menggunakan inferensi lintas region dan Anda akan dikenakan biaya berdasarkan region di mana Anda membuat permintaan (region sumber).
Silakan temukan daftar model yang didukung dan region yang telah ditentukan di sini. Untuk mempelajari lebih lanjut tentang fitur dan cara memulai, lihat dokumentasi Amazon Bedrock atau blog ini.