Amazon Bedrock memperluas dukungan untuk atribusi penggunaan tingkat permintaan
Pelanggan Amazon Bedrock kini dapat mengaitkan penggunaan inferensi model dengan tim, aplikasi, lingkungan, dan eksperimen tertentu pada tingkat permintaan individual di API InvokeModel dan InvokeModelWithResponseStream. Hal ini memberi pelanggan visibilitas yang lebih detail tentang bagaimana penggunaan Amazon Bedrock mereka didistribusikan di seluruh organisasi mereka, sehingga membantu mereka
memahami pola konsumsi, mengoptimalkan pengeluaran, dan melaporkan penggunaan kembali kepada pemangku kepentingan internal tanpa menyediakan sumber daya tambahan.
Peluncuran ini didasarkan pada portofolio kemampuan atribusi penggunaan yang sudah ada di Amazon Bedrock. Pelanggan sudah dapat mengaitkan penggunaan inferensi model pada tingkat sumber daya dan identitas menggunakan profil inferensi aplikasi, atribusi berbasis principal IAM, pelacakan tingkat proyek pada titik akhir bedrock-mantle yang kompatibel dengan OpenAI, dan pelacakan tingkat ruang kerja untuk
Model Anthropic Claude. Untuk atribusi yang lebih rinci per permintaan, API Converse dan ConverseStream telah mendukung metadata tingkat permintaan sejak diluncurkan. Rilis hari ini menghadirkan kemampuan yang sama ke API InvokeModel dan InvokeModelWithResponseStream, memberikan pelanggan cara yang konsisten untuk memberi tag pada panggilan inferensi di seluruh titik akhir bedrock-runtime.
Dengan peluncuran ini, pelanggan dapat memberi tag pada setiap panggilan inferensi model Amazon Bedrock dengan atribut seperti tim, proyek, atau lingkungan, dan menganalisis penggunaan berdasarkan tag ini dalam log invokasi model Amazon Bedrock. Untuk memulai, aktifkan pencatatan invokasi model di AWS Region tempat Anda memanggil Amazon Bedrock, lalu tambahkan metadata ke permintaan inferensi Anda. Fitur ini tersedia di semua AWS Region komersial tempat Amazon Bedrock tersedia. Untuk mempelajari lebih lanjut, lihat Meminta metadata.