Amazon Bedrock menambahkan metrik Amazon CloudWatch untuk API yang kompatibel dengan OpenAI dan Anthropic
Amazon Bedrock adalah layanan yang dikelola sepenuhnya yang menyediakan akses aman tingkat perusahaan ke model fondasi berkinerja tinggi dari perusahaan AI terkemuka, memungkinkan Anda membangun dan menskalakan aplikasi AI generatif. Pelanggan Amazon Bedrock kini dapat memantau lalu lintas inferensi ke titik akhir bedrock-mantle dengan metrik Amazon CloudWatch, dengan cara yang sama seperti yang sudah mereka lakukan untuk titik akhir bedrock-runtime dan layanan AWS lainnya. Titik akhir bedrock-mantle mendukung OpenAI Responses API, OpenAI Chat Completions API, dan Anthropic Messages API, memungkinkan pelanggan menjalankan aplikasi berbasis OpenAI atau Anthropic yang sudah ada di Amazon Bedrock dengan perubahan kode minimal.
Metrik CloudWatch untuk titik akhir bedrock-mantle dipublikasikan di bawah namespace AWS/BedrockMantle dan mencakup jumlah inferensi, total token input dan output, serta jumlah kesalahan klien. Metrik dipublikasikan pada berbagai tingkat granularitas, termasuk akun, proyek, model, dan kombinasi proyek dan model, sehingga pelanggan dapat mengaitkan penggunaan dan biaya dengan beban kerja dan tim yang tepat.
Dengan peluncuran ini, pelanggan dapat memantau inferensi produksi, mengatur alarm, dan merencanakan kapasitas pada titik akhir bedrock-mantle. Untuk memulai, buka konsol Amazon CloudWatch, pilih Metrik, dan pilih namespace AWS/BedrockMantle untuk melihat metrik akun Anda. Metrik CloudWatch untuk titik akhir bedrock-mantle tersedia di semua AWS Region tempat titik akhir tersebut ditawarkan: AS Timur (Virginia Utara, Ohio), AS Barat (Oregon), Asia Pasifik (Jakarta, Mumbai, Sydney, Tokyo), Eropa (Frankfurt, Irlandia, London, Milan, Stockholm), dan Amerika Selatan (Sao Paulo). Untuk mempelajari lebih lanjut, lihat metrik CloudWatch untuk titik akhir bedrock-mantle.