Amazon Bedrock kini mendukung Responses API dari OpenAI
Amazon Bedrock kini mendukung Responses API pada titik akhir layanan baru yang kompatibel dengan OpenAI API. API Responses memungkinkan pengembang untuk mencapai inferensi asinkron untuk beban kerja inferensi yang berjalan lama, menyederhanakan integrasi penggunaan alat untuk alur kerja agentik, dan juga mendukung manajemen percakapan yang memiliki status. Alih-alih mengharuskan pengembang untuk mengirimkan seluruh riwayat percakapan dengan setiap permintaan, API Responses memungkinkan mereka untuk secara otomatis membangun kembali konteks tanpa manajemen riwayat manual. Titik akhir layanan baru ini mendukung mode streaming dan non-streaming, memungkinkan dukungan upaya penalaran dalam API Penyelesaian Chat, dan hanya memerlukan perubahan URL dasar bagi pengembang untuk mengintegrasikannya ke dalam basis kode yang ada dengan kompatibilitas SDK OpenAI.
Fitur Penyelesaian Chat dengan dukungan upaya penalaran tersedia untuk semua model Amazon Bedrock yang didukung oleh Project Mantle, mesin inferensi terdistribusi baru untuk penyajian model machine learning skala besar di Amazon Bedrock. Project Mantle menyederhanakan dan mempercepat proses pengintegrasian model baru ke Amazon Bedrock, menyediakan inferensi nirserver yang berkinerja tinggi dan andal dengan kontrol kualitas layanan yang canggih, membuka kuota pelanggan default yang lebih tinggi dengan manajemen kapasitas otomatis dan kumpulan terpadu, serta menyediakan kompatibilitas langsung dengan spesifikasi API OpenAI. Dukungan API Responses tersedia hari ini dimulai dengan model GPT OSS 20B/120B dari OpenAI, dan dukungan untuk model lain akan segera menyusul.
Untuk memulai, kunjungi dokumentasi layanan di sini