Amazon SageMaker AI kini mendukung API yang kompatibel dengan OpenAI untuk titik akhir inferensi
Amazon SageMaker Inference kini mendukung API yang kompatibel dengan OpenAI, sehingga Anda dapat menggunakan tool dan kerangka kerja yang sudah Anda kenal, seperti OpenAI SDK, LangChain, dan Strands Agents, untuk terhubung langsung ke titik akhir SageMaker Anda. Penggantian hanya memerlukan perubahan URL titik akhir — tidak ada kode integrasi khusus, tidak ada pembungkus SDK, tidak ada penulisan ulang.
Dengan peluncuran ini, Anda tidak perlu lagi mengadopsi format API yang berbeda atau mengubah pendekatan otentikasi Anda. Cukup ubah URL titik akhir Anda, dan panggilan SDK yang ada, logika streaming, serta integrasi kerangka kerja akan tetap berfungsi seperti biasa. Anda langsung mendapatkan kemampuan untuk memilih instans GPU Anda sendiri, menyimpan data di VPC Anda sendiri, menjalankan open source atau model yang disempurnakan, dan melakukan penskalaan dengan kebijakan penskalaan otomatis yang disesuaikan dengan beban kerja Anda. Otentikasi menggunakan kredensial AWS yang sudah ada dengan pembaruan token otomatis, sehingga tidak ada hal tambahan yang perlu dikelola di lingkungan produksi.
Kemampuan ini tersedia saat ini di AS Timur (Virginia Utara), AS Barat (Oregon), AS Timur (Ohio), Asia Pasifik (Mumbai), Asia Pasifik (Jakarta), Eropa (Irlandia), Eropa (Frankfurt), Amerika Selatan (Sao Paulo), Asia Pasifik (Tokyo), Asia Pasifik (Seoul), Eropa (London), Asia Pasifik (Singapura), Asia Pasifik (Sydney), dan Kanada (Pusat). Untuk mempelajari lebih lanjut dan memulai, baca blog peluncuran atau kunjungi dokumentasi SageMaker Inference.