Amazon SageMaker AI artık çıkarım uç noktaları için OpenAI uyumlu API'leri destekliyor
Amazon SageMaker Çıkarım artık OpenAI uyumlu API'leri destekliyor. Böylece OpenAI SDK, LangChain ve Strands Agents gibi bildiğiniz araçları ve çerçeveleri kullanarak doğrudan SageMaker uç noktalarınıza bağlanabilirsiniz. Değiştirme, uç nokta URL'sini değiştirmekten başka bir şey gerektirmez. Özel entegrasyon koduna, SDK sarmalayıcılarına, yeniden yazmaya gerek yoktur.
Bu lansman sayesinde artık farklı bir API biçimi benimsemeniz veya kimlik doğrulama yaklaşımınızı değiştirmenize gerek yok. Uç nokta URL'nizi değiştirmeniz yeterlidir; mevcut SDK çağrılarınız, akış mantığınız ve çerçeve entegrasyonlarınız olduğu gibi çalışmaya devam eder. Hemen kendi GPU bulut sunucularınızı seçme, verileri kendi VPC'nizde tutma, herhangi bir açık kaynak veya ince ayarlanmış modeli çalıştırma ve iş yükünüze göre ayarlanmış otomatik ölçeklendirme politikalarıyla ölçeklendirme olanağı elde edersiniz. Kimlik doğrulama, otomatik belirteç yenilemesi ile mevcut AWS kimlik bilgilerini kullanır, bu nedenle üretimde yönetilecek ekstra bir şey yoktur.
Bu özellik bugün şu bölgelerde kullanılabilir: ABD Doğu (Kuzey Virginia), ABD Batı (Oregon), ABD Doğu (Ohio), Asya Pasifik (Mumbai), Asya Pasifik (Cakarta), Avrupa (İrlanda), Avrupa (Frankfurt), Güney Amerika (São Paulo), Asya Pasifik (Tokyo), Asya Pasifik (Seul), Avrupa (Londra), Asya Pasifik (Singapur), Asya Pasifik (Sidney) ve Kanada (Orta). Daha fazla bilgi edinmek ve kullanmaya başlamak için başlatma blogunu okuyun veya SageMaker Çıkarım belgelerini ziyaret edin.