ขณะนี้ Amazon SageMaker AI รองรับ API ที่เข้ากันได้กับ OpenAI สำหรับตำแหน่งข้อมูลการอนุมานแล้ว
ขณะนี้ Amazon SageMaker Inference รองรับ API ที่เข้ากันได้กับ OpenAI ดังนั้น คุณจึงสามารถใช้เครื่องมือและเฟรมเวิร์กที่คุณคุ้นเคยอยู่แล้ว เช่น OpenAI SDK, LangChain และ Strands Agents เพื่อเชื่อมต่อโดยตรงกับตำแหน่งข้อมูล SageMaker ของคุณได้ การเปลี่ยนใช้งานต้องการเพียงการเปลี่ยน URL ของตำแหน่งข้อมูลเท่านั้น โดยไม่ต้องมีโค้ดการผสานรวมแบบกำหนดเอง ไม่ต้องใช้ SDK Wrapper และไม่ต้องเขียนโค้ดใหม่
ด้วยการเปิดตัวครั้งนี้ คุณไม่จำเป็นต้องใช้รูปแบบ API ที่แตกต่างออกไป หรือเปลี่ยนแนวทางการตรวจสอบสิทธิ์ของคุณอีกต่อไป เพียงเปลี่ยน URL ของตำแหน่งข้อมูล, การเรียกใช้งาน SDK, ตรรกะการสตรีม และการผสานรวมเฟรมเวิร์กที่มีอยู่ของคุณก็จะยังคงทำงานได้ตามเดิม คุณจะได้รับความสามารถในการเลือกอินสแตนซ์ GPU ของคุณเอง, เก็บข้อมูลไว้ภายใน VPC ของคุณเอง, เรียกใช้โมเดลโอเพนซอร์สหรือโมเดลที่ผ่านการปรับแต่งเพิ่มเติมใดก็ได้ และปรับขนาดด้วยนโยบายการปรับขนาดอัตโนมัติที่ปรับให้เหมาะสมกับเวิร์กโหลดของคุณได้ทันที การยืนยันตัวตนใช้ข้อมูลประจำตัว AWS ที่มีอยู่พร้อมการรีเฟรชโทเค็นอัตโนมัติ ดังนั้นจึงไม่มีสิ่งเพิ่มเติมที่ต้องจัดการในการใช้งานจริง
ความสามารถนี้พร้อมใช้งานแล้ววันนี้ในสหรัฐอเมริกาฝั่งตะวันออก (เวอร์จิเนียฝั่งเหนือ), สหรัฐอเมริกาฝั่งตะวันตก (ออริกอน), สหรัฐอเมริกาฝั่งตะวันออก (โอไฮโอ), เอเชียแปซิฟิก (มุมไบ), เอเชียแปซิฟิก (จาการ์ตา), ยุโรป (ไอร์แลนด์), ยุโรป (แฟรงก์เฟิร์ต), อเมริกาใต้ (เซาเปาลู), เอเชียแปซิฟิก (โตเกียว), เอเชียแปซิฟิก (โซล), ยุโรป (ลอนดอน), เอเชียแปซิฟิก (สิงคโปร์), เอเชียแปซิฟิก (ซิดนีย์) และแคนาดา (ภาคกลาง) หากต้องการเรียนรู้เพิ่มเติมและเริ่มต้นใช้งาน โปรดอ่านบล็อกการเปิดตัว หรือไปที่เอกสารประกอบ SageMaker Inference