Amazon SageMaker AI 現在支援推論端點的 OpenAI 相容 API

張貼日期: 2026年5月21日

Amazon SageMaker Inference 現在支援 OpenAI 相容 API，因此您可以使用熟知的工具與框架，例如 OpenAI SDK、LangChain 和 Strands Agents，直接連線到您的 SageMaker 端點。切換時只需要變更端點 URL，無需自訂整合程式碼、SDK 包裝程式，也不需要重寫程式。

透過這次推出的功能，您不再需要採用不同的 API 格式，也不需要變更驗證方式。只要變更您的端點 URL，現有的 SDK 呼叫、串流邏輯和架構整合即可維持原樣繼續運作。您可以立即獲得自行選擇 GPU 執行個體、將資料保留在自己的 VPC 中、執行任何開放原始碼或經微調的模型，以及透過依工作負載調整的自動擴展政策進行擴展的能力。驗證會使用現有的 AWS 憑證並自動重新整理權杖，因此在生產中無需額外管理任何項目。

此功能現已在美國東部 (維吉尼亞北部)、美國西部 (奧勒岡)、美國東部 (俄亥俄)、亞太地區 (孟買)、亞太區域 (雅加達)、歐洲 (愛爾蘭)、歐洲 (法蘭克福)、南美洲 (聖保羅)、亞太地區 (東京)、亞太地區 (首爾)、歐洲 (倫敦)、亞太地區 (新加坡)、亞太地區 (雪梨) 和加拿大 (中部)。若要進一步了解並開始使用，請閱讀發佈部落格或瀏覽 SageMaker Inference 文件。