Amazon SageMaker AI hiện hỗ trợ API tương thích với OpenAI cho điểm cuối suy luận
Amazon SageMaker Inference hiện hỗ trợ API tương thích với OpenAI, vì vậy bạn có thể sử dụng các công cụ và khung mà bạn đã biết, như OpenAI SDK, LangChain và Strands Agents, để kết nối trực tiếp với các điểm cuối SageMaker của bạn. Để chuyển đổi, bạn chỉ cần thay đổi URL điểm cuối, không cần mã tích hợp tùy chỉnh, không cần trình bao bọc SDK và không cần viết lại.
Với lần ra mắt này, bạn không còn cần phải áp dụng một định dạng API khác hoặc thay đổi phương pháp xác thực của mình. Chỉ cần thay đổi URL điểm cuối của bạn và các lệnh gọi SDK hiện có, logic xử lý theo luồng và tích hợp khung của bạn sẽ tiếp tục hoạt động như hiện tại. Bạn sẽ lập tức có được khả năng chọn phiên bản GPU của riêng mình, giữ dữ liệu trong VPC của riêng mình, chạy bất kỳ mô hình nguồn mở hoặc đã qua tinh chỉnh nào và điều chỉnh quy mô với các chính sách tự động điều chỉnh quy mô, được điều chỉnh theo khối lượng công việc của bạn. Xác thực sử dụng thông tin chứng thực AWS hiện có với tính năng làm mới mã thông báo tự động, do đó không cần thêm thao tác quản lý nào trong môi trường sản xuất.
Khả năng này hiện có sẵn ở Miền Đông Hoa Kỳ (Bắc Virginia), Miền Tây Hoa Kỳ (Oregon), Miền Đông Hoa Kỳ (Ohio), Châu Á Thái Bình Dương (Mumbai), Châu Á Thái Bình Dương (Jakarta), Châu Âu (Ireland), Châu Âu (Frankfurt), Nam Mỹ (São Paulo), Châu Á Thái Bình Dương (Tokyo), Châu Á Thái Bình Dương (Seoul), Châu Âu (London), Châu Á Thái Bình Dương (Singapore), Châu Á Thái Bình Dương (Sydney) và Canada (Miền Trung). Để tìm hiểu thêm và bắt đầu, hãy đọc blog giới thiệu hoặc truy cập tài liệu về SageMaker Inference.