이제 Amazon SageMaker AI가 추론 엔드포인트에 OpenAI 호환 API를 지원합니다.
Amazon SageMaker Inference는 이제 OpenAI 호환 API를 지원하므로 OpenAI SDK, LangChain, Strands Agents처럼 이미 알고 있는 도구와 프레임워크를 사용하여 SageMaker 엔드포인트에 직접 연결할 수 있습니다. 전환하려면 엔드포인트 URL을 변경하기만 하면 되며, 사용자 지정 통합 코드, SDK 래퍼, 재작성은 필요하지 않습니다.
이번 출시로 더 이상 다른 API 형식을 채택하거나 인증 방식을 변경할 필요가 없어졌습니다. 엔드포인트 URL을 변경하기만 하면 기존 SDK 호출, 스트리밍 로직, 프레임워크 통합이 그대로 작동합니다. 즉시 자체 GPU 인스턴스를 선택하고, 자체 VPC에 데이터를 보관하고, 오픈 소스나 미세 조정 모델을 실행하고, 워크로드에 맞게 조정된 Auto Scaling 정책으로 확장할 수 있습니다. 인증 시 자동 토큰 새로 고침과 함께 기존 AWS 자격 증명을 사용하기 때문에 프로덕션 환경에서 추가로 관리할 필요가 없습니다.
이 기능은 현재 미국 동부(버지니아 북부), 미국 서부(오리건), 미국 동부(오하이오), 아시아 태평양(뭄바이), 아시아 태평양(자카르타), 유럽(아일랜드), 유럽(프랑크푸르트), 남아메리카(상파울루), 아시아 태평양(도쿄), 아시아 태평양(서울), 유럽(런던), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 캐나다(중부)에서 사용할 수 있습니다. 더 자세히 알아보고 시작하려면 출시 블로그를 읽거나 SageMaker 추론 설명서를 참조하세요.