Amazon SageMaker AI, 이제 추론을 위한 유연한 훈련 계획 용량 지원
Amazon SageMaker AI의 유연한 훈련 계획(FTP)이 이제 추론 엔드포인트를 지원하여, 고객에게 계획된 평가 및 프로덕션 피크 시점에 보장된 GPU 용량을 제공합니다. 이제 고객은 정확히 필요한 인스턴스 유형을 예약하고, 인프라 관리를 직접 수행하지 않고도 SageMaker AI를 사용하여 추론 엔드포인트를 자동으로 불러올 수 있습니다.
기계 학습 개발 주기를 계획할 때 고객은 모델 평가 및 사전 프로덕션 테스트에 필요한 GPU가 필요한 정확한 날짜에 제공된다고 확신할 수 있어야 합니다. FTP를 사용하면 고객은 기계 학습 워크로드를 실행하기 위한 GPU 용량에 쉽게 액세스할 수 있습니다. 이제 추론 엔드포인트에 FTP가 지원되므로 사용자는 원하는 인스턴스 유형, 컴퓨팅 요구 사항, 예약 기간 및 추론 워크로드의 시작 날짜를 선택할 수 있습니다. 사용자가 엔드포인트를 생성할 때 예약 ARN을 참조하면, SageMaker AI가 전체 계획 기간 동안 보장된 용량으로 엔드포인트를 자동으로 프로비저닝하고 실행합니다. 따라서 몇 주 동안 인프라를 관리하고 예약할 필요가 없어, 예측 가능한 방식으로 추론을 실행하면서 모델 성능을 개선하는 데 시간을 집중 투자할 수 있습니다.
SageMaker AI 추론에 대한 유연한 훈련 계획 지원은 미국 동부(버지니아 북부), 미국 서부(오리건), 미국 동부(오하이오) 리전에서 제공됩니다.
추론 엔드포인트에 FTP 예약을 사용하는 자세한 방법은 여기에 있는 SageMaker AI Inference API 레퍼런스를 참조하세요.