Amazon SageMaker HyperPod, 이제 스팟 인스턴스 지원
Amazon SageMaker HyperPod가 이제 스팟 인스턴스를 지원하며, 따라서 고객은 HyperPod의 온디맨드 인스턴스에 비해 GPU 컴퓨팅 비용을 최대 90%까지 절감할 수 있습니다. AI 워크로드가 확장됨에 따라 인프라 비용 최적화가 점점 더 중요해지고 있습니다. SageMaker HyperPod의 Spot 통합은 고객이 예비 EC2 용량을 대폭 할인된 가격으로 자동으로 활용하면서도 HyperPod에서 제공하는 관리형 AI 환경을 누릴 수 있게 하여 이 문제를 해결합니다.
스팟 인스턴스를 사용하면 조직은 내결함성 워크로드를 대규모로, 그리고 비용 효율적으로 실행할 수 있습니다. 스팟과 온디맨드 인스턴스와 결합하면 비용 최적화와 보장된 가용성 사이의 균형을 유지할 수 있습니다. 이 기능은 HyperPod EKS 클러스터에서 사용할 수 있으며, 지능형 자동 확장을 위해 Karpenter와 통합되어 가용 스팟 용량을 자동으로 검색하고 인스턴스 중단을 처리합니다.
스팟 인스턴스는 CreateCluster API 또는 AWS Console을 통해 인스턴스 그룹을 생성할 때 활성화할 수 있습니다. 이 기능은 CPU 및 GPU를 포함한, HyperPod에서 사용 가능한 모든 인스턴스 유형을 지원합니다. 가용 용량은 EC2에서 공급하는 양에 따라 달라지며, 지역 및 인스턴스 유형에 따라서도 달라집니다. 스팟 인스턴스 지원은 현재 SageMaker HyperPod가 제공되는 모든 리전에서 사용할 수 있습니다. 자세한 내용은 설명서를 참조하세요.