Amazon SageMaker HyperPod, 이제 Karpenter를 사용한 오토 스케일링 지원
Amazon SageMaker HyperPod는 이제 Karpenter를 사용한 관리형 노드 오토 스케일링을 지원하여 고객이 동적 추론 및 교육 요구 사항에 맞게 클러스터를 자동으로 확장할 수 있도록 합니다. 실시간 추론 워크로드는 예측할 수 없는 트래픽 패턴을 처리하고 서비스 수준 계약을 유지하면서 비용을 최적화하기 위해 오토 스케일링이 필요합니다. 그러나 조직은 복잡한 오토 스케일링 솔루션을 설치, 구성 및 유지 관리하는 데 따른 운영 오버헤드로 어려움을 겪는 경우가 많습니다. HyperPod 관리형 노드 오토 스케일링은 Karpenter 설정 및 유지 관리의 번거로운 작업을 없애는 동시에 통합된 복원력 및 내결함성 기능을 제공합니다.
Karpenter를 사용한 HyperPod 오토 스케일링을 통해 고객은 추론 트래픽 급증에 맞춰 GPU 컴퓨팅을 신속하게 조정하는 적시 프로비저닝을 구현할 수 있습니다. 고객은 전용 컨트롤러 인프라를 유지하지 않고도 수요가 낮은 기간에는 노드를 0개로 확장할 수 있으며, 인스턴스 유형과 비용을 최적화하는 워크로드 인식 노드 선택의 이점을 누릴 수 있습니다. 추론 워크로드의 경우, 프로덕션 트래픽 급증을 처리하기 위한 자동 용량 스케일링, 유휴 기간 동안 지능형 노드 통합을 통한 비용 절감, KEDA와 같은 이벤트 기반 포드 오토스케일러와의 원활한 통합을 제공합니다. 또한 모델 개발 주기 동안 교육 워크로드에 대한 자동 리소스 최적화 기능도 제공합니다. UpdateCluster API에서 AutoScaling 모드를 '활성화'로 설정하고 AutoScalerType을 'Karpenter'로 설정하여 HyperPod에서 오토 스케일링을 활성화할 수 있습니다.
이 기능은 Amazon SageMaker HyperPod EKS 클러스터가 지원되는 모든 AWS 리전에서 사용할 수 있습니다. SageMaker HyperPod에서 Karpenter를 사용하여 오토 스케일링하는 방법에 대한 자세한 내용은 사용 설명서 및 블로그를 참조하세요.