Amazon SageMaker HyperPod, 이제 유연한 인스턴스 그룹 지원
이제 Amazon SageMaker HyperPod에서 유연한 인스턴스 그룹을 지원하므로, 고객은 단일 인스턴스 그룹 내에서 다중 인스턴스 유형과 다중 서브넷을 지정할 수 있습니다. HyperPod에서 훈련 및 추론 워크로드를 실행하는 고객은 용량 복원력, 비용 최적화, 서브넷 활용을 위해 다중 인스턴스 유형과 가용 영역을 포괄해야 하는 경우가 많습니다. 하지만 이전에는 모든 인스턴스 유형과 가용 영역 조합에 대해 별도의 인스턴스 그룹을 생성하고 관리해야 했으므로 클러스터 구성, 규모 조정, 패치 적용, 모니터링 전반에 걸쳐 운영 오버헤드가 발생했습니다.
유연한 인스턴스 그룹을 사용하면 새로운 InstanceRequirements 파라미터를 사용하여 순서가 지정된 인스턴스 유형 목록을 정의하고, 단일 인스턴스 그룹의 가용 영역 전체에 여러 서브넷을 제공할 수 있습니다. HyperPod는 우선 순위가 가장 높은 유형을 사용하여 인스턴스를 먼저 프로비저닝하고 용량을 사용할 수 없을 때 자동으로 우선 순위가 낮은 유형으로 대체하므로, 고객은 개별 인스턴스 그룹 전체에서 수동으로 다시 시도하지 않아도 됩니다. 훈련 고객은 가용 영역 내에서 다중 서브넷을 배포하여 서브넷이 소진되는 것을 방지할 수 있습니다. 수동으로 규모를 조정하는 추론 고객은 각 인스턴스 그룹을 개별적으로 재시도할 필요 없이 인스턴스 유형 전체에서 자동으로 우선 순위에 따라 폴백 기능을 사용할 수 있습니다. 반면 Karpenter 오토 스케일링을 사용하는 고객은 유연한 단일 인스턴스 그룹을 참조할 수 있습니다. Karpenter는 유연한 인스턴스 그룹에서 지원되는 인스턴스 유형을 자동으로 탐지하며, 포드 요구 사항에 따라 최적의 유형 및 가용 영역을 제공합니다. CreateCluster 및 UpdateCluster API, AWS CLI 또는 AWS Management Console을 사용하여 유연한 인스턴스 그룹을 생성할 수 있습니다.
SageMaker HyperPod가 지원되는 모든 AWS 리전에서 EKS 오케스트레이터를 사용하여 SageMaker HyperPod 클러스터에 유연한 인스턴스 그룹을 사용할 수 있습니다. 자세히 알아보려면 유연한 인스턴스 그룹을 참조하세요.