SageMaker HyperPod, 이제 동적 클러스터 활용을 위한 유휴 리소스 공유 지원
Amazon SageMaker HyperPod 태스크 거버넌스가 동적 리소스 공유를 지원하므로 이제 팀은 보장된 할당량 이상으로 HyperPod 클러스터에서 할당되지 않은 컴퓨팅 용량을 빌릴 수 있습니다. 관리자는 액셀러레이터, vCPU 또는 메모리 같은 특정 리소스 유형에 대한 대여 한도를 구성하여 팀 간에 공정한 분배를 확보할 수도 있습니다.
생성형 AI 워크로드를 위해 공유 컴퓨팅 클러스터를 운영하는 관리자는 흔히 자원 활용도 저하 문제에 직면합니다. 데이터 과학자가 주어진 할당량을 온전히 사용하지 않을 경우, 고가의 컴퓨팅 인스턴스가 유휴 상태로 방치되는 문제가 발생할 수 있습니다. 유휴 리소스 공유 기능을 통해 할당되지 않은 클러스터 용량을 자동으로 파악하고 팀이 최선을 다해 활용할 수 있도록 함으로써 이 문제를 해결합니다. HyperPod 태스크 거버넌스는 클러스터 상태를 모니터링하고 인스턴스 및 컴퓨팅 쿼터 정책이 변경될 때 대여 가능한 리소스를 자동으로 재계산하므로 수동 구성이 필요하지 않습니다. 파티셔닝된 GPU 구성이 포함된 인스턴스를 비롯하여 준비 및 예약 가능 상태인 적격 인스턴스는 할당되지 않은 컴퓨팅 용량의 대여 가능한 풀에 기여합니다. 관리자는 유휴 컴퓨팅의 백분율 기반 대여 한도 뿐만 아니라 절대 대여 한도 역시 정의할 수 있습니다. 그러면 관리자가 컴퓨팅 활용도를 극대화하고 각 팀에 대한 컴퓨팅 할당량 격리를 보장하는 동시에 유휴 용량이 팀 전체에 분산되는 방식을 세밀하게 제어할 수 있습니다.
이 기능은 현재 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 아시아 태평양(뭄바이), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(도쿄), 아시아 태평양(자카르타), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(스톡홀름), 유럽(스페인), 남아메리카(상파울루) AWS 리전에서 EKS 오케스트레이터를 사용 중인 Amazon SageMaker HyperPod 클러스터에 제공됩니다.
자세한 내용은 SageMaker HyperPod 웹 페이지 및 HyperPod 태스크 거버넌스 설명서에서 확인하세요.