SageMaker HyperPod, 컴퓨팅 리소스의 세분화된 할당량 지정 지원
SageMaker HyperPod 태스크 거버넌스가 이제 인스턴스 내에서 GPU, Trainium 액셀러레이터, vCPU 및 vCPU 메모리의 세분화된 컴퓨팅 할당량 지정을 지원합니다. 관리자는 팀 전체에 세분화된 컴퓨팅 할당량을 지정하여 컴퓨팅 리소스 분배를 최적화하고 예산을 범위 내에서 유지할 수 있습니다.
데이터 과학자는 전체 HyperPod 인스턴스를 필요로 하지 않는 훈련이나 추론 같은 LLM 태스크를 실행하는 경우가 많으며, 이로 인해 가속화 컴퓨팅 리소스의 사용률이 낮아지곤 합니다. 관리자는 HyperPod 태스크 거버넌스를 통해 팀 간 컴퓨팅 할당량을 관리할 수 있습니다. 이 기능을 통해 이제 컴퓨팅 리소스를 전략적으로 배분하여 공정한 액세스를 보장하고 리소스 독점을 방지하며 클러스터 사용률을 극대화할 수 있습니다. 이번 기능은 인스턴스 수준 할당뿐만 아니라 세분화된 컴퓨트 할당량을 지원하여, 조직의 워크로드 요구에 맞춘 효율적인 리소스 운영을 지원합니다.
SageMaker HyperPod 태스크 거버넌스 기능은 미국 동부(버지니아 북부), 미국 서부(캘리포니아 북부), 미국 서부(오리건), 아시아 태평양(뭄바이), 아시아 태평양(싱가포르), 아시아 태평양(시드니), 아시아 태평양(도쿄), 유럽(프랑크푸르트), 유럽(아일랜드), 유럽(런던), 유럽(스톡홀름), 남아메리카(상파울루) 등 HyperPod가 제공되는 모든 AWS 리전에서 사용할 수 있습니다.
자세한 내용은 SageMaker HyperPod 웹 페이지 및 HyperPod 태스크 거버넌스 설명서에서 확인하세요.