Amazon SageMaker HyperPod, 이제 생성형 AI 작업을 위한 NVIDIA 다중 인스턴스 GPU(MIG) 지원
Amazon SageMaker HyperPod는 이제 NVIDIA Multi-Instance GPU(MIG) 기술을 지원하여, 관리자가 단일 GPU를 여러 개의 독립된 GPU로 분할할 수 있게 합니다. 이 기능을 사용하면 관리자는 GPU 파티션에서 다양한 소규모 생성형 AI(GenAI) 작업을 동시에 실행하여 리소스 활용도를 극대화하면서도, 성능 및 작업 격리는 그대로 유지할 수 있게 합니다.
관리자는 SageMaker HyperPod 콘솔에서 사용하기 쉬운 구성 설정이나 사용자 지정 설정 방식을 선택하여, 전체 GPU 용량이 필요하지 않은 특정 작업 요구 사항에 맞게 세분화된 하드웨어 격리 리소스를 활성화할 수 있습니다. 또한 컴퓨팅 할당량을 할당하여 여러 팀에 GPU 파티션을 공정하고 효율적으로 분배할 수 있습니다. 관리자는 GPU 파티션 전반의 실시간 성능 지표 및 리소스 사용률 모니터링 대시보드를 통해 가시성을 확보하여, 리소스 할당을 최적화할 수 있습니다. 이제 데이터 사이언티스트는 간단한 추론 작업을 예약하고 GPU 파티션에서 대화형 노트북을 병렬로 실행하여, 시장 출시 시간을 단축하고 전체 GPU 가용성을 대기하는 시간을 없앨 수 있습니다.
이 기능은 현재 미국 서부(오리건), 미국 동부(북버지니아), 미국 동부(오하이오), 미국 서부(캘리포니아 북부), 캐나다(중부), 남아메리카(상파울루), 유럽(스톡홀름), 유럽(스페인), 유럽(아일랜드), 유럽(프랑크푸르트), 유럽(런던), 아시아 태평양(뭄바이), 아시아 태평양(자카르타), 아시아 태평양(멜버른), 아시아 태평양(도쿄), 아시아 태평양(시드니), 아시아 태평양(서울), 아시아 태평양(싱가포르) AWS 리전에서 EKS 오케스트레이터를 사용하는 Amazon SageMaker HyperPod 클러스터에 사용할 수 있습니다.
자세한 내용은 SageMaker HyperPod 웹 페이지 및 SageMaker HyperPod 설명서에서 확인하세요.