Amazon SageMaker AI 추론, 이제 실시간 엔드포인트를 위한 GPU 파티셔닝 지원
Amazon SageMaker AI 추론이 이제 GPU 파티셔닝을 지원하므로, 각 모델에 완전한 액셀러레이터를 하나씩 할당하는 대신 단일 GPU에서 여러 모델을 실행할 수 있습니다. SageMaker AI는 NVIDIA 멀티 인스턴스 GPU(MIG) 기술을 활용하여 GPU를 최대 7개의 독립적인 파티션으로 분할하며, 각 파티션은 별도의 메모리와 연산 능력을 제공합니다. 미세 조정된 변형 모델, 임베딩 모델, 리랭커, 분류기 같은 중소형 모델을 사용하는 고객은 이전에는 모든 모델에 완전한 액셀러레이터를 하나씩 할당해야 했습니다. 따라서 하나의 인스턴스에는 GPU 수만큼의 모델만 호스팅할 수 있었고, 해당 모델이 사용하지 않은 GPU 용량에 대한 비용을 지불해야 했습니다.
GPU 파티셔닝을 사용하면 엔드포인트에 연결된 GPU를 나누고 각 모델을 모델에 맞는 크기의 파티션에 배치하는 방법을 선택할 수 있습니다. 그런 다음 여러 모델이 하드웨어적으로 격리된 단일 액셀러레이터를 공유하므로, 사용량이 많은 모델이 인접한 모델의 메모리나 처리량을 차지할 수 없습니다. 액셀러레이터의 크기를 워크로드에 맞게 조정하면, 단일 모델에 필요한 용량을 초과하기 때문에 도입하기 어려웠던 최신 인스턴스 세대를 활용할 수도 있습니다. 사용자는 추론 구성 요소를 호스팅하는 엔드포인트를 생성할 때 GPU 파티셔닝을 구성하며, 각 모델을 이름으로 계속 간접 호출하므로 애플리케이션 코드는 변경되지 않습니다.
GPU 파티셔닝은 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(오리건), 아시아 태평양(싱가포르), 아시아 태평양(도쿄), 유럽(프랑크푸르트), 유럽(아일랜드) 리전의 P4d, P5, G7 및 G7e 인스턴스에서 사용할 수 있습니다. 자세히 알아보려면 Amazon SageMaker AI 배포 페이지를 방문하여 Amazon SageMaker AI 개발자 안내서를 참조하세요.