AWS Parallel Computing Service, 이제 Slurm SPANK 플러그인 지원
오늘 AWS는 AWS Parallel Computing Service(AWS PCS)가 SPANK(Slurm Plug-in Architecture for Node and job [K]control) 플러그인을 지원한다고 발표했습니다. 따라서 Slurm을 직접 수정하지 않고도 Slurm이 고성능 컴퓨팅(HPC) 워크로드를 예약 및 처리하는 방식을 확장하고 수정할 수 있습니다.
SPANK 플러그인을 사용하면 AWS PCS를 컨테이너 기술과 통합하고, 메모리 및 I/O 패턴에 대한 맞춤형 모니터링을 구현하며, 리소스 관리를 개선하기 위해 작업 시작을 동적으로 수정할 수 있습니다. 예를 들어 Enroot와 Pyxis 플러그인을 사용해 Amazon Elastic Container Registry, Docker Hub, NVIDIA NGC 또는 기타 컨테이너 레지스트리의 이미지를 활용하여 컨테이너화된 기계 학습 및 HPC 워크로드를 원활하게 실행할 수 있습니다.
이 기능은 AWS PCS가 제공되는 모든 AWS 리전에서 사용할 수 있습니다. SPANK 플러그인은 AWS PCS 컴퓨팅 노드를 구동하는 Amazon Machine Image(AMI)에 설치 및 구성하여 구현할 수 있습니다. 플러그인은 작업 실행 시 런타임에 동적으로 로드되어 Slurm의 기능을 손쉽게 확장할 수 있는 방식을 제공합니다.
AWS PCS에서 SPANK 플러그인을 사용하는 방법은 AWS PCS 사용 설명서에서 자세히 알아볼 수 있습니다.