Amazon FSx for Lustre, 이제 Elastic Fabric Adapter 및 NVIDIA GPUDirect Storage 지원

게시된 날짜: 2024년 11월 27일

컴퓨팅 워크로드를 위한 비용 효율적이고 확장 가능한 고성능 파일 스토리지를 제공하는 Amazon FSx for Lustre 서비스가 이제 Elastic Fabric Adapter(EFA) 및 NVIDIA GPUDirect Storage(GDS)를 지원합니다. 이번 출시로 이제 Amazon FSx for Lustre는 클라우드에서 GPU 인스턴스를 위한 가장 빠른 스토리지 성능을 제공합니다. 이전 FSx for Lustre 시스템에 비해 클라이언트 인스턴스당 최대 12배 높은 처리량(1200Gbps)을 제공하므로 기계 학습 훈련 작업을 더 빠르게 완료하고 워크로드 비용을 절감할 수 있습니다.

EFA는 AWS Scalable Reliable Datagram(SRD) 프로토콜을 사용하여 네트워크 처리량 사용률을 높이고 데이터 전송 중에 운영 체제를 우회함으로써 워크로드 성능을 개선합니다. Trn1 및 Hpc7a와 같은 고성능 컴퓨팅 인스턴스로 구동되는 애플리케이션의 경우, EFA를 사용하여 클라이언트 인스턴스당 더 높은 처리량을 달성할 수 있습니다. GDS 지원은 EFA를 기반으로 파일 시스템과 GPU 메모리 간에 직접 데이터를 전송할 수 있도록 하여 성능을 더욱 향상시킵니다. 이 직접 경로를 사용하면 데이터 전송 작업에 메모리 복사본과 CPU가 개입할 필요가 없습니다. EFA와 GDS 지원이 결합되어 P5 GPU 인스턴스와 Compute Unified Device Architecture(CUDA)를 사용하는 애플리케이션은 클라이언트 인스턴스당 최대 12배 높은 처리량(최대 1200Gbps)을 달성할 수 있습니다.

EFA와 GDS 지원은 Persistent-2 파일 시스템이 제공되는 모든 상용 AWS 리전의 새로운 FSx for Lustre Persistent-2 파일 시스템에서 추가 비용 없이 사용할 수 있습니다. 이 새로운 기능에 대한 자세한 내용은 Amazon FSx for Lustre 설명서Amazon FSx for Lustre increases throughput to GPU instances by up to 12x AWS 뉴스 블로그를 참조하세요.