Amazon FSx for Lustre용 File Release 신규 기능 출시

Amazon FSx for Lustre는 Linux 기반 워크로드를 지원하기 위해 오픈 소스 Lustre 파일 시스템의 확장성 및 고성능을 갖춘 완전관리형 공유 스토리지를 제공합니다. FSx for Lustre는 스토리지 속도와 처리량이 중요한 워크로드에 적합합니다. FSx for Lustre를 사용하면 스토리지 병목 현상을 방지하고, 컴퓨팅 리소스의 활용도를 높이고, 인공 지능(AI) 및 기계 학습(ML), 고성능 컴퓨팅(HPC), 재무 모델링, 미디어 처리를 비롯한 워크로드의 가치 창출 시간을 단축할 수 있기 때문입니다.

FSx for Lustre는 기본적으로 Amazon Simple Storage Service(S3)와 통합되어 자동 가져오기 및 내보내기를 통해 양방향으로 변경 사항을 동기화합니다. 따라서 고성능 POSIX 준수 파일 시스템을 통해 온디맨드로 Amazon S3 데이터 레이크에 액세스할 수 있습니다.

오늘 부터 FSx for Lustre용 File Release (파일 릴리스) 기능을 출시합니다. 이 기능을 사용하면 Amazon S3와 동기화된 파일 데이터를 릴리스하여 데이터 수명 주기를 관리할 수 있습니다. 파일 릴리스는 스토리지 공간을 확보하므로 Amazon S3에서 FSx for Lustre 지연 로딩을 통해 릴리스된 파일에 대한 온디맨드 액세스를 유지하면서 파일 시스템에 새 데이터를 계속 쓸 수 있습니다. 릴리스할 디렉터리를 지정하고 선택적으로 마지막 액세스 이후 최소 시간을 지정하여 지정된 디렉터리의 데이터 및 마지막 액세스 이후 최소 시간(지정된 경우)이 경과한 데이터만 릴리스되도록 합니다. 파일 릴리스는 더 오래된 파일 데이터를 S3로 이동하여 S3 계층화를 활용할 수 있도록 하므로 데이터 수명 주기 관리에 도움이 됩니다.

파일 릴리스 태스크는 AWS Management Console을 사용하거나 AWS CLI, AWS SDK 또는 Amazon EventBridge 스케줄러를 통해 API를 직접 호출하여 정기적으로 릴리스 태스크를 예약함으로써 시작됩니다. 원하는 경우 릴리스 태스크가 끝날 때 완료 보고서를 받도록 선택할 수 있습니다.

파일 릴리스 태스크 시작
한 가지 예로 콘솔을 사용하여 릴리스 태스크를 시작하는 방법을 살펴보겠습니다. 릴리스할 파일의 기준(예: 디렉터리 또는 마지막 액세스 이후 시간)을 지정하기 위해 릴리스 데이터 리포지토리 태스크(DRT)를 정의합니다. DRT는 Amazon S3와 동기화되고 지정된 기준을 충족하는 모든 파일을 릴리스합니다. 릴리스 DRT가 순서대로 처리된다는 점에 주목해야 합니다. 즉, 다른 DRT(예: 가져오기 또는 내보내기)가 진행 중일 때 릴리스 DRT를 제출하면 릴리스 DRT는 대기열에 추가되지만 해당 가져오기 또는 내보내기 DRT 태스크가 완료될 때까지 처리되지 않습니다.

참고: 데이터 리포지토리 연결이 작동하려면 파일 시스템에 대한 자동 백업을 비활성화해야 합니다(이 작업을 수행하려면 백업 탭 사용). 둘째, 파일 시스템과 관련 S3 버킷이 동일한 AWS 리전에 있어야 합니다.

필자는 FSx for Lustre 파일 시스템 my-fsx-test를 이미 사용 중입니다.

파일 시스템의 디렉터리와 S3 버킷 또는 접두사 간의 링크인 데이터 리포지토리 연결을 생성합니다.

파일 시스템에 연결할 S3 버킷 또는 S3 접두사의 이름을 지정합니다.

데이터 리포지토리 연결이 생성된 후 Create release task(릴리스 작업 생성)를 선택합니다.

릴리스 태스크는 사용자가 선택한 특정 기준에 따라 디렉터리 또는 파일을 릴리스합니다. 릴리스가 제대로 작동하려면 이러한 파일 또는 디렉터리를 S3 버킷과 동기화해야 한다는 점을 기억해야 합니다. 릴리스에 (디렉터리 외에) 최종 액세스 이후 최소 시간을 지정한 경우 그 전에 액세스되지 않은 파일이 릴리스됩니다.

이 예에서는 완료 보고서를 비활성화하도록 선택했습니다. 하지만 완료 보고서를 활성화하도록 선택하면 릴리스 태스크가 끝날 때 릴리스 태스크에서 보고서가 생성됩니다.

기존 FSx for Lustre 기능을 사용하면 릴리스된 파일에 계속 액세스하여 Amazon S3에서 자동으로 데이터를 검색하고 온디맨드로 파일 시스템으로 다시 전송할 수 있습니다. 이는 파일이 릴리스되더라도 해당 메타데이터는 파일 시스템에 남아 있기 때문입니다.

파일 릴리스는 파일 시스템이 가득 차는 것을 자동으로 막을 수는 없습니다. 다음 릴리스 태스크를 실행하기 전에 사용 가능한 스토리지 용량보다 많은 데이터를 쓰지 않도록 하는 것이 여전히 중요합니다.

정식 출시
FSx for Lustre용 파일 릴리스는 현재 FSx for Lustre가 지원되는 모든 AWS 리전, 즉 Lustre 버전 2.12 이상을 실행하는 모든 신규 또는 기존 S3 연결 파일 시스템에서 사용할 수 있습니다. FSx for Lustre용 파일 릴리스는 추가 비용이 들지 않습니다. 하지만 나중에 파일 시스템에서 다시 액세스할 파일을 릴리스하는 경우 해당 파일을 파일 시스템으로 다시 읽어들일 때 해당하는 경우 일반적인 Amazon S3 요청 및 데이터 검색 비용이 발생합니다.

자세히 알아보려면 Amazon FSx for Lustre 페이지를 참조하시고, 피드백을 보내시려면 AWS re:Post for Amazon FSx for Lustre를 이용하시거나 평소 교류하는 AWS 지원 담당자를 통해 전달해 주세요.

– Veliswa