AWS DataSync – 데이터 전송 자동화 및 가속화 서비스 출시 (서울 리전 포함)

대부분 AWS 고객이 AWS 클라우드 내부 및 외부로 대용량 데이터를 이동할 수 있는 기능이 필요하다는 의견을 주셨습니다. 데이터 이동과 관련한 고객의 주요 사용 사례는 다음과 같습니다.

• 마이그레이션 – 일부 고객은 지속적으로 상태가 변경되는 다량의 데이터 세트를 가지고 있습니다. 이러한 데이터 세트에는 일회성 전송에 사용할 수 있는 자연적인 중단 또는 중지 지점이 없습니다.
• 업로드 및 처리 – 온프레미스에서 주기적으로 생성되는 대량의 데이터를 클라우드에서 처리해야 하는 고객도 있습니다. 예를 들어 미디어 및 엔터테인먼트, 정유 및 생명 공학 산업이 여기에 포함됩니다.
• 백업/DR – 마지막은 귀중한 온프레미스 데이터를 클라우드에 복사하여 안전하게 유지하고 비즈니스 지속성을 보장해야 하는 고객입니다.

이러한 고객은 작업 규모가 상당히 큽니다! 수십 또는 수백 테라바이트의 일회성 또는 주기적 데이터 전송이 일상적으로 이루어집니다. 이 정도의 규모에서는 네트워크 대역폭을 효과적으로 사용하고 높은 처리량을 달성하는 것이 필수적이며 안정성, 보안 및 사용 편의성 또한 마찬가지로 중요합니다.

AWS DataSync 소개

이번 AWS re:Invent에서는 AWS DataSync가 데이터 전송 서비스를 포트폴리오에 추가하였습니다. AWS Snowball, AWS Snowmobile, Kinesis Data Firehose, S3 Transfer Acceleration 및 AWS Storage Gateway와 마찬가지로 탁월한 효율성을 중심으로 특별히 설계된 데이터 전송 프로토콜인 AWS DataSync는 오픈 소스 기반 데이터 전송 솔루션 보다 10배 빠른 속도로 실행할 수 있습니다. 설치 및 사용(콘솔 및 CLI에서 액세스 가능)이 쉽고 제한 없는 확장이 가능합니다!

AWS DataSync는 완전 관리형 서비스이며 전송하는 데이터에 대한 요금만 지불하면 됩니다. 온프레미스 데이터를 Amazon Simple Storage Service(S3) 버킷에 동기화하거나 인터넷 또는 AWS Direct Connect를 통해 Amazon Elastic File System에 동기화할 수 있으며 AWS에서 온프레미스에 저장된 데이터로 동기화할 수도 있습니다.

AWS DataSync 에이전트는 서비스의 중요한 부분입니다. 온프레미스 데이터 센터에 VM을 배포하면 이 VM이 NFS 스토리지에 대한 클라이언트 역할을 하며 데이터 전송을 가속화합니다.

AWS DataSync의 작동 방식

AWS DataSync의 작동 방식을 살펴보도록 하겠습니다! AWS DataSync 팀이 저를 위해 에이전트 및 NFS 서버가 포함된 테스트 환경을 마련해 주었습니다.

에이전트의 퍼블릭 IP 주소를 준비하고 AWS DataSync 콘솔을 연 다음 [Get started]를 클릭합니다.

제가 사용할 사용 사례는 [on-premises to AWS]입니다. 이 옵션을 선택하고 [Create agent]를 클릭하여 온프레미스 에이전트에 연결합니다.

VM 이미지(미리 준비됨)를 다운로드 및 실행하고 에이전트의 퍼블릭 IP 주소를 입력한 후 [Get key]를 클릭합니다. 에이전트 이름 및 태그를 지정하고 [Create agent]를 클릭합니다.

에이전트가 즉시 준비됩니다. 이제 DataSync 작업을 생성하여 동기화할 항목과 동기화할 시기를 지정할 수 있습니다! 이를 위해 [Create task]를 클릭합니다.

사용 사례를 다시 선택하고 [Next]를 클릭하여 계속합니다.

소스 위치를 생성하고 NFS 서버를 가리킨 다음 [Next]를 클릭합니다. 전체 처리량을 높이려면 여러개의 에이전트를 구성하면 됩니다.

이제 EFS 파일 시스템과 S3 버킷 중에서 대상 위치를 선택하여 생성합니다.

다음으로 작업을 생성합니다. 작업 이름을 지정하고 나머지는 모두 기본값으로 둔 후 다음 페이지에서 설정(나와 있지 않음)을 검토합니다. 보시다시피 복사, 파일 관리 및 대역폭 사용을 제어하는 옵션이 있습니다.

이제 작업을 사용할 준비가 되었습니다.

작업을 선택하고 그대로 실행하거나 설정을 재정의합니다.

전송은 즉시 시작되며 진행 상태를 지켜볼 수 있습니다.

전송은 SSL 연결 전체에서 수행되며 버킷이 빠르게 파일로 채워집니다.

최종 상태를 볼 수 있습니다.

소스 파일을 변경하지 않고 다시 실행하면 양 끝의 파일이 동일한지 확인되고 복사가 수행되지 않습니다.

파일 또는 파일 권한을 변경하면 DataSync가 변경 내용을 전송해 소스와 대상을 일치하게 만듭니다. DataSync에서 전송은 항상 증분으로 수행되므로 앞서 설명한 마이그레이션 및 재해 복구 사용 사례에 매우 적합합니다.

주요 사항
다음은 AWS DataSync에 대해 알아야 할 몇 가지 정보입니다.

소스/대상 – 온프레미스 서버에서 AWS로, AWS에서 온프레미스로 데이터를 전송할 수 있습니다.

성능 – 전체 데이터 전송 속도는 전체 네트워크 속도의 제약을 받게되며 에이전트 하나가 10Gbps의 네트워크 링크를 풀로 사용할  수 있습니다.

요금 – 저렴한 GB당 데이터 전송 요금이 부과되며 서비스 자체에 대한 요금은 없습니다.

지금 이용 가능
AWS DataSync는 지금 즉시 이용 가능하며 오늘부터 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(오레곤), 미국 서부(캘리포니아 북부), EU(아일랜드), EU(프랑크푸르트), 아시아 태평양(서울), 아시아 태평양(싱가포르), 아시아 태평양(시드니) 및 아시아 태평양(도쿄) 리전에서 사용을 시작할 수 있습니다.

— Jeff;

이 글은 AWS News Blog의 New – AWS DataSync – Automated and Accelerated Data Transfer의 한국어 번역으로 정도현 AWS 테크니컬 트레이너가 감수하였습니다.