AWS 스토리지 업데이트 – Amazon S3 전송 가속 기능 및 대용량 SnowBall 지원

AWS 개발팀들은 어떻게 하면 기존 환경의 데이터를 더 빠르고 간단하게 클라우드로 이전하 수 있을지 많은 고민과 더불어 신규 기능을 구현해 왔습니다. 우리는 초기 부터 Amazon S3에 기본적인 PUT 동작을 시작으로 멀티 파트 업로드을 추가했고, 여러분이 직접 외장 하드 디스크 전달하면 처리해 주는 것으로 부터 시작해서 좀 더 쉽게 이러한 기능을 제공하기 위해 AWS Import/Export Snowball 서비스를 작년 AWS re:Invent 에서 출시하였습니다. ( 더 자세한 것은 AWS Import/Export Snowball – 전용 스토리지로 1주일에 1페타바이트 전송하기 참고)

오늘 AWS는 Amazon S3로 부터 Snowball  서비스에 이르기 까지 데이터 마이그레이션을 좀 더 편리하고 빠르고 할 수 있는 중요한 신규 기능 몇 가지를 출시합니다.

Amazon S3 전송 가속화 – Amazon S3로 데이터를 전송할 때, AWS의 엣지 인프라의 네트워크 프로토콜을 최적화 하여 전송 속도를 높이는 기능입니다. 국가 내에서 전송할 때 최소 50%에서 최대 500%까지의 전송 속도 증가를 가져왔으며, 경우에 따라 더 빠른 속도를 제공할 수 있게 되었습니다.

대용량 Snowballs 리전 적용 추가 – 신규 대용량 스노우볼 장치 (80 테라바이트)를 선 보이면서 2개의 미국 내 리전 및 2개의 국제 리전에 출시합니다.

Amazon S3 전송 가속화
AWS 엣지 로케이션은 50여개가 넘는 지역별 콘텐츠 배포 네트워크입니다. 주로 Amazon CloudFront 를 통한 콘텐츠 전송 및 Amazon Route 53에서의 빠른 DNS 응답을 제공하는 용도로 사용해 왔습니다. 오늘 부터, 엣지 로케이션을 통해 Amazon S3 데이터 업로드 가속 기능을 추가합니다. 이를 통해 대륙간 데이터 이동을 할 때 이점을 얻게 되며, 대용량 객체 및 콘텐츠 업로드 시 빠른 인터넷 속도를 얻을 수 있습니다.

엣지 네트워크는 여러분의 데스크톱 및 기존 데이터 센터 환경에서 원하는 S3 버킷의 연결 가교가 됩니다. 관리 콘솔에서 전송 가속화 기능을 추가한 후, 버킷의 엔드 포인트를 BUCKET_NAME.s3-accelerate.amazonaws.com으로 설정하여 전송하면 됩니다. 별다른 추가 설정은 필요 없으며, 이를 통해 TCP 연결은 자동으로 가장 빠른 AWS 엣지 로케이션으로 연결되게 됩니다. 전송 가속화를 통해 S3에 데이터가 업로드 되면 AWS가 관리하는 백본 네트워크에서 최적화된 네트워크 프로토콜과 지속적인 엣지와 연결 등을 지원하게 됩니다.

저의 버킷에서 한번 직접 해보겠습니다. ( 버킷명: jbarr-public):

Transfer Acceleration을 설정 한 후, 원래 버킷 엔드 포인트는 https://jbarr-public.s3.amazonaws.com/ 이지만,  이를 https://jbarr-public.s3-accelerate.amazonaws.com/ 로 바꾸기면 하면 됩니다. 가속 다운로드에서도 같은 URL을 사용할 수 있습니다.

네트워크 설정이 시간마다 혹은 엣지마다 달라질 수 있기 때문에, 전송 가속 기능이 업로드 성능을 높이는지에 대해 신경쓰기만 하면 됩니다. 전송 가속도 기능은 기가 바이트당 $0.04 이며, 추가로 미리 내어야 하는 비용은 없습니다.

Amazon S3 전송 가속화 속도 테스트 비교 를 통해 이 기능이 얼마나 도움이 되는지 확인하실 수 있습니다. (참고로 제가 위치한 시애틀에서 서울 리전에서 일반 S3 업로드 속도 대비 822%의 속도 증가가 있는 것을 보실 수 있습니다.)

여러분이 보시다시피, 내가 위치한 지역과 가까운 리전과 타겟 사이의 거리에 따라 업로드 성능은 더 빨라지고 있는 것을 보실 수 있습니다.

본 기능에 대한 좀 더 자세한 사항은 Getting Started with Amazon S3 Transfer Acceleration in을 참고하시기 바라며, 오늘 부터 베이징 리전 및 AWS GovCloud (US)를 제외한 모든 리전에서 사용 가능합니다.

대용량 Snowballs 리전 적용 추가
많은 AWS 고객이 AWS Import/Export Snowball을 통해 대용량 데이터를 AWS 클라우드로 이전하고 있습니다. 아래는 GE Oil & Gas에서 스노우볼 기기를 통해 활용하는 사진입니다.

Ben Wilson (CTO of GE Oil & Gas)는 LinkedIn에 아래와 같은 글을 올렸습니다.

“PIGs 와 Snowballs –천국의 조합!! AWS Snowball 25 TB 파이프라인 PIG 데이터를 AWS에서 관리하게 되었습니다.  GE PIG 데이터를 이제 쉽게 가져올 수 있게 되었고, 이러한 AWS 신규 기능을 사용해 보는 것은 늘 즐거운 일입니다!”

오늘 부터 AWS Snowball은 아래 리전에서 사용 가능합니다: AWS GovCloud (US), US West (Northern California), Europe (Ireland), Asia Pacific (Sydney). 앞으로 서울 리전을 포함해서 향후 계속해서 지원을 추가할 예정입니다.

기존 Snowball  장치인 50테라 바이트 용량의 경우도 그대로 지원하기 때문에  US East (Northern Virginia), US West (Oregon), US West (Northern California), 및 AWS GovCloud (US) 리리전에서 원하는 용량을 선택할 수 있습니다.  Europe (Ireland) 및 Asia Pacific (Sydney) 리전에서는 80테라바이트 기기를 사용할 수 있습니다. 아래 화면에서 원하는 장치를 선택 가능합니다. 

좀 더 자세한 사항은 Snowball FAQ  및 Snowball Developer Guide를 참고하시기 바랍니다.

— Jeff;

이 글은 AWS Storage Update – Amazon S3 Transfer Acceleration + Larger Snowballs in More Regions의 한국어 번역입니다.