AWS Import/Export Snowball – 전용 스토리지로 1주일에 1페타바이트 전송하기

초고속 인터넷 라인이 제공되더라도 테라 혹은 페타바이트 데이터를 클라우드로 이전을 위해 전송하는 것은 쉬운 일이 아닙니다. 많은 고객들이 클라우드 이전을 결정하고도, 데이터 이전에서 어려움을 겪는 경우가 많습니다.

그래서, 2009년에 처음으로 AWS Import/Export 서비스를 시작했습니다. 그 때 “하드 디스크가 인터넷보다 더 빠르게 많이 담을 수 있다”라고 생각했고, 현재도 비슷합니다. 최근 빅데이터 응용 프로그램이 늘어나고 및 센서 기반 네트웍의 출현 등으로 “일단 저장하고, 나중에 가치를 찾자”라는 인식이 확산 되고 있을 정도로 데이터 양이 폭증하고 있습니다.

사실 초기 AWS Import/Export 모델은 여러분이 직접 디바이스를 골라서 구매 및 포맷, 데이터 저장 및 배송까지 알아서 해야 하는 시스템으로 만들어졌습니다. 많은 고객들이 이를 사용해 보고, 몇 가지 어려움을 느꼈습니다. 예를 들어, AWS에 한번 이전을 하려고 비싸기 여러 저장 장치를 구매를 해야 한다는 점과 장치의 내구성 및 암호화 이슈, 각 장치에 manifest 파일을 만들고 저장 및 운송에 대한 오버헤드와 조작 실수 등등입니다.

Amazon이 직접 제공하는 장치를 통한 데이터 이전 모델
이러한 원래 서비스 모델에 대한 경험을 토대로 AWS Import/Export Snowball이라는 신규 서비스를 오늘 공개합니다. 아마존이 직접 소유 및 유지하는 장치를 통해 빠르고 간단하면서도 효율적인 데다 보안까지 우수합니다. 더 이상 스토리지를 사거나 회선을 늘릴 필요가 없습니다.

Snowball은 한번에 10테라바이트 혹은 그 이상의 데이터를 이전해야 할 필요가 있을 때 유용합니다. AWS 관리 콘솔에서 간단하게 신청만 하면, 며칠 안에 여러분의 주소로 기기를 보내드립니다. 더 많은 데이터를 이전하시려면 여러 개의 Snowball 장치를 요청하시고, 병렬 적으로 작업하시면 됩니다.

새로 만들어진 기기는 데이터 저장 및 전송에 효율적으로 만들어졌습니다. 6G 정도의 충격에도 견디며, 한 사람이 운반할 만큼 가벼운(23kg) 크기입니다. 뒤에는 110 볼트 파워에 10GB 네트웍 연결이 가능하고, 앞에는 표시등이 있습니다. 굳은 날씨 조건에도 잘 견디고 이미 포장이 된 상태입니다. 택배로 부터 받아서 데이터 센터로 가져갈 수 있으며, 보낼 때 다시 포장할 필요도 없습니다. 물리적으로도 튼튼하고 변형 억제 기능을 가지고 있습니다. 모양은 아래와 같습니다.

일단 Snowball 기기를 받으시면 플러그를 꼽고 네트웍에 연결하신 후 IP 설정(DHCP로 자동 인식하거나 설정 가능) 후 SnowBall 클라이언트를 설정합니다. 그 다운 콘솔에서 신청 시 받은 작업용 manifest 및 25자리 언락(unlock) 코드를 입력하면 기기 사용을 시작할 수 있습니다.

아래 명령어를 통하면 바로 시작 가능합니다.

$ snowball start -i DEVICE_IP -m PATH_TO_MANIFEST -p UNLOCK_CODE

이제 데이터를 Snowball에 복사하면 됩니다. 데이터는 256비트 암호화되어 기기에 저장되며, 제한된 네트웍 접근을 가진 사설 서브넷으로 구성됩니다.

50테라바이트까지 데이터를 복사할 수 있고, 연결을 해제하면 e-ink 디스플레이가 자동으로 표시가 됩니다. 이제 장치를 저희에게 보내주시면 됩니다. 저희가 받은 후 데이터를 복호화 및 여러분이 처음 지정한 S3 버킷으로 복사해 드립니다. 절차가 완료되면 National Institute of Standards and Technology Special Publication 800-88 (미디어 장치 영구 삭제 가이드)에 따라 데이터는 완벽하게 삭제됩니다.

이러한 모든 절차는 Amazon Simple Notification Service (SNS) 토픽을 통해 여러분의 이메일 주소로 전달됩니다. SNS 알림을 통해 데이터 가져오는 과정을 자체 이전 워크플로 시스템과 통합할 수도 있습니다.

데이터 이전 작업 생성하기
이제 AWS Snowball 이전 작업을 관리 콘솔에서 하는 방법을 잠깐 살펴보겠습니다. (물론 AWS 커맨드라인 인터페이스에서도 가능합니다.) 아래와 같이 이름과 (이전에 가지고 있거나 새로운) 주소를 입력함으로서 시작할 수 있습니다.

저의 데이터 작업명 (import-photos)을 기입하고, 저장할 곳(AWS 리전 및 S3 버킷)을 설정합니다.

다음에는 (IAM 역할 및 암호화를 위한 KMS키) 보안 설정을 진행합니다.

이제 알림 설정을 하면 거의 끝났습니다. 새로운 SNS 토픽을 원하는 이메일로 받을 수 있고 알림을 원하는 상태 등을 선택 가능합니다.

신청 사항에 대해 최종 확인을 끝나면 작업이 활성화 됩니다.

이제 장치를 기다리시면 되고, 받으신 후 클라이언트 설치와 데이터 복사 후 보내 주시면 됩니다.

향후 계획
AWS Import/Export Snowball은 클라우드에서 데이터 이전을 쉽게 하기 위해 만든 것입니다. 데이터 이전에 대해 여러 가지 방법의 흥미 있는 사용 사례들이 있을 것으로 생각하며, 미래에는 더 많은 용량의 데이터 이전 및 제공이 이루어질 수 있을 것입니다.

앞으로 GPS기능이 장착된 기기 추적 기능을 포함한 더 많은 기능 개선을 준비하고 있습니다.

가격 및 이용 방법
한번 작업 비용은 200 달러이며, 추가로 여러분의 위치 및 배송 방식에 따른 비용이면 됩니다. 경우에 따라, 모든 작업을 마치는 데 10일 정도 걸릴 것으로 예상되며, 추가 하루 당 15불 정도가 책정됩니다. 현재 US West(오레곤) 리전의 S3 스탠다드 저장소에 제공이 되며, 향후에 추가로 확대할 예정입니다.

— Jeff;

이 글은 AWS Import/Export Snowball – Transfer 1 Petabyte Per Week Using Amazon-Owned Storage Appliances의 한국어 번역이며, re:Invent 2015의 신규 서비스 소식입니다.