Category: AWS Import/Export


AWS Snowball 업데이트 – 작업 관리 API 및 S3 어댑터

작년 가을  re:Invent에서 AWS Import/Export Snowball을 선보였습니다.

스노우볼 장비는 고객이 대량의 데이터를 AWS 클라우드에 온라인 방식이 아닌 한번에 이동할 수 있도록 설계하였습니다. 오늘은 추가적으로 2가지 기능 업데이트를 공개합니다.

  • Snowball 작업 관리 API – 신규 Snowball API를 통해 스노우볼 작업을 만들과 관리하는 애플리케이션을 만들 수 있습니다.
  • S3 어댑터 – 신규 Snowball S3 Adapter를 통해 S3 엔드포인트로 접근하는 것 처럼 할 수 있습니다.

이제 좀 더 자세히 알아볼까요?

Snowball 작업 관리 API
원래 스노우볼 모델은 콘솔을 통해 관리할 수 있었습니다. 스노우볼 배송을 요청하는 작업을 만들고, 배송 상태를 확인한 후, 기기가 도착하면, 데이터를 옮겨서 AWS에 보내는 방식입니다. 간단하지만, 모든 AWS 고객의 요구에 맞지는 않았습니다. 일부 고객은 기존의 백업이나 데이터 전송 방식을 스노우볼에 통합하고자 했습니다. 고객 및 스토리지 파트너의 이러한 요청에 맞추어 Snowball 작업 관리 API를 공개합니다.

Snowball Job Management API를 통해 고객 및 파트너는 내부의 데이터 관리 솔루션과 연동 및 통합할 수 있게 됩니다. 아래는 이를 위한 세 가지 주요 기능입니다.

  • CreateJob –작업 가져오기 및 내보내기 그리고 배송 요청 작업
  • ListJobs – 작업 목록 및 관련 작업 목록 보기
  • DescribeJob – 특정 작업에 대한 상세 정보 보기

더 자세한 것은 API Reference을 참고하시기 바랍니다.

새로운 API를 통해 좀 더 창의적이고 혁신적인 사용 방법 예제가 더 많이 나오길 기대하고, 저희에게 피드백으로 알려 주시기 바랍니다.

S3 어댑터
신규 Snowball S3 어댑터는 스노우볼 장치에서 온-프레미스에 마치 Amazon S3 엔드포인트가 있는 것 처럼 할 수 있습니다. 이를 통해 기존에 S3 기반 도구를 사용해서 스노우볼에 데이터 이동 및 가져오기를 할 수 있습니다.

어댑터는 다양한 리눅스 배포판 및 윈도 운영체제를 지원하며, 설치하기도 쉽습니다.

  1. Snowball Tools 페이지에서 원하는 도구를 다운로드 하고, 로컬 디렉토리에 압축 해제합니다.
  2. 환경에 맞추어 어댑터 설정을 합니다. (기본으로 8080 포트 사용)
  3. 네트워크에 스노우볼을 연결하고, 기기의 빌트인 디스플레이의 IP 주소를 받아옵니다.
  4. 언락 코드 및 작업 선언을 가져오기 위해 스노우볼 콘솔에 접근합니다.
  5. 어댑터를 열고, 주어진 IP 주소, 언락 코드 및 선언 파일을 제공합니다.

어댑터를 열고 실행하면, 이제 기존의 S3 기반 도구를 사용하여 로컬 엔드포인트를 사용할 수 있습니다. 예를 들어 온-프레미스 호스트에 s3 ls 명령을 실행할 수 있습니다.

Bash
$ aws s3 ls --endpoint http://localhost:8080

파일을 Snowball로 복사한 후, 원래 예상한 숫자의 파일을 모두 복사 했는지 검증할 수 있습니다.

Bash
$ snowball validate

초기 어댑터 출시 버전은 S3 API의 버킷의 객쳉에 대한 GET 기능을 포함해서, 멀티 파트 업로드에 대한 HEAD, PUT 및 DELETE 기능이 가능합니다. 더 자세한 사항은 Snowball Transfer Adapter를 참고하세요.

정식 출시
신규 기능은 AWS Import/Export SnowBall을 제공하는 모든 리전에서 오늘 부터 사용 가능합니다.

Jeff;

이 글은 AWS Snowball Update – Job Management API & S3 Adapter의 한국어 번역으로 AWS Summit 뉴욕 행사에서 신규로 발표된 소식입니다.

AWS 스토리지 업데이트 – Amazon S3 전송 가속 기능 및 대용량 SnowBall 지원

AWS 개발팀들은 어떻게 하면 기존 환경의 데이터를 더 빠르고 간단하게 클라우드로 이전하 수 있을지 많은 고민과 더불어 신규 기능을 구현해 왔습니다. 우리는 초기 부터 Amazon S3에 기본적인 PUT 동작을 시작으로 멀티 파트 업로드을 추가했고, 여러분이 직접 외장 하드 디스크 전달하면 처리해 주는 것으로 부터 시작해서 좀 더 쉽게 이러한 기능을 제공하기 위해 AWS Import/Export Snowball 서비스를 작년 AWS re:Invent 에서 출시하였습니다. ( 더 자세한 것은 AWS Import/Export Snowball – 전용 스토리지로 1주일에 1페타바이트 전송하기 참고)

오늘 AWS는 Amazon S3로 부터 Snowball  서비스에 이르기 까지 데이터 마이그레이션을 좀 더 편리하고 빠르고 할 수 있는 중요한 신규 기능 몇 가지를 출시합니다.

Amazon S3 전송 가속화 – Amazon S3로 데이터를 전송할 때, AWS의 엣지 인프라의 네트워크 프로토콜을 최적화 하여 전송 속도를 높이는 기능입니다. 국가 내에서 전송할 때 최소 50%에서 최대 500%까지의 전송 속도 증가를 가져왔으며, 경우에 따라 더 빠른 속도를 제공할 수 있게 되었습니다.

대용량 Snowballs 리전 적용 추가 – 신규 대용량 스노우볼 장치 (80 테라바이트)를 선 보이면서 2개의 미국 내 리전 및 2개의 국제 리전에 출시합니다.

Amazon S3 전송 가속화
AWS 엣지 로케이션은 50여개가 넘는 지역별 콘텐츠 배포 네트워크입니다. 주로 Amazon CloudFront 를 통한 콘텐츠 전송 및 Amazon Route 53에서의 빠른 DNS 응답을 제공하는 용도로 사용해 왔습니다. 오늘 부터, 엣지 로케이션을 통해 Amazon S3 데이터 업로드 가속 기능을 추가합니다. 이를 통해 대륙간 데이터 이동을 할 때 이점을 얻게 되며, 대용량 객체 및 콘텐츠 업로드 시 빠른 인터넷 속도를 얻을 수 있습니다.

엣지 네트워크는 여러분의 데스크톱 및 기존 데이터 센터 환경에서 원하는 S3 버킷의 연결 가교가 됩니다. 관리 콘솔에서 전송 가속화 기능을 추가한 후, 버킷의 엔드 포인트를 BUCKET_NAME.s3-accelerate.amazonaws.com으로 설정하여 전송하면 됩니다. 별다른 추가 설정은 필요 없으며, 이를 통해 TCP 연결은 자동으로 가장 빠른 AWS 엣지 로케이션으로 연결되게 됩니다. 전송 가속화를 통해 S3에 데이터가 업로드 되면 AWS가 관리하는 백본 네트워크에서 최적화된 네트워크 프로토콜과 지속적인 엣지와 연결 등을 지원하게 됩니다.

저의 버킷에서 한번 직접 해보겠습니다. ( 버킷명: jbarr-public):

Transfer Acceleration을 설정 한 후, 원래 버킷 엔드 포인트는 https://jbarr-public.s3.amazonaws.com/ 이지만,  이를 https://jbarr-public.s3-accelerate.amazonaws.com/ 로 바꾸기면 하면 됩니다. 가속 다운로드에서도 같은 URL을 사용할 수 있습니다.

네트워크 설정이 시간마다 혹은 엣지마다 달라질 수 있기 때문에, 전송 가속 기능이 업로드 성능을 높이는지에 대해 신경쓰기만 하면 됩니다. 전송 가속도 기능은 기가 바이트당 $0.04 이며, 추가로 미리 내어야 하는 비용은 없습니다.

Amazon S3 전송 가속화 속도 테스트 비교 를 통해 이 기능이 얼마나 도움이 되는지 확인하실 수 있습니다. (참고로 제가 위치한 시애틀에서 서울 리전에서 일반 S3 업로드 속도 대비 822%의 속도 증가가 있는 것을 보실 수 있습니다.)

여러분이 보시다시피, 내가 위치한 지역과 가까운 리전과 타겟 사이의 거리에 따라 업로드 성능은 더 빨라지고 있는 것을 보실 수 있습니다.

본 기능에 대한 좀 더 자세한 사항은 Getting Started with Amazon S3 Transfer Acceleration in을 참고하시기 바라며, 오늘 부터 베이징 리전 및 AWS GovCloud (US)를 제외한 모든 리전에서 사용 가능합니다.

대용량 Snowballs 리전 적용 추가
많은 AWS 고객이 AWS Import/Export Snowball을 통해 대용량 데이터를 AWS 클라우드로 이전하고 있습니다. 아래는 GE Oil & Gas에서 스노우볼 기기를 통해 활용하는 사진입니다.

Ben Wilson (CTO of GE Oil & Gas)는 LinkedIn에 아래와 같은 글을 올렸습니다.

“PIGs 와 Snowballs –천국의 조합!! AWS Snowball 25 TB 파이프라인 PIG 데이터를 AWS에서 관리하게 되었습니다.  GE PIG 데이터를 이제 쉽게 가져올 수 있게 되었고, 이러한 AWS 신규 기능을 사용해 보는 것은 늘 즐거운 일입니다!”

오늘 부터 AWS Snowball은 아래 리전에서 사용 가능합니다: AWS GovCloud (US), US West (Northern California), Europe (Ireland), Asia Pacific (Sydney). 앞으로 서울 리전을 포함해서 향후 계속해서 지원을 추가할 예정입니다.

기존 Snowball  장치인 50테라 바이트 용량의 경우도 그대로 지원하기 때문에  US East (Northern Virginia), US West (Oregon), US West (Northern California), 및 AWS GovCloud (US) 리리전에서 원하는 용량을 선택할 수 있습니다.  Europe (Ireland)Asia Pacific (Sydney) 리전에서는 80테라바이트 기기를 사용할 수 있습니다. 아래 화면에서 원하는 장치를 선택 가능합니다. 

좀 더 자세한 사항은 Snowball FAQ  및 Snowball Developer Guide를 참고하시기 바랍니다.

Jeff;

이 글은 AWS Storage Update – Amazon S3 Transfer Acceleration + Larger Snowballs in More Regions의 한국어 번역입니다.

AWS Import/Export Snowball – 전용 스토리지로 1주일에 1페타바이트 전송하기

초고속 인터넷 라인이 제공되더라도 테라 혹은 페타바이트 데이터를 클라우드로 이전을 위해 전송하는 것은 쉬운 일이 아닙니다. 많은 고객들이 클라우드 이전을 결정하고도, 데이터 이전에서 어려움을 겪는 경우가 많습니다.

그래서, 2009년에 처음으로 AWS Import/Export 서비스를 시작했습니다. 그 때 “하드 디스크가 인터넷보다 더 빠르게 많이 담을 수 있다”라고 생각했고, 현재도 비슷합니다. 최근 빅데이터 응용 프로그램이 늘어나고 및 센서 기반 네트웍의 출현 등으로 “일단 저장하고, 나중에 가치를 찾자”라는 인식이 확산 되고 있을 정도로 데이터 양이 폭증하고 있습니다.

사실 초기 AWS Import/Export 모델은 여러분이 직접 디바이스를 골라서 구매 및 포맷, 데이터 저장 및 배송까지 알아서 해야 하는 시스템으로 만들어졌습니다. 많은 고객들이 이를 사용해 보고, 몇 가지 어려움을 느꼈습니다. 예를 들어, AWS에 한번 이전을 하려고 비싸기 여러 저장 장치를 구매를 해야 한다는 점과 장치의 내구성 및 암호화 이슈, 각 장치에 manifest 파일을 만들고 저장 및 운송에 대한 오버헤드와 조작 실수 등등입니다.

Amazon이 직접 제공하는 장치를 통한 데이터 이전 모델
이러한 원래 서비스 모델에 대한 경험을 토대로 AWS Import/Export Snowball이라는 신규 서비스를 오늘 공개합니다. 아마존이 직접 소유 및 유지하는 장치를 통해 빠르고 간단하면서도 효율적인 데다 보안까지 우수합니다. 더 이상 스토리지를 사거나 회선을 늘릴 필요가 없습니다.

Snowball은 한번에 10테라바이트 혹은 그 이상의 데이터를 이전해야 할 필요가 있을 때 유용합니다. AWS 관리 콘솔에서 간단하게 신청만 하면, 며칠 안에 여러분의 주소로 기기를 보내드립니다. 더 많은 데이터를 이전하시려면 여러 개의 Snowball 장치를 요청하시고, 병렬 적으로 작업하시면 됩니다.

새로 만들어진 기기는 데이터 저장 및 전송에 효율적으로 만들어졌습니다. 6G 정도의 충격에도 견디며, 한 사람이 운반할 만큼 가벼운(23kg) 크기입니다. 뒤에는 110 볼트 파워에 10GB 네트웍 연결이 가능하고, 앞에는 표시등이 있습니다. 굳은 날씨 조건에도 잘 견디고 이미 포장이 된 상태입니다. 택배로 부터 받아서 데이터 센터로 가져갈 수 있으며, 보낼 때 다시 포장할 필요도 없습니다. 물리적으로도 튼튼하고 변형 억제 기능을 가지고 있습니다. 모양은 아래와 같습니다.

일단 Snowball 기기를 받으시면 플러그를 꼽고 네트웍에 연결하신 후 IP 설정(DHCP로 자동 인식하거나 설정 가능) 후 SnowBall 클라이언트를 설정합니다. 그 다운 콘솔에서 신청 시 받은 작업용 manifest 및 25자리 언락(unlock) 코드를 입력하면 기기 사용을 시작할 수 있습니다.

아래 명령어를 통하면 바로 시작 가능합니다.

$ snowball start -i DEVICE_IP -m PATH_TO_MANIFEST -p UNLOCK_CODE

이제 데이터를 Snowball에 복사하면 됩니다. 데이터는 256비트 암호화되어 기기에 저장되며, 제한된 네트웍 접근을 가진 사설 서브넷으로 구성됩니다.

50테라바이트까지 데이터를 복사할 수 있고, 연결을 해제하면 e-ink 디스플레이가 자동으로 표시가 됩니다. 이제 장치를 저희에게 보내주시면 됩니다. 저희가 받은 후 데이터를 복호화 및 여러분이 처음 지정한 S3 버킷으로 복사해 드립니다. 절차가 완료되면 National Institute of Standards and Technology Special Publication 800-88 (미디어 장치 영구 삭제 가이드)에 따라 데이터는 완벽하게 삭제됩니다.

이러한 모든 절차는 Amazon Simple Notification Service (SNS) 토픽을 통해 여러분의 이메일 주소로 전달됩니다. SNS 알림을 통해 데이터 가져오는 과정을 자체 이전 워크플로 시스템과 통합할 수도 있습니다.

데이터 이전 작업 생성하기
이제 AWS Snowball 이전 작업을 관리 콘솔에서 하는 방법을 잠깐 살펴보겠습니다. (물론 AWS 커맨드라인 인터페이스에서도 가능합니다.) 아래와 같이 이름과 (이전에 가지고 있거나 새로운) 주소를 입력함으로서 시작할 수 있습니다.

저의 데이터 작업명 (import-photos)을 기입하고, 저장할 곳(AWS 리전 및 S3 버킷)을 설정합니다.

다음에는 (IAM 역할 및 암호화를 위한 KMS키) 보안 설정을 진행합니다.

이제 알림 설정을 하면 거의 끝났습니다. 새로운 SNS 토픽을 원하는 이메일로 받을 수 있고 알림을 원하는 상태 등을 선택 가능합니다.

신청 사항에 대해 최종 확인을 끝나면 작업이 활성화 됩니다.

이제 장치를 기다리시면 되고, 받으신 후 클라이언트 설치와 데이터 복사 후 보내 주시면 됩니다.

향후 계획
AWS Import/Export Snowball은 클라우드에서 데이터 이전을 쉽게 하기 위해 만든 것입니다. 데이터 이전에 대해 여러 가지 방법의 흥미 있는 사용 사례들이 있을 것으로 생각하며, 미래에는 더 많은 용량의 데이터 이전 및 제공이 이루어질 수 있을 것입니다.

앞으로 GPS기능이 장착된 기기 추적 기능을 포함한 더 많은 기능 개선을 준비하고 있습니다.

가격 및 이용 방법
한번 작업 비용은 200 달러이며, 추가로 여러분의 위치 및 배송 방식에 따른 비용이면 됩니다. 경우에 따라, 모든 작업을 마치는 데 10일 정도 걸릴 것으로 예상되며, 추가 하루 당 15불 정도가 책정됩니다. 현재 US West(오레곤) 리전의 S3 스탠다드 저장소에 제공이 되며, 향후에 추가로 확대할 예정입니다.

— Jeff;

이 글은 AWS Import/Export Snowball – Transfer 1 Petabyte Per Week Using Amazon-Owned Storage Appliances의 한국어 번역이며, re:Invent 2015의 신규 서비스 소식입니다.