클라우드 데이터 마이그레이션

마이그레이션 또는 지속적인 워크플로를 위해 온프레미스 데이터를 AWS로 이전

데이터는 성공적인 애플리케이션 배포, 분석 워크플로 및 기계 학습 혁신의 토대입니다. 클라우드로 데이터를 이동할 때는 다른 고려 사항 중에서도 다양한 사용 사례에 맞게 데이터를 이동하는 위치, 이동하는 데이터의 유형, 사용할 수 있는 네트워크 리소스를 파악해야 합니다. AWS는 파일, 데이터베이스, 머신 이미지, 블록 볼륨 또는 테이프 백업 등 데이터 세트를 마이그레이션하는 데 도움이 되는 다양한 서비스와 파트너 도구를 제공합니다.

Best practices for migrating data to AWS (50:07)

AWS 클라우드 데이터 마이그레이션 서비스

AWS에서 만든 데이터 전송 서비스 제품군에는 데이터를 보다 효과적으로 마이그레이션하는 데 도움이 되는 여러 가지 방법이 포함되어 있습니다. 이러한 방법은 온라인 데이터 전송 및 하이브리드 클라우드 스토리지Amazon S3로의 오프라인 데이터 마이그레이션의 두 가지 범주로 생각할 수 있습니다.

온라인 데이터 전송 및 하이브리드 클라우드 스토리지

이 방법을 사용하면 VPC에 대한 네트워크 링크를 생성하거나, 데이터를 AWS로 전송하거나, 기존 온프레미스 애플리케이션과 함께 하이브리드 클라우드 스토리지에 S3를 사용하는 것이 간단해집니다. 이러한 서비스는 대규모 데이터 세트를 한 번에 리프트 앤 시프트 방식으로 이동할 뿐만 아니라 백업 및 복구와 같은 기존 프로세스 흐름이나 지속적 데이터 스트림을 직접 클라우드 스토리지와 통합하는 데 도움이 됩니다.

AWS Direct Connect

고객은 자체 데이터 센터와 AWS 데이터 센터 간의 네트워크 전송을 가속화하기 위해 Direct Connect 전용 물리적 연결을 선택합니다.

AWS Direct Connect를 통해 사용자의 네트워크와 AWS Direct Connect 위치 중 하나 사이에 전용 네트워크 연결을 설정할 수 있습니다. 업계 표준의 802.1q VLAN을 사용하여 이 전용 연결을 여러 가상 인터페이스로 나눌 수 있습니다. 이렇게 하면 퍼블릭 환경과 프라이빗 환경 간의 네트워크 분리를 유지하면서 동일한 연결을 사용하여 퍼블릭 리소스(예: 퍼블릭 IP 주소 공간을 사용하는 Amazon S3에 저장된 객체)뿐 아니라 프라이빗 리소스(예: 프라이빗 IP 공간을 사용하는 Amazon Virtual Private Cloud(VPC)에서 실행되고 있는 Amazon EC2 인스턴스)에도 액세스할 수 있습니다. 가상 인터페이스는 변화하는 요구를 충족하기 위해 언제든지 다시 구성할 수 있습니다.

온프레미스 기술을 클라우드로 확장할 수 있는 AWS Direct Connect 파트너 번들에 대해 알아보십시오. 

AWS DataSync

AWS DataSync는 온프레미스 스토리지와 Amazon S3 또는 Amazon EFS(Amazon Elastic File System) 간의 데이터 이전을 쉽게 자동화시켜주는 데이터 전송 서비스입니다. DataSync는 자체 인스턴스 실행, 암호화 처리, 스크립트 관리, 네트워크 최적화 및 데이터 무결성 검증을 포함하여 마이그레이션 속도를 늦추거나 IT 운영에 부담을 줄 수 있는 데이터 전송과 관련된 많은 작업을 자동으로 처리합니다. DataSync를 사용하면 오픈 소스 도구보다 최대 10배 빠르게 데이터를 전송할 수 있습니다. DataSync를 사용하면 AWS Direct Connect를 통해 또는 AWS에 대한 인터넷 링크를 통해 데이터를 복사하여 일회성 데이터 마이그레이션, 반복되는 데이터 처리 워크플로, 데이터 보호 및 복구를 위한 자동화된 복제를 수행할 수 있습니다.

AWS Storage Gateway

AWS Storage Gateway 서비스는 온프레미스에서 AWS 스토리지를 간편하게 도입할 수 있게 해줍니다. 기존 애플리케이션은 업계 표준 블록 및 테이프 스토리지 프로토콜을 통해 로컬 게이트웨이에 연결하여 Amazon S3와 Amazon Glacier에 데이터를 저장합니다. 데이터는 압축되어 안전하게 AWS로 전송됩니다.

  • 파일 게이트웨이는 온프레미스 애플리케이션이 파일을 S3 객체로 저장하고 기존 파일 인터페이스를 통해 액세스할 수 있도록 SMB 또는 NFS 파일 공유를 제공합니다.
  • 테이프 게이트웨이 VTL(가상 테이프 라이브러리) 구성은 기존 백업 소프트웨어와 원활하게 통합되어 Amazon S3의 비용 효과적인 테이프 대체와 S3 Glacier 및 S3 Glacier Deep Archive의 장기 아카이브를 지원합니다.
  • 볼륨 게이트웨이는 블록 볼륨을 로컬에 저장하거나 캐시하며 특정 시점 백업을 EBS 스냅샷으로 제공합니다. 이 스냅샷은 클라우드에서 복구될 수 있습니다.

Amazon S3 Transfer Acceleration

Amazon S3 Transfer Acceleration은 퍼블릭 인터넷을 통해 Amazon S3로 전송되는 속도를 개선합니다. 거리나 달라지는 인터넷 날씨와 관계없이 대역폭의 가용성을 극대화할 수 있으며, 특별한 클라이언트 또는 소유 네트워크 프로토콜이 필요 없습니다. 사용하는 엔드포인트를 S3 버킷으로 변경하기만 하면, 자동으로 가속화가 적용됩니다.

이 서비스는 미디어 업로드, 백업, 정기적으로 한 곳으로 전송되는 로컬 데이터 처리 작업 등과 같이 전 세계로 전송되는 반복 작업에 적합합니다.

Amazon Kinesis Data Firehose

Amazon Kinesis Data Firehose는 스트리밍 데이터를 AWS로 로드하는 가장 쉬운 방법입니다. 스트리밍 데이터를 캡처하고 자동으로 Amazon S3Amazon Redshift로 로드하여, 기존 비즈니스 인텔리전스 도구 및 이미 사용하고 있는 대시보드를 통해 거의 실시간으로 분석할 수 있습니다. Amazon Kinesis Firehose는 완전관리형 서비스로서 데이터 처리량에 대응하여 자동으로 확장되며 지속적인 관리가 필요 없습니다. 또한, 데이터를 로드하기 전에 배치, 압축 및 암호화하여 대상 스토리지의 사용량을 최소화하고 보안을 강화할 수 있습니다. AWS Management Console에서 Firehose 전송 스트림을 손쉽게 생성하고, 클릭 몇 번으로 구성한 다음, 수십만 개의 데이터 원본에서 스트림으로 데이터 전송을 시작하여 AWS로 지속적으로 로드되도록 할 수 있습니다. 이 모든 작업이 몇 분 만에 완료됩니다.

APN 파트너 제품

AWS는 기존 백업과 클라우드 간의 차이를 메우는 물리적 게이트웨이 어플라이언스를 공급하는 여러 업체와 협력하고 있습니다. 기존 온프레미스 데이터를 Amazon 클라우드에 연결하여, 성능에 영향을 주지 않고 기존 백업 카탈로그를 유지하면서 데이터를 이동합니다.

  • 기존 인프라와 원활하게 통합
  • 중복 제거, 압축, 암호화 또는 WAN 가속화 제공
  • 최근 백업을 로컬에 캐시, 모든 것을 AWS 클라우드에 저장

Amazon S3로 오프라인 데이터 마이그레이션

100페타바이트의 하드 드라이브 또는 여행 가방 크기의 100TB 디바이스로 가득 찬 세미 트럭의 대역폭을 절대로 과소평가해서는 안 됩니다. 배송이 가능하고 견고한 디바이스를 사용하는 이러한 오프라인 데이터 마이그레이션 서비스는 대규모 아카이브 또는 데이터 레이크를 이동하거나 대역폭과 데이터 볼륨이 원하는 시간 내에 네트워크를 통과할 수 없는 경우에 적합합니다.

AWS Snowball

AWS Snowball은 안전한 어플라이언스를 사용하여 AWS의 대용량 데이터를 송수신하는 페타바이트 규모의 데이터 전송 솔루션입니다. Snowball을 사용하면 제한된 네트워크 대역폭, 오랜 전송 시간 및 보안 우려 사항 등 대규모 데이터 전송 시 흔히 발생하는 문제를 해결할 수 있습니다. Snowball로 데이터를 전송하는 것은 간단하고 빠르며 안전합니다.

AWS Snowball Edge

AWS Snowball Edge는 온보드 스토리지와 컴퓨팅 성능을 갖춘 페타바이트 규모의 데이터 전송 디바이스입니다. Snowball Edge를 사용하여 대규모 로컬 데이터 세트를 위한 임시 스토리지 계층으로서 또는 원격 또는 오프라인 위치에서 로컬 워크로드를 지원하기 위해 AWS에서 대량 데이터를 업로드/다운로드할 수 있습니다.

AWS Snowmobile

AWS Snowmobile은 엑사바이트 규모의 데이터 전송 솔루션으로, 안전한 세미 40피트 선적 컨테이너를 사용하여 AWS에서 대용량 데이터를 송수신합니다. Snowmobile을 사용하면 높은 네트워크 비용, 오랜 전송 시간, 보안 우려 사항 등 대규모 데이터 전송 시 흔히 발생하는 문제를 해결할 수 있습니다. 사용자 지정을 통해 진행되는 Snowmobile 데이터 전송은 빠르고 안전하며 고속 인터넷의 1/5에 해당하는 저렴한 비용으로 사용할 수 있습니다.

비관리형 클라우드 데이터 마이그레이션 도구

AWS에서는 고객 사이트에서 Amazon의 클라우드 스토리지로 데이터를 이동할 수 있는 간편한 스크립트 또는 CLI 도구도 제공합니다.

rsync

고객은 타사 파일 시스템 도구와 함께 오픈 소스 도구인 resync를 사용하여 데이터를 직접 S3 버킷으로 복사할 수 있습니다.

S3 명령줄 인터페이스

고객은 Amazon S3 CLI를 사용하여 데이터를 직접 S3 버킷으로 이동하는 명령을 작성할 수 있습니다.

S3 Glacier 명령줄 인터페이스

고객은 Amazon Glacier CLI를 사용하여 데이터를 Glacier 저장소로 이동할 수 있습니다.

일반적인 클라우드 데이터 마이그레이션 과제

데이터 전송의 벅찬 현실은 대부분 프로젝트에 해당합니다. 최소한의 중단, 비용 및 시간으로 현재 위치에서 새로운 클라우드로 원활하게 이전하려면 어떻게 해야 합니까? 실제로 GB, TB 또는 PB 규모의 데이터를 이전하는 가장 똑똑한 방법은 무엇입니까?

얼마나 많은 데이터를 얼마나 멀리 얼마나 빠르게 옮길 수 있는지는 기본적인 질문입니다. 최고의 시나리오를 위해 다음 공식을 사용하십시오.

일 수 = (총 바이트 수)/(초당 메가비트 수 * 125 * 1000 * 네트워크 사용률 * 60초 * 60분 * 24시간)

예를 들어 T1 연결(1.544Mbps) 상태에서 1TB(1,024 * 1,024 * 1,024 * 1,024바이트)를 AWS에서 송신 또는 수신하는 경우, 네트워크 사용률이 80%인 네트워크 연결을 통해 데이터를 로드하는 데 걸리는 시간은 이론적으로 최소 82일입니다.

놀라지 마십시오. AWS는 충분한 경험이 있습니다. 고객은 2가지 접근 방식을 사용합니다. 매우 기본적인 비관리형 마이그레이션 도구를 사용하여 데이터를 이동하거나, 위에서 언급한 Amazon의 서비스 제품군 중 하나를 선택합니다.

일반적인 경험에 근거한 기준에 따르면 최적의 결과를 얻기 위해서는 다음을 따르는 것이 좋습니다.

연결 데이터 규모 방법
10Mbps 미만 500GB 미만 비관리형
10Mbps 이상 500GB 이상 관리형 서비스