데이터는 성공적인 애플리케이션 배포, 분석 워크플로 및 기계 학습 혁신의 토대입니다. 클라우드로 데이터를 이동할 때는 다른 고려 사항 중에서도 다양한 사용 사례에 맞게 데이터를 이동하는 위치, 이동하는 데이터의 유형, 사용할 수 있는 네트워크 리소스를 파악해야 합니다. AWS는 파일, 데이터베이스, 머신 이미지, 블록 볼륨 또는 테이프 백업 등 데이터 세트를 마이그레이션하는 데 도움이 되는 다양한 서비스와 파트너 도구를 제공합니다.
AWS 클라우드 데이터 마이그레이션 서비스
AWS는 모든 데이터 마이그레이션 프로젝트에 적합한 솔루션을 제공할 수 있는 데이터 전송 서비스 포트폴리오를 제공합니다. 연결 수준은 데이터 마이그레이션의 중요한 요소이며 AWS는 하이브리드 클라우드 스토리지, 온라인 데이터 전송 및 오프라인 데이터 전송 요구 사항을 해결할 수 있는 오퍼링을 갖추고 있습니다.
하이브리드 클라우드 스토리지
많은 고객이 클라우드 스토리지의 혜택을 누리고 싶어 하지만 데이터에 빠르게 액세스해야 하거나 클라우드로 신속한 데이터 전송이 필요한 애플리케이션을 온프레미스에서 운영하고 있습니다. AWS 하이브리드 클라우드 스토리지 아키텍처는 온프레미스 애플리케이션과 시스템을 클라우드 스토리지로 연결해서 비용을 절감하고, 관리 부담을 최소화하고, 데이터를 통한 혁신을 지원합니다.
AWS Storage Gateway
AWS Storage Gateway는 AWS 스토리지를 온프레미스에 간단하게 도입할 수 있도록 해줍니다. Storage Gateway를 사용하면 온프레미스 애플리케이션을 AWS 스토리지로 원활하게 연결하고 확장할 수 있습니다. 고객은 Storage Gateway를 사용하여 테이프 라이브러리를 클라우드 스토리지로 손쉽게 교체하거나, 클라우드 스토리지 기반의 파일 공유를 제공하거나, 온프레미스 애플리케이션이 AWS의 데이터에 액세스하기 위한 지연 시간이 짧은 캐시를 구축할 수 있습니다. 이 서비스는 File Gateway, Tape Gateway 및 Volume Gateway라는 3가지 유형의 게이트웨이를 제공합니다.
- File Gateway 파일 데이터는 Amazon S3 File Gateway를 사용하여 Amazon S3에 내구력 있는 객체로 저장되거나 Amazon FSx File Gateway를 사용한 완전관리형 파일 공유에 저장됩니다.
- Tape Gateway 가상 테이프 라이브러리(VTL) 구성은 기존 백업 소프트웨어와 원활하게 통합되어 Amazon S3의 비용 효과적인 테이프 대체와 S3 Glacier 및 S3 Glacier Deep Archive의 장기 아카이브를 지원합니다.
- 볼륨 게이트웨이는 블록 볼륨을 로컬에 저장하거나 캐시하며 특정 시점 백업을 EBS 스냅샷으로 제공합니다. 이 스냅샷은 클라우드에서 복구될 수 있습니다.
AWS Direct Connect
고객은 자체 데이터 센터와 AWS 데이터 센터 간의 네트워크 전송을 가속화하기 위해 Direct Connect 전용 물리적 연결을 선택합니다.
AWS Direct Connect를 통해 사용자의 네트워크와 AWS Direct Connect 위치 중 하나 사이에 전용 네트워크 연결을 설정할 수 있습니다. 업계 표준의 802.1q VLAN을 사용하여 이 전용 연결을 여러 가상 인터페이스로 나눌 수 있습니다. 이렇게 하면 퍼블릭 환경과 프라이빗 환경 간의 네트워크 분리를 유지하면서 동일한 연결을 사용하여 퍼블릭 리소스(예: 퍼블릭 IP 주소 공간을 사용하는 Amazon S3에 저장된 객체)뿐 아니라 프라이빗 리소스(예: 프라이빗 IP 공간을 사용하는 Amazon Virtual Private Cloud(VPC)에서 실행되고 있는 Amazon EC2 인스턴스)에도 액세스할 수 있습니다. 가상 인터페이스는 변화하는 요구를 충족하기 위해 언제든지 다시 구성할 수 있습니다.
온프레미스 기술을 클라우드로 확장할 수 있는 AWS Direct Connect 파트너 번들에 대해 알아보십시오.
온라인 데이터 전송
이 서비스를 사용하면 온라인 방식으로 간단하고 간편하게 AWS로 데이터를 송수신할 수 있습니다.
AWS DataSync
AWS DataSync는 온프레미스 스토리지와 Amazon S3, Amazon EFS(Amazon Elastic File System) 또는 Amazon FSx for Windows File Server 간의 데이터 이전을 쉽게 자동화시켜주는 데이터 전송 서비스입니다. DataSync는 자체 인스턴스 실행, 암호화 처리, 스크립트 관리, 네트워크 최적화 및 데이터 무결성 검증을 포함하여 마이그레이션 속도를 늦추거나 IT 운영에 부담을 줄 수 있는 데이터 전송과 관련된 많은 작업을 자동으로 처리합니다. DataSync를 사용하면 오픈 소스 도구보다 최대 10배 빠르게 데이터를 전송할 수 있습니다. DataSync를 사용하면 AWS Direct Connect를 통해 또는 AWS에 대한 인터넷 링크를 통해 데이터를 복사하여 일회성 데이터 마이그레이션, 반복되는 데이터 처리 워크플로, 데이터 보호 및 복구를 위한 자동화된 복제를 수행할 수 있습니다.
AWS Transfer 패밀리
AWS Transfer 패밀리는 Amazon S3에서 파일을 직접 송수신할 수 있는 완전관리형 지원을 제공합니다. SFTP(Secure File Transfer Protocol), FTPS(File Transfer Protocol over SSL) 및 FTP(File Transfer Protocol) 지원으로 AWS Transfer 패밀리가 기존 인증 시스템과 통합되고 Amazon Route 53을 사용한 DNS 라우팅을 제공하여 파일 전송 워크플로를 AWS로 원활하게 마이그레이션할 수 있도록 지원하므로 고객과 파트너 또는 해당 애플리케이션에 대한 변경 사항은 없습니다. Amazon S3에 데이터가 있는 경우 처리, 분석, 기계 학습 및 아카이브를 위해 AWS 서비스에서 사용할 수 있습니다. AWS Transfer 패밀리는 쉽게 시작할 수 있습니다. 인프라를 구입하고 설정할 필요가 없습니다.
Amazon S3 Transfer Acceleration
Amazon S3 Transfer Acceleration은 퍼블릭 인터넷을 통해 Amazon S3로 전송되는 속도를 개선합니다. 거리나 달라지는 인터넷 날씨와 관계없이 대역폭의 가용성을 극대화할 수 있으며, 특별한 클라이언트 또는 소유 네트워크 프로토콜이 필요 없습니다. 사용하는 엔드포인트를 S3 버킷으로 변경하기만 하면, 자동으로 가속화가 적용됩니다.
이 서비스는 미디어 업로드, 백업, 정기적으로 한 곳으로 전송되는 로컬 데이터 처리 작업 등과 같이 전 세계로 전송되는 반복 작업에 적합합니다.
AWS Snowcone
AWS Snowcone은 AWS Snow 패밀리 엣지 컴퓨팅 및 데이터 전송 디바이스 중 가장 작은 제품입니다. Snowcone은 견고하고 안전한 휴대용 제품입니다. Snowcone을 사용하면 AWS DataSync를 통해 데이터를 수집, 처리하고 AWS 온라인으로 이동할 수 있습니다. 연결이 해제된 환경 및 연결된 엣지 로케이션에서 애플리케이션을 실행하는 작업은 이런 로케이션에 흔히 데이터 센터 IT 장비에 필요한 공간, 전력 및 냉각 기능이 없기 때문에 어려울 수 있습니다. AWS Snowcone은 엣지 로케이션에서 데이터를 안전하게 저장하며, AWS IoT Greengrass 또는 Amazon EC2 인스턴스를 사용하는 엣지 컴퓨팅 워크로드를 실행할 수 있습니다. Snowcone 디바이스는 소형이며 무게가 4.5파운드(2.1kg)이므로 배낭에 담아서 휴대하거나 IoT, 차량 또는 드론 사용 사례의 좁은 공간에도 장착할 수 있습니다.
Amazon Kinesis Data Firehose
Amazon Kinesis Data Firehose는 스트리밍 데이터를 AWS로 로드하는 가장 쉬운 방법입니다. 스트리밍 데이터를 캡처하여 자동으로 Amazon S3 및 Amazon Redshift로 로드함으로써 기존 비즈니스 인텔리전스 도구 및 이미 사용하고 있는 대시보드를 통해 거의 실시간으로 분석할 수 있습니다. Amazon Kinesis Firehose는 완전 관리형 서비스로서 데이터 처리량에 대응하여 자동으로 확장되며 지속적인 관리가 필요 없습니다. 또한, 데이터를 로드하기 전에 배치, 압축 및 암호화하여 대상 스토리지의 사용량을 최소화하고 보안을 강화할 수 있습니다. AWS Management Console에서 Firehose 전송 스트림을 손쉽게 생성하고, 클릭 몇 번으로 구성한 다음, 수십만 개의 데이터 원본에서 스트림으로 데이터 전송을 시작하여 AWS로 지속적으로 로드되도록 할 수 있습니다. 이 모든 작업이 몇 분 만에 완료됩니다.
APN 파트너 제품
AWS는 기존 백업과 클라우드 간의 차이를 메우는 물리적 게이트웨이 어플라이언스를 공급하는 여러 업체와 협력하고 있습니다. 기존 온프레미스 데이터를 Amazon 클라우드에 연결하여, 성능에 영향을 주지 않고 기존 백업 카탈로그를 유지하면서 데이터를 이동합니다.
- 기존 인프라와 원활하게 통합
- 중복 제거, 압축, 암호화 또는 WAN 가속화 제공
- 최근 백업을 로컬에 캐시, 모든 것을 AWS 클라우드에 저장
오프라인 데이터 전송
AWS Snow 패밀리는 오프라인 방식으로 간단하게 AWS로 데이터를 송수신할 수 있습니다.
AWS Snowcone
AWS Snowcone은 AWS Snow 패밀리 엣지 컴퓨팅 및 데이터 전송 디바이스 중 가장 작은 제품입니다. Snowcone은 견고하고 안전한 휴대용 제품입니다. Snowcone을 사용하면 디바이스를 배송함으로써 데이터를 수집, 처리하고 AWS 오프라인으로 이동할 수 있습니다. 연결이 해제된 환경 및 연결된 엣지 로케이션에서 애플리케이션을 실행하는 작업은 이런 로케이션에 흔히 데이터 센터 IT 장비에 필요한 공간, 전력 및 냉각 기능이 없기 때문에 어려울 수 있습니다. AWS Snowcone은 엣지 로케이션에서 데이터를 안전하게 저장하며, AWS IoT Greengrass 또는 Amazon EC2 인스턴스를 사용하는 엣지 컴퓨팅 워크로드를 실행할 수 있습니다. Snowcone 디바이스는 소형이며 무게가 4.5파운드(2.1kg)이므로 배낭에 담아서 휴대하거나 IoT, 차량 또는 드론 사용 사례의 좁은 공간에도 장착할 수 있습니다.
AWS Snowball
AWS Snowball은 스토리지 및 컴퓨팅 기능이 내장된 페타바이트 규모 데이터 전송 및 엣지 컴퓨팅 디바이스이고 2가지 옵션으로 제공됩니다. Snowball Edge 스토리지 최적화 디바이스에서는 블록 스토리지 및 Amazon S3 호환 객체 스토리지 모두와 40개의 vCPU를 제공합니다. 이들은 로컬 스토리지 및 대규모 데이터 전송에 적합합니다. Snowball Edge 컴퓨팅 최적화 디바이스에서는 52개의 vCPU 및 객체 스토리지와 한 개의 GPU(선택 사항)를 제공하며, 고급 Machine Learning 및 외진 환경에서 풀 모션 비디오 분석과 같은 용도에 적합합니다. 데이터를 AWS로 다시 보내기 전에 간헐적 연결(제조, 산업, 운송 등) 환경 또는 매우 먼 위치(군사 또는 해양 작전 등)에서의 데이터 수집, Machine Learning 및 처리와 저장에 이러한 디바이스를 사용할 수 있습니다. 또한 이러한 디바이스를 랙에 장착하고 함께 클러스터링하여 대규모의 임시 시설을 구축할 수 있습니다.
비관리형 클라우드 데이터 마이그레이션 도구
AWS에서는 고객 사이트에서 AWS 클라우드 스토리지로 데이터를 이동할 수 있는 간편한 스크립트 또는 CLI 도구도 제공합니다.
rsync
고객은 타사 파일 시스템 도구와 함께 오픈 소스 도구인 resync를 사용하여 데이터를 직접 S3 버킷으로 복사할 수 있습니다.
S3 명령줄 인터페이스
고객은 Amazon S3 CLI를 사용하여 데이터를 직접 S3 버킷으로 이동하는 명령을 작성할 수 있습니다.
S3 Glacier 명령줄 인터페이스
고객은 Amazon S3 Glacier CLI를 사용하여 데이터를 S3 Glacier 저장소로 이동할 수 있습니다.
일반적인 클라우드 데이터 마이그레이션 과제
데이터 전송의 벅찬 현실은 대부분 프로젝트에 해당합니다. 최소한의 중단, 비용 및 시간으로 현재 위치에서 새로운 클라우드로 원활하게 이전하려면 어떻게 해야 합니까? 실제로 GB, TB 또는 PB 규모의 데이터를 이전하는 가장 똑똑한 방법은 무엇입니까?
얼마나 많은 데이터를 얼마나 멀리 얼마나 빠르게 옮길 수 있는지는 기본적인 질문입니다. 최고의 시나리오를 위해 다음 공식을 사용하십시오.
일 수 = (총 바이트 수)/(초당 메가비트 수 * 125 * 1000 * 네트워크 사용률 * 60초 * 60분 * 24시간)
예를 들어 T1 연결(1.544Mbps) 상태에서 1TB(1,024 * 1,024 * 1,024 * 1,024바이트)를 AWS에서 송신 또는 수신하는 경우, 네트워크 사용률이 80%인 네트워크 연결을 통해 데이터를 로드하는 데 걸리는 시간은 이론적으로 최소 82일입니다.
놀라지 마십시오. AWS는 충분한 경험이 있습니다. 고객은 2가지 접근 방식을 사용합니다. 매우 기본적인 비관리형 마이그레이션 도구를 사용하여 데이터를 이동하거나, 위에서 언급한 AWS의 서비스 제품군 중 하나를 선택합니다.
일반적인 경험에 근거한 기준에 따르면 최적의 결과를 얻기 위해서는 다음을 따르는 것이 좋습니다.
| 연결 | 데이터 규모 | 방법 |
|---|---|---|
| 10Mbps 미만 | 500GB 미만 | 비관리형 |
| 10Mbps 이상 | 500GB 이상 | 관리형 서비스 |