雲端資料移轉

將內部部署資料搬移到 AWS,以利進行移轉或持續性的工作流程

若要成功部署應用程式、執行分析工作流程和實現機器學習創新,資料是不可或缺的基石。在將資料轉移到雲端時,您需要瞭解不同的使用案例所要移動到的位置、所要移動資料的類型,以及可使用的網路資源等因素。AWS 提供各式各樣的服務與合作夥伴工具,協助您移轉資料集,無論這些資料是檔案、資料庫、機器映像、區塊磁碟區或甚至是磁帶備份,都能順利移轉。

Best practices for migrating data to AWS (50:07)

AWS 雲端資料移轉服務

AWS 建立了一套資料傳輸服務,提供多種方法協助您更有效地移轉資料。您可將這些服務分為兩類:線上資料傳輸與混合雲端儲存離線將資料移轉至 Amazon S3

線上資料傳輸與混合雲端儲存

這些方法可協助您輕鬆建立與 VPC 的網路連結、將資料傳輸到 AWS,或是搭配現有的內部部署應用程式使用 S3,建立混合雲端儲存機制。這些服務可協助您一次搬移大型資料集,也可協助您將現有的處理流程 (例如備份和復原,或是連續的資料串流) 與雲端儲存直接整合。

AWS Direct Connect

客戶可選取 Direct Connect 專用實體連線,加快客戶資料中心與 AWS 資料中心之間的網路傳輸速度。

您可利用 AWS Direct Connect,在網路與任何一個 AWS Direct Connect 位置之間建立專用網路連線。使用產業標準的 802.1q VLAN 可將這個專用連線分割成多個虛擬界面。如此一來,您就可以利用同一連線存取公有資源 (例如:存放在使用公有 IP 地址空間的 Amazon S3 物件) 和私有資源 (例如:使用私有 IP 空間在 Amazon Virtual Private Cloud (VPC) 中執行的 Amazon EC2 執行個體),還能在公有和私有環境之間保持網路區隔。您可隨時重新配置虛擬界面,滿足不斷變化的需求。

探索我們的 AWS Direct Connect 合作夥伴服務包,這能協助您將內部部署技術延伸到雲端。 

AWS DataSync

透過 AWS DataSync 資料傳輸服務,您可以在內部部署的儲存系統和 Amazon S3 或 Amazon Elastic File System (Amazon EFS) 之間自動移動資料。DataSync 會自動處理資料傳輸相關工作中可能拖慢移轉速度或加重 IT 操作負擔的多項任務,包括執行您自己的執行個體、加密處理、管理指令碼、優化網路及驗證資料完整性。透過 DataSync 傳輸資料的速度,比開放原始碼工具快上 10 倍。您可以使用 DataSync,透過 AWS Direct Connect 或網際網路連結,將資料複製到 AWS,以執行一次性的資料移轉作業、重複性的資料處理工作流程,以及資料保護與復原的自動化複製作業。

AWS Storage Gateway

AWS Storage Gateway 服務可簡化內部部署採用 AWS 儲存的過程。您的現有應用程式會透過產業標準區塊和磁帶儲存協定連線到本機閘道,將資料存放到 Amazon S3 和 Amazon Glacier。資料壓縮後,便會安全地傳輸到 AWS。

  • 檔案閘道是 SMB 或 NFS 檔案共用區,內部部署應用程式可以將檔案以 S3 物件形式儲存到此磁碟區,並透過傳統的檔案介面存取這些檔案。
  • 磁帶閘道虛擬磁帶櫃 (VTL) 組態可與您現有的備份軟體無縫整合,使磁帶成為 Amazon S3 中具備成本效益的替代方案,以及 S3 Glacier 和 S3 Glacier Deep Archive 的長期存檔選項。
  • 磁碟區閘道會在本機上儲存區塊磁碟區或建立快取,並將時間點備份設為 EBS 快照。這些快照可在雲端中復原。

Amazon S3 Transfer Acceleration

Amazon S3 Transfer Acceleration 可讓公共網際網路到 Amazon S3 的傳輸變得更快速。無論距離長短或各種網際網路氣象,您都可以最大化可用的頻寬,而且不需要特殊用戶端或專有網路協定。只需變更 S3 儲存貯體所使用的端點,就會自動套用加速。

這個選項很適合執行跨全球傳輸的重複性任務,例如媒體上傳、備份,以及定期傳送到中央位置的本機資料處理任務。

Amazon Kinesis Data Firehose

Amazon Kinesis Data Firehose 是將串流資料載入 AWS 最簡便的方式。這項服務可以擷取串流資料並自動載入 Amazon S3Amazon Redshift,再使用現有的商業智慧工具以及您目前所使用的儀表板,執行近乎即時的分析作業。這是一項全受管的服務,可因應資料的輸送量自動擴展,而且不必全程管理。它也可以在載入資料之前先進行批次處理、壓縮及加密,以大幅減少目標所需的儲存體數量及提高安全性。您可以從 AWS 管理主控台輕鬆建立 Firehose 交付串流、按幾下完成設定,接著開始從數十萬個要載入 AWS 的資料來源,將資料持續傳送至串流,而這整個程序只需要幾分鐘的時間就能完成。

APN 合作夥伴產品

AWS 已和業界多家廠商合作,共同打造可消除傳統備份與雲端間隔閡的實體閘道設備。將現有的內部部署資料連結到 Amazon 雲端,以免移動時影響效能,並保留現有的備份型錄。

  • 無縫整合至現有基礎設施
  • 可提供複製、壓縮、加密或 WAN 加速
  • 將最近的本機備份、文件庫等所有項目快取至 AWS 雲端

以離線方式將資料移轉到 Amazon S3

不論是裝滿 100 PB 容量硬碟的半掛式卡車,或是容量 100 TB、手提箱大小的裝置,切勿別低估這些方法所能克服的傳輸頻寬問題。這些離線資料移轉服務皆採用可運送的加固裝置,極其適合用於遷移龐大的封存檔、資料湖泊,或是在透過網路傳送的頻寬和資料量,無法在希望的時間期限內完成時使用。

AWS Snowball

AWS Snowball 是 PB 級資料傳輸解決方案,可使用安全設備將大量資料傳入和傳出 AWS。Snowball 可解決大規模資料傳輸的常見挑戰,包括有限的網路頻寬、冗長的傳輸時間,以及安全方面的考量。使用 Snowball 傳輸資料,簡單、快速又安全。

AWS Snowball Edge

AWS Snowball Edge 是兼具內建儲存和運算能力的 PB 級資料傳輸裝置。您可以使用 Snowball Edge 將大量資料移入和移出 AWS,使其成為適合大量本機資料集的臨時儲存方案,或用來支援遠端或離線位置的本機工作負載。

AWS Snowmobile

AWS Snowmobile 是 EB 級的資料傳輸解決方案,使用安全的半 40 英尺裝運貨櫃,將大量資料傳入和傳出 AWS。Snowmobile 可解決大規模資料傳輸的常見挑戰,包括昂貴的網路成本、冗長的傳輸時間,以及安全方面的考量。以 Snowmobile 傳輸資料需透過自訂參與來進行,不僅速度快、也很安全,而且費用只需高速網際網路的五分之一。

非受管的雲端資料移轉工具

AWS 也提供簡易的指令碼或 CLI 工具,協助將資料從您的站點移到 Amazon 的雲端儲存空間。

rsync

客戶可使用開放原始碼工具 rsync,搭配第三方檔案系統工具,將資料直接複製到 S3 儲存貯體。

S3 命令列界面

客戶可使用 Amazon S3 CLI 撰寫命令,將資料直接移到 S3 儲存貯體。

S3 Glacier 命令列界面

客戶可使用 Amazon Glacier CLI 將資料移到 Glacier 文件庫。

雲端資料移轉的常見挑戰

大部分專案都要面對資料傳輸的棘手問題。如何在中斷服務時間最短、費用最低與最省時間的前提下,從容地從目前位置移到雲端的新位置? 實際移動 GB、TB 或 PB 資料最聰明的方法是什麼?

這是最基本的潛在問題:可移動多少資料、移到多遠及多快? 為享有最佳的案例情況,請使用下列公式:

天數 = (總位元組數)/(每秒百萬位元數 * 125 * 1000 * 網路使用率 * 60 秒 * 60 分鐘 * 24 小時)

例如,如果您要使用 T1 連線 (1.544 Mbps) 將 1 TB 資料 (1024 * 1024 * 1024 * 1024 位元組) 移入或移出 AWS,理論上,透過網路連線 (80% 網路使用率) 載入該資料,最少需要 82 天。

放心。我們之前已試過。我們發現客戶會以兩種方式完成這項任務:使用最基本的非受管遷移工具來移動資料,或選用上述的其中一套 Amazon 服務。

根據一般經驗法則,取得最佳結果的建議如下:

連線 資料擴展 方法
低於 10 Mbps 低於 500 GB 未受管
高於 10 Mbps 高於 500 GB 受管服務