開始瞭解
請求更多資訊

若要成功地部署應用程式、執行分析工作流程和實現機器學習創新,資料是不可或缺的基石。在將資料轉移到雲端時,您需要了解不同的使用案例所要移動到的位置、所要移動資料的類型,以及可使用的網路資源等因素。AWS 提供各式各樣的服務與合作夥伴工具,協助您移轉資料集,無論這些資料是檔案、資料庫、機器映像、區塊磁碟區或甚至是磁帶備份。

WWPS_Migrating-Data_6-2019_thumb
移動您的資料:將資料遷移到 AWS 的最佳實務 - 2019 年公共部門峰會

AWS 建立了一套資料傳輸服務,提供多種方法,可協助您更有效地遷移資料。這些服務可分為兩大類:

  • 線上資料傳輸與混合雲端儲存。 這些方法可讓您輕鬆地建立連到 VPC 的網路連結、將資料傳輸到 AWS,或是搭配現有的現場部署應用程式使用 S3,來建立混合雲端儲存機制。這些服務可協助您一次直接搬移大型資料集,也可協助您將現有的處理流程 (例如備份和復原,或是連續的資料串流) 與雲端儲存直接整合。
  • 以離線方式將資料遷移到 Amazon S3。不論是裝滿 100 PB 容量硬碟的半掛式卡車,或是容量 100 TB、手提箱大小的裝置,絕對不要低估這些方式所能運送的同等頻寬。這些離線資料遷移服務,採用了可運送的加固裝置,非常適合用來遷移龐大的封存檔、資料湖泊,或是在透過網路傳送的頻寬和資料量,無法於所要的時間期限內完成時使用。
data-migration-256px

如果您需要: 可考慮:

線上連結 AWS 雲端儲存服務,以進行下列操作:

 

透過直接連到 AWS 區域中 VPC 的網路連結,和您的資料中心建立起私有連線

AWS Direct Connect

將檔案系統的資料複製到 Amazon S3 或 Amazon EFS

AWS DataSync

將現有的現場部署應用程式連線到雲端儲存
 - 適用於以物件形式儲存在 Amazon S3 中的檔案
 - 適用於磁帶備份
 - 適用於區塊儲存體

 

AWS Storage Gateway
檔案閘道
磁帶閘道
磁碟區閘道
(或)
合作夥伴產品

將資料庫快速安全地遷移至 AWS,將停機時間縮到最短。

AWS Database Migration Service

將執行中的機器映像連同其資料一起遷移到 Amazon EC2

CloudEndure

將資料讀取和寫入到地理上位於遠處的 Amazon S3

Amazon S3 Transfer Acceleration

收集和導入多個串流資料來源 

Amazon Kinesis
Data Firehose

在中斷時間最短的情況下,將備份或存檔推送到雲端

技術合作夥伴
以離線方式移動大批資料時,可讓您進行下列的操作:  

分批將 PB 級規模的資料,以實體方式運送到雲端

AWS Snowball

透過具內建儲存與運算功能的設備,以實體方式運送 PB 級資料

AWS Snowball Edge

分批將數十 PB 到 EX 級規模的資料遷移至雲端

AWS Snowmobile

您也可以結合多種服務來達到最佳結果。參考下列的範例:

  • 現用資料採用 AWS Snowball,存檔資料集則採用 AWS Snowball Edge
  • 平行執行多個 Snowball
  • Direct Connect 與 S3 CLI
  • Direct Connect 與 APN 儲存技術合作夥伴
  • Direct Connect 與 DataSync
  • AWS Storage Gateway (磁帶閘道) 與虛擬磁帶備份的 APN 技術備份合作夥伴

需要有人協助您處理特定案例嗎? 讓我們協助您。

聯絡銷售人員

這些遷移方法可加強或取代網際網路,將資料從目前的位置直接搬移到 Amazon 的資料中心。不支援任何開發工作或 API,而且傳輸可能會影響到您現有的現場部署流程。

CDM_DirectConnect

探索我們的 Direct Connect 合作夥伴服務包,以協助您將現場部署技術延伸到雲端。

客戶選用 Direct Connect 專用實體連線,以加快客戶資料中心與 AWS 資料中心之間的網路傳輸速度。

您可利用 AWS Direct Connect 在您的網路與其中一個 AWS Direct Connect 位置之間建立專用網路連線。使用產業標準的 802.1q VLAN 可將這個專線分割成多個虛擬界面。這可讓您利用同一個連線存取公有資源 (例如:存放在使用公有 IP 地址空間的 Amazon S3 中的物件) 和私有資源 (例如:使用私有 IP 空間在 Amazon Virtual Private Cloud (VPC) 中執行的 Amazon EC2 執行個體),同時又能在公有和私有環境之間保持網路區隔。您可隨時重新配置虛擬界面,滿足不斷變化的需求。

進一步了解 Direct Connect 服務。


SiteMerch-Sync_Editorial

透過 AWS DataSync 資料傳輸服務,您可以輕鬆地在現場部署的儲存系統和 Amazon S3 或 Amazon Elastic File System (Amazon EFS) 之間,自動移動資料。DataSync 會自動處理資料傳輸相關工作中可能導致移轉速度緩慢或加重 IT 操作負擔的多項任務,包括執行您自己的執行個體、加密處理、指令碼管理、網路優化和資料完整性驗證。透過 DataSync 傳輸資料的速度,比開放原始碼工具快上 10 倍。您可以使用 DataSync,透過 AWS Direct Connect 或網際網路連結,將資料複製到 AWS,執行一次性的資料遷移、重複性的資料處理工作流程,以及資料保護與恢復的自動化複製作業。

進一步了解 DataSync


CDM_StorageGateways

閘道位於現場部署,將您的環境連接至 AWS 雲端。這是非常適合混合案例的解決方案,某些儲存基於效能或合規原因必須置於本機,而有些儲存則可卸載至 S3。

考慮將閘道和 AWS Direct Connect 服務結合起來,以確保優化的效能。

AWS Storage Gateway 服務可簡化現場部署採用 AWS 儲存的過程。您的現有應用程式透過產業標準區塊和磁帶儲存協定連接本機閘道,將資料存放到 Amazon S3 和 Amazon Glacier。

  • 資料壓縮後安全地傳輸到 AWS。
  • 檔案閘道代表 SMB 或 NFS 檔案共用區,現場部署應用程式可以將檔案做為 S3 物件儲存到此磁碟區,然後使用傳統的檔案介面來存取這些檔案。
  • 磁碟區閘道會在本機上儲存區塊儲存體或建立其快取,並且將時間點備份做為 EBS 快照。這些快照可在雲端中恢復。
  • 磁帶閘道虛擬磁帶櫃 (VTL) 組態可和您現有的備份軟體無縫整合,用磁帶做為 Amazon S3 中具備成本效益的替代方案,以及 S3 Glacier 和 S3 Glacier Deep Archive 中的長期存檔選項。

進一步了解 AWS Storage Gateway。

AWS 已和業界多家廠商合作,打造可消除傳統備份與雲端之間隔閡的實體閘道設備。將現有的現場部署資料連結到 Amazon 雲端,以避免移動時影響效能,並保留現有的備份型錄。

  • 無縫整合至現有基礎設施
  • 可提供複製、壓縮、加密或 WAN 加速
  • 將最近的本機備份、文件庫等所有項目快取至 AWS 雲端

進一步了解閘道合作夥伴關係。


Desktop_S3-transfer-acceleration

Amazon S3 Transfer Acceleration 讓公共網際網路到 Amazon S3 的傳輸變得更快速。無論距離長短或各種網際網路氣象,您都可以最大化可用的頻寬,而且不需要特殊用戶端或專有網路協定。只需變更 S3 儲存貯體所使用的端點,就會自動套用加速。

對於跨全球傳輸的重複性任務,例如媒體上傳、備份,以及定期傳送到中央位置的本機資料處理任務,這是理想的選項。

進一步了解 Transfer Acceleration


CDM_KinesisFirehose

Amazon Kinesis Data Firehose 是將串流資料載入 AWS 最簡便的方式。此項服務可以擷取串流資料並自動載入 Amazon S3Amazon Redshift,再使用現有的商業智慧工具以及您目前正在使用的儀表板,進行接近即時的分析。這是一項全受管的服務,可自動擴展以因應資料的輸送量,而且不用全程管理。它也可以在載入資料之前先進行批次處理、壓縮及加密,以大幅減少目標所需的儲存體數量及提高安全性。您可以從 AWS 管理主控台輕鬆地建立 Firehose 交付串流、按幾下按鍵進行設定,然後開始從數十萬個要載入 AWS 的資料來源,持續地將資料傳送至串流,而這整個程序只需要幾分鐘的時間。

進一步了解 AWS Kinesis Data Firehose。


CDM_TechPartnerConnectors_v2

Amazon 與業界廠商合作,讓您可以非常輕鬆地將備份和存檔移到雲端。透過您現有備份軟體中內嵌的 S3 連接器移動資料可能是最簡單的方法。這種方法最明確的好處就是可保持備份型錄的一致性,讓您對跨磁碟、磁帶和雲端的任務保持可見性和控制。


有時,可能沒有足夠的頻寬,或甚至網路無法使用,而讓您無法進行所需的資料傳輸或遷移,來趕上資料中心關閉或遠端站點資料傳輸任務的進度時程。下列是帶著資料以交通運輸方式移動的選項。

雲端運算的好處 – 無需猜想容量圖示

Snowball 是 PB 級的資料傳輸解決方案,使用安全設備將大量資料傳入和傳出 AWS。使用 Snowball 可克服大規模資料傳輸的常見挑戰,包括昂貴的網路頻寬費用、冗長的傳輸時間,以及安全方面的考量。使用 Snowball 來傳輸資料,簡單、快速又安全。

進一步了解 Snowball 服務。


CDM_ImportExport-Snowball_v3

Snowball Edge 是搭配內建儲存和運算的 PB 級資料傳輸裝置。您可以使用 Snowball Edge 將大量資料移入和移出 AWS,當做一個適合大量本機資料集的臨時儲存方案,或是用來支援遠端或離線位置中的本機工作負載。

進一步了解 Snowball Edge。


雲端運算的好處 – 無需猜想容量圖示

Snowmobile 是 EB 級的資料傳輸解決方案,使用安全的半 40 英尺裝運貨櫃,將大量資料傳入和傳出 AWS。使用 Snowmobile 可克服大規模資料傳輸的常見挑戰,包括昂貴的網路成本、冗長的傳輸時間,以及安全方面的考量。使用 Snowmobile 傳輸資料是經由客戶參與而完成,不僅速度很快、也很安全,而且只需要高速網際網路費用的五分之一。

進一步了解 Snowmobile 服務。


AWS 也提供簡易的指令碼或 CLI 工具,可用來將資料從您的站點移到 Amazon的雲端儲存空間。

  • rsync。客戶使用此開放原始碼工具搭配第三方檔案系統工具,直接將資料複製到 S3 儲存貯體。
  • S3 命令列界面。 客戶使用 Amazon S3 CLI 撰寫命令,直接將資料移到 S3 儲存貯體。
  • Glacier 命令列界面。 客戶使用 Amazon Glacier CLI 將資料移到 Glacier 文件庫。

大部分專案都要面對資料傳輸的棘手問題。 如何在中斷服務時間最短、費用最低與最省時間的前提下,從容地從目前位置移到雲端的新位置? 實際移動 GB、TB 或 PB 資料最聰明的方法是什麼?

這是最基本的潛在問題:可移動多少資料、移到多遠及多快? 為了取得最佳的案例情況,請使用下列公式:

天數 = (總位元組數)/(每秒百萬位元數 * 125 * 1000 * 網路使用率 * 60 秒 * 60 分鐘 * 24 小時)

例如,如果您使用 T1 連線 (1.544 Mbps) 將 1 TB (1024 * 1024 * 1024 * 1024 位元組) 資料移入或移出 AWS,理論上,透過網路連線 (80% 網路使用率) 載入該資料所需的最短時間為 82 天。

放心。我們之前已試過。我們發現客戶會以兩種方式完成這項任務:使用最基本的非受管遷移工具來移動資料,或選用上述的其中一套 Amazon 服務。

根據一般經驗法則,取得最佳結果的建議如下:

連線 資料擴展 方法
低於 10 Mbps 低於 500 GB 未受管
高於 10 Mbps 高於 500 GB 受管服務