雲端資料移轉

將內部部署資料搬移到 AWS,以利進行遷移或持續性的工作流程

若要成功部署應用程式、執行分析工作流程和實現機器學習創新,資料就是不可或缺的基石。在將資料移轉到雲端時,您需要了解不同使用案例所要移動到的位置、所要移動資料的類型,以及可使用的網路資源等因素。AWS 提供各式各樣的服務與合作夥伴工具來協助您移轉資料集,無論這些資料是檔案、資料庫、機器映像、區塊磁碟區或甚至是磁帶備份,都能順利移轉。

透過 AWS Storage Gateway 快速使用雲端儲存 (6:38)

AWS 雲端資料移轉服務

AWS 提供各種資料傳輸服務組合,可為任何資料遷移專案提供適當的解決方案。連線級別是資料遷移的主要因素,AWS 提供的產品可以滿足您的混合雲端儲存、線上資料傳輸和離線資料傳輸需求。

混合雲端儲存

許多客戶都希望能利用雲端儲存的優勢,但其內部部署執行的應用程式都需要以低延遲方式存取資料,或必須快速將資料傳輸到雲端。AWS 混合雲端儲存架構可將內部部署應用程式和系統連接到雲端儲存,協助您降低成本、大幅減輕管理重擔,並利用手邊資料進行創新。

AWS Storage Gateway

AWS Storage Gateway 可簡化內部部署採用 AWS Storage 的過程。Storage Gateway 讓您能夠無縫連接內部部署應用程式,並將其擴展至 AWS Storage。客戶使用 Storage Gateway 將磁帶庫無縫取代為雲端儲存,提供雲端儲存支援的檔案共用,或建立低延遲快取,以存取 AWS 中的內部部署應用程式資料。該服務提供三種不同類型的閘道,也就是檔案閘道、磁帶閘道和磁碟區閘道。

  • 檔案閘道 檔案資料使用 Amazon S3 File Gateway 作為耐用物件儲存在 Amazon S3 中,或使用 Amazon FSx File Gateway 儲存在全受管檔案共用中。
  • 磁帶閘道虛擬磁帶櫃 (VTL) 組態可與您現有的備份軟體無縫整合,使磁帶成為 Amazon S3 中符合成本效益的替代方案,以及 S3 Glacier 和 S3 Glacier Deep Archive 的長期存檔選項。
  • 磁碟區閘道會在本機上儲存區塊磁碟區或建立快取,並將時間點備份設為 EBS 快照。這些快照都可在雲端中復原。

AWS Direct Connect

客戶可選取 Direct Connect 專用實體連線,加快自身資料中心與 AWS 資料中心之間的網路傳輸速度。

您可利用 AWS Direct Connect 在網路與任何一個 AWS Direct Connect 位置之間建立專用網路連線,並使用產業標準的 802.1q VLAN 來將這個專用連線分割成多個虛擬界面。如此一來,您就可以利用同一連線存取公有資源 (例如,存放在使用公有 IP 地址空間之 Amazon S3 的物件) 和私有資源 (例如,在使用私有 IP 空間之 Amazon Virtual Private Cloud (VPC) 中執行的 Amazon EC2 執行個體),同時又可在公有和私有環境間保持網路區隔。您可隨時重新設定虛擬界面,滿足不斷變化的需求。

探索我們的 AWS Direct Connect 合作夥伴服務包,這能協助您將內部部署技術延伸到雲端。 

線上資料傳輸

以下服務可讓您透過線上方式,輕而易舉地將資料傳入和傳出 AWS。

AWS DataSync

透過 AWS DataSync 資料傳輸服務,您可以輕鬆地在內部部署儲存系統和 Amazon S3、Amazon Elastic File System (Amazon EFS) 或 Amazon FSx for Windows File Server 之間自動移動資料。DataSync 會自動處理可能拖慢移轉速度或加重 IT 操作負擔的多項資料傳輸相關任務,包括執行您自己的執行個體、加密處理、管理指令碼、最佳化網路及驗證資料完整性。透過 DataSync 傳輸資料的速度,比開放原始碼工具快上 10 倍。您可以使用 DataSync,透過 AWS Direct Connect 或網際網路連結將資料複製到 AWS,以執行一次性的資料移轉作業、重複性的資料處理工作流程,以及資料保護與復原的自動化複製作業。

AWS Transfer 系列

AWS Transfer 系列提供全受管的檔案傳輸支援,可直接將檔案傳入和傳出 Amazon S3。AWS Transfer 系列支援安全檔案傳輸通訊協定 (SFTP)、SSL 檔案傳輸通訊協定 (FTPS) 和檔案傳輸通訊協定 (FTP),可與現有身份驗證系統整合並透過 Amazon Route 53 提供 DNS 路由,協助您將檔案傳輸工作流程無縫移轉到 AWS,因此您的客戶、合作夥伴或其應用程式無須進行任何變更。 將資料放入 Amazon S3 之後,即可用於各種 AWS 服務以進行處理、分析、機器學習和存檔。很容易就能開始使用 AWS Transfer 系列,無須購買和安裝任何基礎設施。

Amazon S3 Transfer Acceleration

Amazon S3 Transfer Acceleration 可讓公共網際網路到 Amazon S3 的傳輸過程更快速。無論距離長短或網際網路狀況是否有變化,您都可以最大化可用頻寬,而且不需要特殊用戶端或專有網路協定。您只需變更 S3 儲存貯體所使用的端點,系統就會自動套用加速選項。

這個選項很適合執行跨全球傳輸的重複性任務,例如媒體上傳、備份,以及定期傳送到中央位置的本機資料處理任務。

AWS Snowcone

AWS Snowcone 是 AWS Snow 邊緣運算與資料傳輸裝置系列中最小型的成員。Snowcone 便於攜帶、堅固耐用且安全省心。您可以使用 Snowcone 收集、處理資料,並透過 AWS DataSync 以線上方式將其移至 AWS。在連線斷開的環境和連接的節點執行應用程式極具挑戰性,因為這些位置通常缺少資料中心 IT 設備所需的空間、電力和冷卻。AWS Snowcone 將資料安全地儲存在節點,且可執行使用 AWS IoT Greengrass 或 Amazon EC2 執行個體的邊緣運算工作負載。Snowcone 裝置很小巧,重量為 4.5 磅(2.1 公斤),因此您可以將其放在背包中攜帶,或安裝在 物聯網、車輛或甚至是無人機使用案例的狹小空間內。

Amazon Kinesis Data Firehose

Amazon Kinesis Data Firehose 是將串流資料載入 AWS 最簡便的方式。它可以擷取串流資料並將其自動載入 Amazon S3 和 Amazon Redshift,再透過現有的商業智慧工具以及您目前正在使用的儀表板,執行近乎即時的分析。這是一項全受管的服務,可自動擴展以因應資料的輸送量,而且不用全程管理。它也可以在載入資料之前先進行批次處理、壓縮及加密,以大幅減少目標所需的儲存體數量及提高安全性。您可以從 AWS 管理主控台輕鬆地建立 Firehose 交付串流,按幾下按鍵進行設定,然後開始從數十萬個要載入 AWS 的資料來源持續將資料傳送至串流,而這整個程序只需要幾分鐘。

APN 合作夥伴產品

AWS 已和業界多家廠商合作,共同打造可消除傳統備份與雲端間隔閡的實體閘道設備。這可將現有的內部部署資料連結到 Amazon 雲端,以免移動時影響效能,還可保留現有的備份型錄。

  • 無縫整合至現有基礎設施
  • 可提供複製、壓縮、加密或 WAN 加速
  • 將最近的本機備份、文件庫等所有項目快取至 AWS 雲端

離線資料傳輸

AWS Snow 系列可讓您透過離線方式,輕鬆地將資料傳入和傳出 AWS。

AWS Snowcone

AWS Snowcone 是 AWS Snow 邊緣運算與資料傳輸裝置系列中最小型的成員。Snowcone 便於攜帶、堅固耐用且安全省心。您可以使用 Snowcone 收集、處理資料,並透過運輸裝置以離線方式將其移至 AWS。在連線斷開的環境和連接的節點執行應用程式極具挑戰性,因為這些位置通常缺少資料中心 IT 設備所需的空間、電力和冷卻。AWS Snowcone 將資料安全地儲存在節點,且可執行使用 AWS IoT Greengrass 或 Amazon EC2 執行個體的邊緣運算工作負載。Snowcone 裝置很小巧,重量為 4.5 磅(2.1 公斤),因此您可以將其放在背包中攜帶,或安裝在 物聯網、車輛或甚至是無人機使用案例的狹小空間內。

AWS Snowball

AWS Snowball 是兼具內建儲存和運算能力的 PB 級資料傳輸及邊緣運算裝置,有兩種選項可供選擇。Snowball Edge Storage Optimized 裝置提供區塊儲存和 Amazon S3 相容物件儲存功能,同時具備 40 個 vCPU,非常適合用於本機儲存和大規模資料傳輸。Snowball Edge Compute Optimized 裝置為使用案例 (例如在中斷連線的環境中進行進階機器學習或全動態影像分析) 提供 52 個 vCPU、區塊和物件儲存,以及選用的 GPU。您可以在網路連線不穩定的環境 (如生產製造、工業和運輸) 或處於非常偏遠的地點 (如軍隊或海事作業) 時,使用這些裝置進行資料收集、機器學習和處理以及儲存,再將裝置寄送回 AWS。這些裝置也可以一起放在機架上組成叢集,以建置成更大型的臨時設備。

非受管的雲端資料遷移工具

AWS 也提供簡易的指令碼或 CLI 工具,有助於將資料從您的網站移到 AWS 雲端儲存空間。

rsync

客戶可使用開放原始碼工具 rsync,搭配第三方檔案系統工具,將資料直接複製到 S3 儲存貯體。

S3 命令列界面

客戶可使用 Amazon S3 CLI 撰寫命令,將資料直接移到 S3 儲存貯體。

S3 Glacier 命令列界面

客戶可使用 Amazon S3 Glacier CLI 將資料移到 S3 Glacier 文件庫。

雲端資料移轉的常見挑戰

大部分專案都要面對資料傳輸的棘手問題。如何在中斷服務時間最短、費用最低與最省時間的前提下,從容地將資料從目前位置移到新的雲端位置? 實際移動 GB、TB 或 PB 資料最聰明的方法是什麼?

最基本的潛在問題則是可移動多少資料、移到多遠、速度有多快? 為享有最佳的案例情況,請使用下列公式:

天數 = (總位元組數)/(每秒百萬位元數 * 125 * 1000 * 網路使用率 * 60 秒 * 60 分鐘 * 24 小時)

例如,如果您要使用 T1 連線 (1.544 Mbps) 將 1 TB 資料 (1024 * 1024 * 1024 * 1024 位元組) 移入或移出 AWS,理論上,透過網路連線 (80% 網路使用率) 載入該資料,最少需要 82 天。

放心。我們之前已試過。我們發現客戶會以兩種方式完成這項任務,一種是使用最基本的非受管移轉工具來移動資料,另一種是選用上述的其中一套 AWS 服務。

根據一般經驗法則,取得最佳結果的建議如下:

連線 資料擴展 方法
低於 10 Mbps 低於 500 GB 未受管
高於 10 Mbps 高於 500 GB 受管服務