一般問題

問:什麼是 AWS DataSync?

答:AWS DataSync 是線上資料傳輸服務,讓透過網際網路或 AWS Direct Connect 在儲存系統與 Amazon S3 和 Amazon EFS 等 AWS 儲存服務之間複製大量資料的工作,變得更加簡單、自動化且快速。

問:為什麼應該使用 AWS DataSync?

答:AWS DataSync 可讓您移動、複製並同步含有數百萬個檔案的大型資料集,而無須使用開放原始碼工具建立自訂解決方案,也無須授權並管理昂貴的商業網路加速軟體。您可以使用 DataSync 一次移轉作用中的資料,為資料處理工作流程定期分發資料,或者持續複寫資料維持業務續航力。

問:DataSync 能夠為我解決什麼問題?

答:DataSync 能降低線上資料傳輸的複雜度和成本,簡化在現場部署儲存系統與 Amazon S3 或 Amazon Elastic File System (EFS) 之間傳輸資料集的工作。DataSync 透過標準儲存協定 (NFS) 連接現有的儲存系統和資料來源,並使用專門打造的網路協定和擴展架構,加快傳入和傳出 AWS 的速度。DataSync 自動擴展並處理所有涉及移動資料、監控傳輸進度、加密並驗證資料傳輸,以及通知客戶發生錯誤的任務。使用 DataSync 時,您只需為所複製的資料量支付費用,沒有最低用量或預先支付費用的要求。

問:我可以從哪裡傳出和傳入資料?

答:DataSync 可以在 NFS 伺服器、Amazon S3 儲存貯體和 Amazon EFS 檔案系統之間複製資料。

設定

問:如何開始使用 DataSync?

答:您可以在 AWS 管理主控台按幾下,或透過 AWS 命令列界面 (CLI) 來使用 DataSync 傳輸資料。部署 DataSync 代理程式、設定來源和目的地儲存位置,然後起始複製,即可開始使用。

問:如何部署 DataSync 代理程式?

答:您可以將 DataSync 代理程式部署到 VMware ESXi 虛擬化管理程序或 Amazon EC2。要將資料複製到現場部署 NFS 伺服器或從現場部署 NFS 伺服器複製資料,請從 AWS 主控台下載 OVA 並部署到現場部署 VMware ESXi 虛擬化管理程序。要將資料複製到雲端 NFS 伺服器或從雲端 NFS 伺服器複製資料,您可以從提供的 AMI 建立 Amazon EC2 執行個體。在這兩種情況下,都必須部署代理程式,以便它可以存取 NFS 伺服器。

問:DataSync 代理程式有什麼資源要求?

答:您可以在這裡找到執行代理程式的最低資源要求。

用量

問:如何使用 DataSync?

答:請依照以下 3 個步驟使用 DataSync:

1.部署代理程式 – 部署 DataSync 代理程式,並透過管理主控台或 API 將其與您的 AWS 帳戶建立關聯。代理程式會用來存取 NFS 伺服器以讀寫資料。

2.建立資料傳輸任務 – 指定資料來源和目的地位置,還有您想要用以設定傳輸的任何選項 (例如複製檔案中繼資料),以建立任務。

3.開始傳輸 – 在主控台中或透過 Amazon CloudWatch 開始傳輸任務並監控資料移動。

問:如何開始 DataSync 任務?

答:當您透過 AWS 管理主控台AWS 命令列界面 (CLI) 起始任務時,DataSync 會複製資料。每次執行任務時,它會掃描來源找出變更,並且從來源位置將已變更的資料複製到目的地位置。您可以設定使用哪些來源特性判斷資料變更、定義篩選條件以納入和排除特定檔案或資料夾,以及控制是否應從目的地刪除來源位置所沒有的檔案或物件。

問:DataSync 如何執行資料完整性驗證?

答:DataSync 會在傳輸過程中和結束時執行資料完整性驗證 (來源和目的地檔案的總和檢查比較,以及檔案中繼資料比較)。

問:如何監控 DataSync 傳輸的資料狀態?

答:您可以使用 AWS 管理主控台或 CLI 監控傳輸的資料狀態。您可以透過 Amazon CloudWatch 指標查看已複製的檔案數目和資料量。Amazon CloudWatch Logs 提供詳細的錯誤資訊。此外,CloudWatch Events 是隨著您的任務轉換狀態觸發,能自動化相依的工作流程。您可以在 AWS 管理主控台或 CLI 中找到其他資訊,例如傳輸進度。

問:從 Amazon S3 傳入或傳出檔案時,DataSync 會如何對應檔案和物件?

答:當檔案複製到物件時,檔案和物件之間是一對一的關係。檔案系統中繼資料會存放在 S3 使用者中繼資料。當含有檔案系統中繼資料的物件複製回檔案時,中繼資料會隨之還原。

問:DataSync 在傳輸資料時會保留什麼中繼資料?

答:DataSync 會保留 POSIX 中繼資料,例如使用者 ID、群組 ID 和許可,以確保檔案能夠還原至原始位置,並且不會遺失此中繼資料。此外,針對 S3 內的物件從檔案存放 POSIX 中繼資料時,中繼資料可與檔案閘道互相操作。

問:版本控制、生命週期、跨區域複寫和 S3 事件通知是否可與 DataSync 搭配使用?

答:可以。版本控制、生命週期管理、跨區域複寫和 S3 事件通知等儲存貯體政策會透過 DataSync 直接套用到傳輸至儲存貯體的物件。

請注意,如果使用版本控制,對物件中繼資料進行變更後將會替此物件建立新版本。

您可以使用 S3 生命週期政策來變更物件的儲存層,或刪除舊有物件或物件版本。

問:如果 DataSync 任務中斷,會發生什麼事?

答:如果任務中斷 (例如,網路連線中斷或 DataSync 代理程式重新啟動),下次執行任務時會傳輸先前錯過的檔案,此次任務完成後的資料便會完整且一致。每次開始任務時,它會進行遞增複製,只從來源傳輸變更過的資料至目的地。

問:我可以搭配 AWS Direct Connect 使用 DataSync 嗎?

答:可以。您可以使用 DataSync 搭配 Direct Connect 連結,無須任何特別設定即可存取公有網際網路端點。

問:DataSync 在傳輸檔案時是否會保留來源目錄結構?

答:是,傳輸檔案時,DataSync 會在目的地建立一個類似來源位置結構的目錄結構。

效能

問:DataSync 複製檔案系統至 AWS 的速度有多快?

答:DataSync 複製特定資料集的速度與下列因素有關:資料量、來源和目的地儲存能夠滿足的 I/O 頻寬、可用的網路頻寬,及網路條件。單一 DataSync 代理程式能夠填滿 10 Gbps 的網路連結。

問:我可以控制 DataSync 任務所使用的網路頻寬量嗎?

答:可以。您可以設定內建的頻寬調節,以控制 DataSync 使用的網路頻寬量。對於使用同一網路連線的使用者或應用程式,這樣做可以有效協助降低對其造成的影響。

問:DataSync 會影響我的來源檔案系統效能嗎?

答:根據您現場部署檔案存放區的容量,以及要傳輸的檔案數量和大小而定,當存取相同來源資料存放區時,由於代理程式從該儲存系統讀取或寫入資料,因此 DataSync 可能會影響其他用戶端的回應時間。您可以設定任務的頻寬限制,透過限制儲存系統的 I/O 來減少此影響。

安全與合規

問:資料在傳輸和存放時是否會加密?

答:是。在來源和目的地之間傳輸的所有資料都會透過 Transport Layer Security (TLS,已取代 Secure Sockets Layer, SSL) 進行加密。資料絕不會保留在 DataSync 本身。本服務支援使用 S3 儲存貯體的預設加密以及 Amazon EFS 檔案系統的靜態資料加密

問:DataSync 如何存取我的 NFS 檔案系統?

答:DataSync 使用您部署至 IT 環境或 Amazon EC2 的代理程式,透過 NFS 協定存取檔案系統。這些代理程式會連接到 AWS 中的 DataSync 服務端點,一旦啟動後,就可以從 AWS 管理主控台或 CLI 安全地進行管理。當您複製資料到現場部署或者從現場部署複製資料時,無須設定 VPN/通道或允許入站連線,並可設定讓代理程式透過標準網路連接埠通過防火牆的路由。

問:DataSync 如何存取我的 Amazon S3 儲存貯體?

DataSync 會使用您設定的 IAM 角色存取您的 Amazon S3 儲存貯體。

問:DataSync 如何存取我的 Amazon EFS 檔案系統?

答:DataSync 透過 NFS 協定存取 Amazon EFS 檔案系統。作法是在 DataSync 服務管理的彈性網路界面 (ENI) 中,從 VPC 掛載您的檔案系統。DataSync 會代您全面管理這些 ENI 的建立、使用和刪除。

問:DataSync 支援哪些合規計劃?

答:AWS 擁有雲端最資深的合規計劃,並且致力於協助客戶釐清他們的需求。DataSync 已經通過評估,符合全球和業界的安全標準。它符合以下認證:PCI DSS、ISO 9001270012701727018SOC 1、2 和 3,此外也符合 HIPAA 資格。這讓您能夠更輕易地驗證我們的安全性,並滿足自己的合規義務。如需詳細資訊和資源,請參閱我們的合規頁面。您也可以前往合規計劃範圍內的服務頁面查看完整的服務和認證清單。

問:DataSync 是否符合 PCI 規範?

答:是。DataSync 符合 PCI-DSS 標準,因此您可以使用它來傳輸付款資訊。您可以在 AWS Artifact 下載 PCI 合規套件,進一步了解如何在 AWS 上達到 PCI 合規。

問:DataSync 是否符合 HIPAA 資格?

答:是。DataSync 符合 HIPAA 資格,因此如果您有與 AWS 簽署的 HIPAA BAA,就可以使用 DataSync 傳輸受保護的醫療資訊 (PHI)。

選擇 AWS DataSync 的時機

問:DataSync 與使用 rsync 或 S3 sync 等命令列工具有何不同?

答:相較於利用命令列工具建立的 DIY 解決方案,DataSync 提供自動化、全受管的資料傳輸。它使用專用網路協定和擴展架構,以高達 10 倍的速度傳輸資料。

具體來說,DataSync 完全自動化資料的傳輸。它有內建的重試和網路彈性機制,透過 DataSync API 和主控台進行監控,另外還有 CloudWatch 指標、事件和日誌,可清楚看到傳輸過程。DataSync 在傳輸期間和傳輸結束時執行資料完整性驗證。此服務也支援彈性組態以滿足您的特定需求,包括頻寬調節、複製來源許可和中繼資料等。

DataSync 提供端對端安全性:來源和目的地之間所有傳輸的資料都會經過 TLS 加密,並透過內建的 AWS 安全機制 (如 IAM 角色) 啟用 AWS 儲存的存取。

問:我應該選擇 AWS DataSync 還是 AWS Snowball Edge?

答:AWS Snowball Edge 適合不需要立即將資料存入 AWS、頻寬有限,或者從遠端、中斷連接或嚴苛環境傳輸資料的客戶。DataSync 適合需要線上移轉作用中資料集、及時傳輸持續產生的資料,或者複寫資料以維持業務續航力的客戶。

問:我應該選擇 AWS DataSync 還是 AWS Storage Gateway?

答:如果您希望在現場部署和 AWS 儲存 (如 S3 或 EFS) 之間傳輸資料,請使用 DataSync。DataSync 通常用於儲存移轉或從現場部署裝置 (如攝影機和儀器) 及時重複傳輸資料,以便在 AWS 中進行處理。如果希望能實現現場部署到 AWS 的資料低延遲存取,請使用 AWS Storage Gateway。Storage Gateway 通常用於備份、混合工作負載、對延遲敏感的現場部署應用程式、跨辦公室的內容分發,以及針對 S3 物件的檔案型存取。

結合 DataSync 和 Storage Gateway 的檔案閘道組態之後,您可以快速將現場部署儲存移到 AWS,同時保留對延遲敏感之應用程式的現場部署存取。

問:我應該選擇 AWS DataSync 還是 Amazon S3 Transfer Acceleration?

答:如果您的應用程式已經與 Amazon S3 API 整合,而且想要更高的輸送量來傳輸大型檔案至 S3,則可以使用 S3 Transfer Acceleration。如果您想要從現有儲存系統 (例如網路連接儲存裝置) 或無法變更的儀器 (例如 DNA 定序工具、錄影機) 傳出資料,或者您想要設定多個目的地,則應該使用 DataSync。DataSync 也提供額外功能,例如內建重試和網路彈性機制、資料完整性驗證以及彈性組態以滿足您的特定需求,包括頻寬調節、複製來源許可和中繼資料等,以此自動化並簡化資料傳輸。

問:我應該選擇 AWS DataSync 還是 AWS Transfer for SFTP?

答:如果目前使用 SFTP 與第三方交換資料,則 Transfer for SFTP 提供全受管的 SFTP 直接傳入和傳出 Amazon S3,同時減少營運負擔。

如果您希望加速並自動化 NFS、Amazon S3 和 Amazon EFS 之間的資料傳輸,則可以使用 DataSync。DataSync 適合需要線上移轉作用中資料集、及時傳輸持續產生的資料,或者複寫資料以維持業務續航力的客戶。 

使用 DataSync 進行移轉

問:如何使用 DataSync 進行移轉?

答:您可以使用 DataSync,從現場部署儲存移轉到 Amazon S3、Amazon EFS 和 WorkDocs。您可以在這裡進一步了解建議的移轉流程。

問:如何使用 DataSync 移轉到 WorkDocs?

答:DataSync 是 WorkDocs 移轉服務的一部分。DataSync 讓主目錄和部門共享資源移轉到 WorkDocs 變得更加容易和快捷。

進一步了解 DataSync 定價
進一步了解定價

AWS DataSync 的定價簡單、可預期並且根據使用率計費;您只需要為所複製的資料量付費。 

進一步了解 
註冊 AWS 帳戶
註冊免費帳戶

立即存取 AWS 免費方案。 

註冊 
在主控台開始使用 DataSync
在主控台開始移動資料

開始在 AWS 主控台中使用 AWS DataSync 進行建置。

登入