如何建立僅驗證的 AWS DMS 任務?

1 分的閱讀內容
0

我想要建立 AWS Database Migration Service (AWS DMS) 任務以用於驗證目的,例如用於預覽和驗證資料。

簡短描述

AWS DMS 可讓您使用 AWS DMS 主控台或 AWS Command Line Interface (AWS CLI) 來建立僅驗證的任務。您可以使用僅驗證的任務來驗證資料,而無需執行任何遷移或資料複寫。當您使用僅驗證的任務時,現有的遷移任務不會產生額外負荷,因為驗證本身與遷移分開。

僅驗證的任務包含兩種類型:僅完全載入的驗證任務,以及僅擷取變更資料 (CDC) 的驗證任務。

  • 當報告了許多故障時,僅限全載驗證任務的完成速度比 CDC 等效的速度快得多。但是,在完全載入模式下,來源或目標端點的變更會被報告為失敗,這可能是個缺點。
  • 僅 CDC 的驗證任務會根據平均延遲來延後驗證。然後,他們會在報告失敗之前多次重試。如果大多數的資料比較都報告爲失敗,那麼僅 CDC 的驗證任務會非常緩慢,這是個潛在的缺點。

如需深入瞭解如何使用僅驗證的任務,請參閱僅驗證的任務的「僅驗證」使用案例一節。

解決方案

**注意:**如果您在執行 AWS CLI 命令時收到錯誤,請確保您使用的是最新版 AWS CLI

使用 AWS DMS 主控台建立僅驗證的任務

1.    開啟 AWS DMS 主控台,然後從導覽窗格中選擇資料庫遷移任務

2.    選擇建立任務,然後在任務設定下輸入任務的詳細資料。

3.    在遷移類型下,選擇僅複製資料變更

4.    在任務設定下,選取 JSON 編輯器,然後變更下列設定:

"EnableValidation": true,
"ValidationOnly": true,

5.    針對遷移類型,選擇下列其中一個選項:

  • 對於僅限完整載入的驗證任務,請選擇遷移現有資料。
  • 對於「僅限 CDC 驗證」任務,請選擇僅複製資料變更

6.    在遷移任務啟動設定下,選擇稍後手動。這可讓您在開始任務之前驗證任務設定。
**注意:**預設的 TargetTablePrepMode 設定為 DO_NOTHING。 如果已修改 TargetTablePrepMode,請將 TargetTablePrepMode 設定為 DO_NOTHING

7.    選擇建立任務

使用 AWS CLI 建立僅驗證的任務

1.    對於 Linux 和 Windows 環境,請執行 create-replication-task 命令來建立僅驗證的任務。您也可以指定 cdc-start-time,如果您需要從特定時間戳開始驗證,這一設定可能很有用。看看這些例子:

Linux:

aws dms create-replication-task --replication-task-identifier validation-only-task --replication-task-settings '{"FullLoadSettings":{"TargetTablePrepMode":"DO_NOTHING"},"ValidationSettings":{"EnableValidation":true,"ValidationOnly":true}}' --replication-instance-arn
arn:aws:dms:us-east-1:xxxxxxxxxxx:rep:ABCDEFGH12346 --source-endpoint-arn arn:aws:dms:us-east-1:xxxxxxxxxxxx:endpoint:KSXGO6KATGOXBDZXKRV3QNIZV4 --target-endpoint-arn arn:aws:dms:us-east-1:xxxxxxxxxxxxxxx:endpoint:7SIYPBZTE2X3CZ7FPN7KKOAV6Q --migration-type
cdc --cdc-start-time "2022-06-08T 00:12:12" --table-mappings file://Table-mappings.json

Windows:

aws dms create-replication-task --replication-task-identifier validation-only-task --replication-task-settings '{"FullLoadSettings":{"TargetTablePrepMode":"DO_NOTHING"},"ValidationSettings":{"EnableValidation":true,"ValidationOnly":true}}' --replication-instance-arn

2.    開啟 AWS DMS 主控台,然後從導覽窗格中選擇資料庫遷移任務

3.    確認已建立您利用 AWS CLI 建立的任務。

4.    從概覽詳細資料區段,展開任務設定 (JSON),然後確認已進行以下設定:

"EnableValidation": true,
"ValidationOnly": true,
"TargetTablePrepMode": "DO_NOTHING",

這些範例會建立僅 CDC 的驗證任務。對於完全載入的驗證任務使用相同的設定,但是當您執行 create-replication-task 命令時,請將 --migration-type 變更為 full-load


相關資訊

任務設定範例

限制

AWS 官方
AWS 官方已更新 1 年前