Khung di chuyển dữ liệu là gì?

Di chuyển dữ liệu là việc chuyển dữ liệu từ một hệ thống lưu trữ hoặc môi trường tính toán này sang hệ thống hoặc môi trường khác. Bất kỳ sáng kiến di chuyển dữ liệu nào cũng nhằm mục đích di chuyển dữ liệu một cách hiệu quả trong khi xem xét các yếu tố như tài nguyên mạng, bảo mật dữ liệu, thời gian và phương thức truyền tải. Di chuyển dữ liệu đám mây tập trung cụ thể vào việc di chuyển dữ liệu lên đám mây.

Quá trình này không chỉ đơn thuần là di chuyển dữ liệu - nó còn bao gồm việc ánh xạ chính xác dữ liệu giữa các môi trường lưu trữ khác nhau. Việc di chuyển có thể có nhiều hình thức. Ví dụ: bạn có thể phải định kỳ tải lên các tệp dữ liệu theo lô, truyền dữ liệu từ cảm biến hoặc triển khai di chuyển một lần kho lưu trữ dữ liệu hiện có từ các hệ thống lưu trữ dữ liệu tại chỗ.

Mục tiêu

Mỗi dự án di chuyển dữ liệu lên đám mây đều cần một trường hợp kinh doanh rõ ràng để xác định kết quả tốt nhất. Tuy nhiên, có một vài mục tiêu chung cho hầu hết các quá trình di chuyển dữ liệu:

Tăng hiệu quả, ví dụ như tăng thời gian hoạt động, xây dựng hạ tầng ưu tiên làm việc từ xa, hoặc hợp nhất hệ thống.
Giảm chi tiêu tài nguyên cho việc bảo trì phần cứng, vận hành phòng máy chủ và quản trị viên hệ thống tại chỗ 24/7.
Xây dựng nền tảng dữ liệu cơ bản để thực hiện phân tích, trí tuệ nhân tạo và xây dựng ứng dụng doanh nghiệp.

Các mục tiêu khác có thể bao gồm đảm bảo các hệ thống vẫn khả dụng khi kết thúc vòng đời tự nhiên, ảo hóa tất cả cơ sở hạ tầng và tích hợp dữ liệu với các hệ thống đám mây hiện có.

Thách thức

Việc di chuyển lên đám mây thành công không chỉ đơn thuần là chuyển tệp. Nó đòi hỏi rằng:

Quyền, kiểm soát truy cập và siêu dữ liệu khác vẫn được giữ nguyên.
Người dùng có quyền truy cập không bị gián đoạn vào dữ liệu quan trọng trong quá trình tải lên.
Tính nhất quán của dữ liệu được duy trì bất chấp các sự cố gián đoạn mạng

Việc chuyển khối lượng dữ liệu lớn tốn thời gian và thường đòi hỏi sự can thiệp thủ công đáng kể. Việc đầu tư vào các công cụ chuyên dụng để di chuyển có thể dẫn đến chi phí chìm sau khi quá trình chuyển đổi hoàn tất.

Do đó, việc di chuyển lên đám mây đòi hỏi phải lập kế hoạch, lên lịch và các công cụ phù hợp để hạn chế chi phí vận hành và giảm chi phí tổng thể. Nếu không, quá trình di chuyển dữ liệu có thể bị trì hoãn hoặc thậm chí yêu cầu khởi động lại từ đầu.

Những cân nhắc quan trọng về lập kế hoạch di chuyển dữ liệu là gì?

Ban lãnh đạo và các đội ngũ tham gia vào quá trình di chuyển dữ liệu phải cân nhắc những điều sau:

Thời gian cần thiết để di chuyển dữ liệu
Bất kỳ sự không tương thích nào giữa nguồn và đích hiện có
Cân nhắc về bảo mật trong quá trình di chuyển
Chi phí của các công cụ hoặc quy trình di chuyển
Cân nhắc về lịch trình
Kiểu di chuyển – hàng loạt, phát trực tuyến, tất cả cùng một lúc
Tác động đến tài nguyên mạng.

Các bước trong việc lập kế hoạch bao gồm:

Đánh giá nguồn dữ liệu của bạn

Trước khi di chuyển dữ liệu, bạn phải đánh giá cấu hình dữ liệu hiện tại của mình. Các loại dữ liệu, lưu trữ và phương thức truy cập hiện tại sẽ định hướng các tùy chọn di chuyển của bạn.

Ví dụ: cơ sở dữ liệu quan hệ được lưu trữ trên máy chủ MySQL tại chỗ có thể được di chuyển sang Amazon Relational Database Service (RDS) với một quy trình tương đối đơn giản và hệ thống quản lý cơ sở dữ liệu một-một. Tuy nhiên, các hệ thống cũ tại chỗ dành cho ERP có thể khó khăn hơn, đặc biệt nếu yêu cầu chuyển đổi kỹ thuật số liên quan đến việc thay đổi phần mềm.

Xác định và ghi lại chi tiết của tất cả các nguồn dữ liệu của bạn để di chuyển lên đám mây, chẳng hạn như:

Cơ sở dữ liệu
Dữ liệu ứng dụng
Lưu trữ
Mô hình dữ liệu
Kết nối từ đám mây sang đám mây

Thiết kế quá trình di chuyển của bạn

Điều này bao gồm việc tổ chức và cấu hình các công cụ di chuyển đáp ứng các tiêu chuẩn bảo mật hiện có. Bạn cũng phải xác định thứ tự của các hoạt động di chuyển dữ liệu và lên lịch trước. Ví dụ, bạn có thể chọn từ:

Sao chép trực tiếp để sao chép đối tượng tự động, không đồng bộ cho đến khi dữ liệu được đồng bộ hóa giữa cả hai hệ thống.
Di chuyển ảnh chụp nhanh để cung cấp toàn bộ trạng thái hệ thống cùng lúc, sau đó cập nhật bằng các lần di chuyển nhỏ hơn để theo kịp và phù hợp với trạng thái hiện tại.
Di chuyển theo giai đoạn để di chuyển từng tập dữ liệu nhỏ hơn.

Ngoài ra, hãy lên kế hoạch để đánh giá độ chính xác và chất lượng di chuyển vào cuối quá trình.

Tóm tắt cho các bên liên quan chính

Việc di chuyển có thể gây gián đoạn cho nhân viên doanh nghiệp, khách hàng và đối tác. Đảm bảo các bên liên quan chính nắm được thông tin về quy trình di chuyển dữ liệu, kế hoạch, mốc thời gian và sự gián đoạn khả năng truy cập trong giai đoạn di chuyển. Việc đào tạo cũng có thể cần thiết để đảm bảo rằng quản trị viên biết cách cấu hình và người dùng biết cách truy cập vào dữ liệu và dịch vụ đám mây sau khi di chuyển.

Lập kế hoạch và lên lịch cập nhật thường xuyên trong suốt quá trình di chuyển để duy trì thái độ tích cực.

Xây dựng và kiểm tra giải pháp

Mỗi quá trình di chuyển dữ liệu đòi hỏi một chiến lược khác nhau. Một số quá trình di chuyển dữ liệu yêu cầu truyền nhanh chóng và cùng lúc một lượng dữ liệu nhỏ, trong khi một số quá trình lại truyền dần dần một lượng lớn dữ liệu theo thời gian. Cách bạn xây dựng và kiểm tra quá trình di chuyển của mình sẽ phụ thuộc vào chiến lược và các công cụ liên quan. Thông thường, bạn sẽ tiếp tục sử dụng các hệ thống cũ của mình cho đến khi bạn hoàn thành thử nghiệm đầy đủ các hệ thống mới để đảm bảo quá trình di chuyển được hoàn thiện và chính xác.

Có các chiến lược di chuyển dữ liệu nào?

Có nhiều chiến lược và phương pháp khác nhau để tải dữ liệu lên đám mây AWS bằng dịch vụ di chuyển dữ liệu đám mây AWS.

Kết nối mạng an toàn

Kết nối mạng trực tiếp là kết nối cáp riêng giữa bộ định tuyến của bạn và bộ định tuyến dựa trên đám mây. Bộ định tuyến dựa trên đám mây nằm ở rìa mạng riêng của nhà cung cấp đám mây, giúp bạn tiếp cận trực tiếp với phạm vi dịch vụ của họ.

AWS Direct Connect cho phép bạn sử dụng cáp quang Ethernet để kết nối mạng Lớp 3 giữa tổ chức của bạn và AWS để di chuyển dữ liệu từ mạng sang các dịch vụ AWS một cách an toàn. AWS Direct Connect có các địa điểm trên toàn thế giới, nơi bạn có thể thiết lập thiết bị để di chuyển dữ liệu.

Các bước để bắt đầu sử dụng:

Bước 1: Chọn vị trí Direct Connect của bạn

Chọn vị trí AWS Direct Connect, xác định các kết nối cần thiết và chọn kích thước cổng. Có thể sử dụng đồng thời nhiều cổng để tăng băng thông hoặc khả năng dự phòng.

Bước 2 — Chọn loại kết nối của bạn

Quyết định chọn kết nối chuyên dụng hay kết nối được lưu trữ. Kết nối chuyên dụng cung cấp quyền truy cập độc quyền với nhiều giao diện ảo, trong khi kết nối được lưu trữ chia sẻ kết nối chéo và cung cấp một giao diện ảo duy nhất.

Bước 3 — Thiết lập giao diện ảo

Định cấu hình một hoặc nhiều giao diện ảo logic (VIF) qua kết nối của bạn. Các Transit VIF kết nối với Cổng chuyển tiếp AWS; các Public VIF truy cập các dịch vụ công cộng của AWS thông qua địa chỉ IP công cộng; còn các Private VIF thì kết nối với Amazon VPC bằng cách sử dụng địa chỉ IP riêng tư.

Truyền dữ liệu dựa trên thiết bị

Di chuyển dữ liệu quy mô lớn có thể diễn ra hiệu quả hơn khi di chuyển dữ liệu đến thiết bị và sau đó vận chuyển dữ liệu đến trung tâm dữ liệu. AWS Snowball là dịch vụ cung cấp các thiết bị bảo mật, bền bỉ mà bạn có thể sử dụng để tải dữ liệu lên đám mây một cách an toàn. Các bước như sau:

1. AWS gửi Thiết bị Snowball đến vị trí của bạn theo yêu cầu.

2. Kết nối thiết bị với mạng của bạn và sử dụng AWS Snowball Client hoặc AWS OpsHub để mở khóa và định cấu hình thiết bị.

3. Sao chép dữ liệu vào thiết bị — mã hóa tích hợp đảm bảo bảo mật trong quá trình truyền.

4. Gửi thiết bị trở lại AWS bằng nhãn vận chuyển trả trước.

5. Khi đến nơi, AWS sẽ tự động chuyển dữ liệu sang vùng lưu trữ S3 được chỉ định và xóa an toàn thiết bị Snowball.

6. Bạn sẽ nhận được thông báo khi quá trình hoàn tất.

Tải lên các luồng dữ liệu cảm biến

Dữ liệu phát trực tuyến thu thập từ các thiết bị IoT hoặc công nghiệp và mạng cảm biến có thể được chuyển trong thời gian thực sang đám mây thay vì được thu thập và xử lý hàng loạt tại chỗ. Amazon Data Firehose cho phép bạn thiết lập luồng với nguồn dữ liệu của mình, chuyển đổi dữ liệu nếu cần và sau đó lưu trữ dữ liệu trong một loạt các dịch vụ lưu trữ đích trên AWS.

Các bước như sau

Bước 1 — Tạo luồng Firehose

Luồng Firehose là thực thể cốt lõi của Amazon Data Firehose. Bạn có thể tạo nó từ bảng điều khiển AWS và định cấu hình để nhận dữ liệu trực tiếp hoặc từ luồng dữ liệu Amazon Kinesis hiện có.

Bước 2 — Gửi dữ liệu đến Firehose Stream

Các bản ghi, có kích thước lên đến 1.000 KB, được gửi bởi các nhà sản xuất luồng dữ liệu đến luồng Firehose. Các nhà sản xuất dữ liệu có thể là ứng dụng, máy chủ hoặc các dịch vụ AWS khác.

Bước 3 — Định cấu hình bộ đệm và xử lý dữ liệu

Amazon Data Firehose tạo bộ đệm cho dữ liệu đến trước khi phân phối đến các điểm đích. Bạn có thể định cấu hình kích thước bộ đệm (tính bằng MB) và khoảng bộ đệm (tính bằng giây).

Bước 4 — Chọn điểm đến và hiểu luồng dữ liệu

Amazon Data Firehose cung cấp dữ liệu trực tiếp đến nhiều điểm đến khác nhau

Dữ liệu Amazon S3 được lưu trữ trong vùng lưu trữ S3, với tùy chọn sao lưu dữ liệu đã chuyển đổi.
Amazon Redshift trước tiên được chuyển đến vùng lưu trữ S3 và sau đó được tải vào Redshift bằng lệnh COPY.
Dịch vụ OpenSearch của Amazon với bản sao lưu tùy chọn vào S3.

Di chuyển cơ sở dữ liệu

Di chuyển cơ sở dữ liệu đề cập đến việc di chuyển cơ sở dữ liệu quan hệ, kho dữ liệu, cơ sở dữ liệu NoSQL và các loại kho dữ liệu khác ở dạng cơ sở dữ liệu. Các dịch vụ di chuyển có khả năng nhận diện loại và cấu trúc của cơ sở dữ liệu. Sau đó, chúng sẽ sao chép dữ liệu sang một môi trường y hệt hoặc chuyển đổi sang một công cụ mục tiêu mới.

Dịch vụ di chuyển cơ sở dữ liệu AWS phát hiện, đánh giá, chuyển đổi và di chuyển khối lượng công việc cơ sở dữ liệu và phân tích sang AWS bằng quy trình di chuyển dữ liệu tự động. Dịch vụ này có tính khả dụng cao và thời gian ngừng hoạt động tối thiểu.

Nếu trường hợp di chuyển dữ liệu của bạn không được liệt kê ở trên, bạn cũng có thể thử:

Bộ hỗ trợ truyền AWS là một bộ dịch vụ truyền tệp an toàn như SFTP
Cổng lưu trữ AWS là một bộ giải pháp lưu trữ kết hợp lưu trữ tại chỗ và trên đám mây
AWS Glue là một bộ dịch vụ để khám phá, chuẩn bị, di chuyển và tích hợp dữ liệu từ nhiều nguồn khác nhau

Một số phương pháp tốt nhất để di chuyển dữ liệu là gì?

Một số phương pháp hiệu quả nhất để di chuyển dữ liệu đám mây được đề cập dưới đây.

Luôn có bản sao lưu dữ liệu

Luôn có bản sao lưu dữ liệu cho dù bạn có kế hoạch di chuyển dữ liệu hay chỉ đơn giản là tiến hành các hoạt động hàng ngày. Đừng xóa dữ liệu gốc trước khi bạn chắc chắn rằng cấu hình đám mây đã được kiểm tra kỹ lưỡng, hoạt động đúng như mong đợi và có hệ thống sao lưu riêng.

Đảm bảo tất cả các phụ thuộc được ánh xạ và di chuyển

Dữ liệu thường được gắn vào các phụ thuộc khác nhau và sẽ không hoạt động chính xác nếu không có chúng. Để đảm bảo quá trình chuyển đổi suôn sẻ, hãy đảm bảo tất cả các phụ thuộc được ánh xạ và di chuyển cùng với dữ liệu gốc. Quyền của người dùng và kiểm soát truy cập phải được đặt ở cùng mức độ như trước khi di chuyển và cần được đánh giá lại để tăng cường bảo mật khi có thể.

Kiểm tra kỹ các nghĩa vụ và cấu hình về bảo mật và tuân thủ

Trước, trong và sau khi di chuyển, bạn phải kiểm tra các chính sách và quy trình bảo mật và tuân thủ để xác định các quy trình và kiểm soát phù hợp để sử dụng trong các hoạt động di chuyển.

Cần lập kế hoạch cho việc ngừng hoạt động thiết bị cũ

Phần cứng cũ vẫn có thể chứa dữ liệu có thể phục hồi, ngay cả khi các tệp và không gian đĩa đã bị xóa. Để đảm bảo xóa hoàn toàn tất cả dữ liệu, hãy đảm bảo việc ngừng hoạt động của các thiết bị cũ, ví dụ, bằng cách tuân theo Hướng dẫn NIST 800-88 về phương tiện truyền thông.

AWS có thể hỗ trợ nhu cầu di chuyển dữ liệu của bạn như thế nào?

Tại AWS, chúng tôi đã phát triển một bộ công cụ và dịch vụ di chuyển dữ liệu hoàn chỉnh để giúp việc nhập và xuất dữ liệu trở nên dễ dàng, an toàn và tiết kiệm chi phí. Trợ giúp có sẵn ở mỗi giai đoạn của toàn bộ quá trình di chuyển dữ liệu. Truy cập Di chuyển lên đám mây AWS để di chuyển và hiện đại hóa với AWS hoặc yêu cầuTối ưu hóa AWS và đánh giá cấp phép miễn phí ngay hôm nay.

Khung di chuyển dữ liệu là gì?