Đám mây AWS
Đám mây AWS
Bắt đầu với AWS Data Pipeline

AWS Data Pipeline là một dịch vụ web giúp bạn xử lý và di chuyển dữ liệu một cách tin cậy giữa các dịch vụ lưu trữ và điện toán AWS khác nhau cũng như các nguồn dữ liệu tại chỗ trong thời gian chỉ định. Với AWS Data Pipeline, bạn sẽ có thể truy cập thường xuyên dữ liệu của mình ở nơi lưu trữ, chuyển đổi và xử lý ở quy mô lớn cũng như vận chuyển một cách hiệu quả kết quả đến các dịch vụ AWS khác như Amazon S3, Amazon RDS, Amazon DynamoDB và Amazon EMR.

AWS Data Pipeline giúp bạn dễ dàng tạo các khối lượng công việc xử lý dữ liệu phức tạp có dung sai cao, có khả năng lặp lại cũng như độ sẵn sàng cao. Bạn sẽ không phải lo lắng về việc bảo đảm sự sẵn sàng cho tài nguyên, quản lý các mối quan hệ phụ thuộc giữa các tác vụ, thử lại khi gặp hư hỏng tạm thời hoặc tác vụ độc lập bị hết thời gian chờ hay tạo ra hệ thống thông báo hư hỏng. AWS Data Pipeline cũng sẽ cho phép bạn di chuyển và xử lý dữ liệu từng bị khóa trong các tháp dữ liệu tại chỗ.

Coursera-reInvent-2


Tin cậy

Tin cậy

AWS Data Pipeline được xây dựng trên cơ sở hạ tầng phân phối có độ sẵn sàng cao được thiết kế để thực hiện các hoạt động của bạn với dung sai cao. Nếu xảy ra lỗi trong các nguồn dữ liệu hoặc logic hoạt động, AWS Data Pipeline sẽ tự động thử lại hoạt động. Nếu lỗi vẫn tiếp diễn, AWS Data Pipeline sẽ gửi thông báo cho bạn thông qua Amazon Simple Notification Service (Amazon SNS). Bạn sẽ có thể cấu hình thông báo của mình cho các lượt chạy thành công, trì hoãn hoạt động theo kế hoạch hay lỗi.

Dễ sử dụng

Dễ sử dụng

Với bảng điều khiển "kéo và thả" của chúng tôi, việc tạo quy trình rất nhanh chóng và dễ dàng. Các điều kiện tiên quyết phổ biến đã được tích hợp sẵn vào dịch vụ, vì vậy bạn sẽ không cần phải viết thêm bất kỳ logic nào để sử dụng dịch vụ. Ví dụ: bạn có thể kiểm tra sự tồn tại của tệp Amazon S3 chỉ đơn giản bằng cách cung cấp tên của bộ chứa Amazon S3 và đường dẫn của tệp bạn muốn kiểm tra, sau đó AWS Data Pipeline sẽ lo phần còn lại. Bên cạnh trình tạo quy trình trực quan dễ sử dụng, AWS Data Pipeline còn cung cấp một thư viện các mẫu quy trình. Các mẫu này giúp việc tạo quy trình cho một số trường hợp sử dụng phức tạp, ví dụ như xử lý định kỳ tệp nhật ký của bạn, lưu trữ dữ liệu lên Amazon S3 hay chạy truy vấn SQL định kỳ, trở nên đơn giản.

Linh hoạt

Linh hoạt

AWS Data Pipeline cho phép bạn tận dụng nhiều tính năng đa dạng, ví dụ như lập lịch, theo dõi quan hệ phụ thuộc và xử lý lỗi. Bạn có thể sử dụng các hoạt động và điều kiện tiên quyết mà AWS cung cấp và/hoặc tự viết hoạt động và điều kiện tiên quyết tùy biến riêng của bạn. Nghĩa là, bạn có thể cấu hình để AWS Data Pipeline thực hiện các hành động như chạy tác vụ Amazon EMR, thực thi truy vấn SQL trên cơ sở dữ liệu hoặc thực thi các ứng dụng tùy biến chạy trên Amazon EC2 hoặc trong trung tâm dữ liệu riêng của bạn. Việc này sẽ cho phép bạn tạo ra các quy trình tùy biến mạnh mẽ để phân tích và xử lý dữ liệu mà không phải đương đầu với sự phức tạp của việc lập lịch và thực thi logic ứng dụng của bạn một cách ổn định

Quy mô linh hoạt

Quy mô linh hoạt

AWS Data Pipeline giúp việc gửi công việc từ một sang nhiều máy, theo chuỗi hoặc song song đều trở nên dễ dàng như nhau. Với thiết kế linh hoạt của AWS Data Pipeline, việc xử lý một triệu tệp cũng dễ dàng như xử lý chỉ một tệp duy nhất.

 

Chi phí thấp

Chi phí thấp

Việc sử dụng AWS Data Pipeline không tốn kém và sẽ được tính phí theo mức giá tháng thấp. Bạn có thể thử sử dụng miễn phí theo bậc Sử dụng miễn phí của AWS. Tìm hiểu thêm.

Minh bạch

Minh bạch

Bạn sẽ có toàn quyền kiểm soát các tài nguyên máy tính thực thi logic của doanh nghiệp, khiến cho việc cải thiện hoặc gỡ lỗi logic của bạn trở nên dễ dàng. Bên cạnh đó, các nhật ký thực thi đầy đủ được tự động chuyển đến Amazon S3 để cung cấp cho bạn hồ sơ chi tiết và nhất quán về những gì đã diễn ra trong quy trình của bạn.

Bắt đầu