Tại sao nên chọn tích hợp không ETL trên Aurora với Amazon Redshift?
Tích hợp không ETL trên Amazon Aurora với Amazon Redshift hỗ trợ công nghệ máy học (ML) và phân tích gần theo thời gian thực bằng Amazon Redshift trên hàng petabyte dữ liệu giao dịch. Chỉ trong vài giây ghi dữ liệu giao dịch vào Amazon Aurora, tích hợp không ETL sẽ cung cấp dữ liệu trong Amazon Redshift một cách liền mạch, giúp loại bỏ nhu cầu xây dựng và quản lý các quy trình dữ liệu phức tạp nhằm thực hiện các thao tác trích xuất, chuyển đổi và tải (ETL).
Lợi ích
Trường hợp sử dụng
Cách bắt đầu sử dụng
Để tạo tích hợp không ETL giữa Aurora và Amazon Redshift, bạn chỉ định một cụm CSDL Aurora làm nguồn dữ liệu và một kho dữ liệu Amazon Redshift làm mục tiêu. Việc tích hợp sẽ sao chép dữ liệu từ cơ sở dữ liệu nguồn vào kho dữ liệu mục tiêu. Dữ liệu sẽ được cung cấp trong Amazon Redshift chỉ trong vài giây, cho phép các nhà phân tích dữ liệu bắt đầu sử dụng chức năng phân tích và ML của Amazon Redshift trên dữ liệu. Để tìm hiểu thêm, vui lòng truy cập hướng dẫn bắt đầu dành cho Aurora và Amazon Redshift.
Tài nguyên
Giá
AWS không tính thêm phí cho tích hợp không ETL trên Aurora với Amazon Redshift. Bạn trả tiền cho các tài nguyên Aurora và Amazon Redshift hiện tại được sử dụng để tạo và xử lý dữ liệu thay đổi được tạo trong quá trình tích hợp không ETL. Những tài nguyên này có thể bao gồm:
- I/O và dung lượng lưu trữ bổ sung được sử dụng khi kích hoạt tính năng ghi dữ liệu thay đổi
- Chi phí xuất bản kết xuất nhanh cho lần xuất dữ liệu ban đầu để cung cấp cơ sở dữ liệu Amazon Redshift của bạn
- Dung lượng Amazon Redshift bổ sung để lưu trữ dữ liệu được sao chép
- Điện toán Amazon Redshift bổ sung để xử lý sao chép dữ liệu
- Chi phí truyền dữ liệu giữa các vùng sẵn sàng để di chuyển dữ liệu từ nguồn sang mục tiêu.
Khả năng xử lý liên tục các thay đổi dữ liệu bằng cách tích hợp không ETL được cung cấp miễn phí. Để biết thêm thông tin, vui lòng truy cập vào trang định giá Aurora.
Khách hàng
-
Infosys
Quy trình xác minh vận chuyển hàng hóa có ý nghĩa quan trọng trong việc duy trì tính toàn vẹn của chuỗi cung ứng đối với khách hàng sản xuất, bán lẻ và kho vận của Infosys. Để đạt được điều này, dữ liệu theo dõi hàng hóa cần được tải nhập theo thời gian thực để theo dõi các lô hàng và phân tích quá trình vận chuyển.
Infosys đã sử dụng các tính năng tích hợp không ETL để tải nhập dữ liệu trong thời gian thực, cho phép theo dõi lô hàng vận chuyển cũng như đảm bảo sự minh bạch về vị trí, trạng thái và thời gian đến dự kiến. Nhờ vậy, các hoạt động vận chuyển hàng hóa được tối ưu hóa, góp phần giảm chi phí đáng kể. Với tính năng báo cáo và phân tích toàn diện không ETL, cùng với các kế hoạch chi tiết theo ngành của Infosys Cobalt và Topaz, việc ra quyết định dựa trên dữ liệu giờ đây hoàn toàn có thể thực hiện được.
Sunil Senan, Phó chủ tịch Cấp cao kiêm Giám đốc Toàn cầu về Dữ liệu, Phân tích và AI – Infosys -
Intuit
Intuit là nền tảng công nghệ tài chính toàn cầu, mang đến sự thịnh vượng cho 100 triệu khách hàng tiêu dùng và doanh nghiệp nhỏ nhờ các sản phẩm TurboTax, Credit Karma, QuickBooks và Mailchimp. Do tính chất phức tạp của quá trình di chuyển sắp tới, Intuit đã xem xét hơn 10 triệu lượt di chuyển hồ sơ mỗi ngày, một con số đáng kinh ngạc. Intuit đã chuyển sang tích hợp không ETL của Amazon Aurora MySQL với Amazon Redshift để hợp lý hóa quy trình tải nhập dữ liệu và loại bỏ nhu cầu về công việc kỹ thuật phức tạp.
Khối lượng dữ liệu khổng lồ và nhu cầu di chuyển liền mạch là thách thức lớn đối với chúng tôi. Hơn nữa, chúng tôi cần có một giải pháp cho phép phân tích quá trình di chuyển một cách nhanh chóng để có thể đưa ra quyết định kịp thời, dựa trên dữ liệu. Để giải quyết những thách thức này, chúng tôi đã chuyển sang tích hợp không ETL của Amazon Aurora với Amazon Redshift để hợp lý hóa quy trình tải nhập dữ liệu và loại bỏ nhu cầu về công việc kỹ thuật phức tạp. Với khả năng tích hợp không ETL, chúng tôi có thể gửi một lượng lớn dữ liệu đến Amazon Redshift mà không cần thực hiện các công việc thu thập hoặc tải nhập dữ liệu riêng biệt. Nhờ vậy, chúng tôi sẽ thu được các thông tin chuyên sâu ngắn gọn để hỗ trợ việc đưa ra các quyết định kinh doanh và kỹ thuật quan trọng, giúp tiết kiệm rất nhiều công sức (có thể lên đến hàng tháng). Nhờ sử dụng tính năng tích hợp không ETL của Aurora với Amazon Redshift, chúng tôi đã khám phá được các mẫu hình mới tại Intuit cho việc di chuyển dữ liệu quy mô lớn và phân tích gần theo thời gian thực.
Aruna Ghiware, Giám đốc Phát triển Sản phẩm – Intuit -
KINTO Technologies Corporation
Tập đoàn KINTO Technologies là đơn vị đi đầu trong ngành công nghiệp nền tảng di động và cũng là công ty công nghệ chịu trách nhiệm phát triển dịch vụ KINTO với tư cách là công ty dịch vụ tài chính của Toyota. Tận dụng tính năng tích hợp không ETL của Amazon Aurora MySQL với Amazon Redshift, KINTO Technologies đã có thể đạt được quy trình dữ liệu linh hoạt hơn và hiện tại có thể áp dụng các tính năng phân tích nâng cao của Amazon Redshift cho dữ liệu hoạt động của mình gần như theo thời gian thực.
Trước khi tính năng tích hợp không ETL ra đời, chúng tôi đã sử dụng một giải pháp được xây dựng tùy chỉnh để liên tục truyền các thay đổi từ cơ sở dữ liệu lõi sang các ứng dụng hạ nguồn, nhưng chúng tôi đã phải đối mặt với những thách thức về hiệu suất và tác động liên tục đến khối lượng công việc sản xuất. Để giải quyết tác động về hiệu suất đối với khối lượng công việc sản xuất, chúng tôi đã phải điều chỉnh quy trình dữ liệu theo cách thủ công để giảm tần suất gửi các bản cập nhật và giải quyết dữ liệu cũ trong Amazon Redshift. Nhờ sử dụng tính năng tích hợp không ETL của Aurora MySQL với Amazon Redshift, chúng tôi có thể luôn có sẵn dữ liệu gần như theo thời gian thực trong Amazon Redshift, giúp nhà phát triển không phải dành hàng giờ để quản lý thủ công các quy trình dữ liệu cho hoạt động ETL hay xử lý các tác động về hiệu suất đối với khối lượng công việc, từ đó giảm bớt gánh nặng vận hành.
Hitoshi Kageyama, Phó Chủ tịch Điều hành – Tập đoàn KINTO Technologies -
Money Forward i
Money Forward i cố gắng nâng cao năng suất và tiềm năng sáng tạo của các nhóm CNTT trong tổ chức bằng cách hợp lý hóa các nhiệm vụ lặp đi lặp lại, cắt giảm chi phí và tăng cường bảo mật thông qua Admina, Nền tảng quản lý SaaS trực quan của họ.
Trước khi triển khai tính năng tích hợp không ETL của Amazon Aurora với Amazon Redshift, chúng tôi gặp khó khăn trong việc triển khai và duy trì các hoạt động ETL để phân tích dữ liệu sản phẩm từ Amazon Aurora MySQL trong Amazon Redshift. Tính năng tích hợp không ETL của Aurora MySQL với Amazon Redshift cho phép đồng bộ hóa dữ liệu gần như theo thời gian thực giữa cơ sở dữ liệu Aurora MySQL của chúng tôi và Amazon Redshift, giúp giảm thời gian xây dựng môi trường phân tích từ một tháng xuống còn ba giờ. Ngoài việc giảm gánh nặng ban đầu tại thời điểm phát triển, tính năng tích hợp không ETL còn ít tác động đến môi trường sản xuất hơn, giúp xây dựng môi trường phân tích với chi phí tối thiểu và tốc độ tối đa.
Katsutoshi Murakami, Giám đốc kiêm Giám đốc Sản xuất – Money Forward i -
Woolworths
Woolworths là nhà bán lẻ hàng đầu châu Phi cận Sahara với chủng loại sản phẩm đa dạng, từ quần áo chất lượng, hàng hóa tổng hợp đến các sản phẩm thực phẩm tập trung vào đổi mới, giá trị và tính bền vững.
Việc thu thập thông tin chuyên sâu kịp thời từ dữ liệu có ý nghĩa rất quan trọng vì nhờ đó, chúng tôi có thể nhanh chóng thúc đẩy các quyết định dựa trên dữ liệu trên toàn bộ doanh nghiệp và phản ứng hiệu quả với các sự kiện quan trọng, cần xử lý gấp. Việc sử dụng tính năng thu thập dữ liệu thay đổi và kết hợp hồ sơ tốn thời gian và chi phí hơn nhiều so với dự kiến. Bằng cách sử dụng tính năng tích hợp không ETL của Amazon Aurora MySQL với Amazon Redshift, chúng tôi có thể tạo ra kết quả tương tự trong vòng một ngày, trong khi trước đây sẽ mất 2 tháng để phát triển do cần phải thực hiện những công việc kỹ thuật cho hoạt động ETL. Độ trễ dữ liệu của chúng tôi đã giảm đáng kể khi sử dụng tính năng tích hợp này vì dữ liệu đã ở trạng thái sẵn sàng truy vấn. Điều này giúp chúng tôi đưa ra quyết định nhanh hơn khi các sự kiện đang xảy ra. Chúng tôi đã giảm được lượng công việc kỹ thuật, số điểm lỗi trong quản lý quy trình và tiết kiệm chi phí bằng cách sử dụng tính năng tích hợp không ETL của Aurora với Amazon Redshift.
Raamy Schroeder, Trưởng bộ phận Nghiệp vụ Thông minh – Woolworths