Tích hợp không ETL trên Amazon Aurora với Amazon Redshift

Quy trình xác minh vận chuyển hàng hóa có ý nghĩa quan trọng trong việc duy trì tính toàn vẹn của chuỗi cung ứng đối với khách hàng sản xuất, bán lẻ và kho vận của Infosys. Để đạt được điều này, dữ liệu theo dõi hàng hóa cần được tải nhập theo thời gian thực để theo dõi các lô hàng và phân tích quá trình vận chuyển.

“Infosys đã sử dụng các tính năng tích hợp không ETL để tải nhập dữ liệu trong thời gian thực, cho phép theo dõi lô hàng vận chuyển cũng như đảm bảo sự minh bạch về vị trí, trạng thái và thời gian đến dự kiến. Nhờ vậy, các hoạt động vận chuyển hàng hóa được tối ưu hóa, góp phần giảm chi phí đáng kể. Với tính năng báo cáo và phân tích toàn diện không ETL, cùng với các kế hoạch chi tiết theo ngành của Infosys Cobalt và Topaz, việc ra quyết định dựa trên dữ liệu giờ đây hoàn toàn có thể thực hiện được."

Sunil Senan, Phó chủ tịch Cấp cao kiêm Giám đốc Toàn cầu về Dữ liệu, Phân tích và AI – Infosys

Intuit là nền tảng công nghệ tài chính toàn cầu, mang đến sự thịnh vượng cho 100 triệu khách hàng tiêu dùng và doanh nghiệp nhỏ nhờ các sản phẩm TurboTax, Credit Karma, QuickBooks và Mailchimp. Do tính chất phức tạp của quá trình di chuyển sắp tới, Intuit đã xem xét hơn 10 triệu lượt di chuyển hồ sơ mỗi ngày, một con số đáng kinh ngạc. Intuit đã chuyển sang tích hợp không ETL của Amazon Aurora MySQL với Amazon Redshift để hợp lý hóa quy trình tải nhập dữ liệu và loại bỏ nhu cầu về công việc kỹ thuật phức tạp.

“Khối lượng dữ liệu khổng lồ và nhu cầu di chuyển liền mạch là một thách thức lớn đối với chúng tôi. Hơn nữa, chúng tôi cần có một giải pháp cho phép phân tích quá trình di chuyển một cách nhanh chóng để có thể đưa ra quyết định kịp thời, dựa trên dữ liệu. Để giải quyết những thách thức này, chúng tôi đã chuyển sang tích hợp không ETL của Amazon Aurora với Amazon Redshift để hợp lý hóa quy trình tải nhập dữ liệu và loại bỏ nhu cầu về công việc kỹ thuật phức tạp. Với khả năng tích hợp không ETL, chúng tôi có thể gửi một lượng lớn dữ liệu đến Amazon Redshift mà không cần thực hiện các công việc thu thập hoặc tải nhập dữ liệu riêng biệt. Nhờ vậy, chúng tôi sẽ thu được các thông tin chuyên sâu ngắn gọn để hỗ trợ việc đưa ra các quyết định kinh doanh và kỹ thuật quan trọng, giúp tiết kiệm rất nhiều công sức (có thể lên đến hàng tháng). Nhờ sử dụng tính năng tích hợp không ETL của Aurora với Amazon Redshift, chúng tôi đã khám phá được các mẫu hình mới tại Intuit cho việc di chuyển dữ liệu quy mô lớn và phân tích gần theo thời gian thực."

Aruna Ghiware, Giám đốc Phát triển Sản phẩm – Intuit

Tập đoàn KINTO Technologies là đơn vị đi đầu trong ngành công nghiệp nền tảng di động và cũng là công ty công nghệ chịu trách nhiệm phát triển dịch vụ KINTO với tư cách là công ty dịch vụ tài chính của Toyota. Tận dụng tính năng tích hợp không ETL của Amazon Aurora MySQL với Amazon Redshift, KINTO Technologies đã có thể đạt được quy trình dữ liệu linh hoạt hơn và hiện tại có thể áp dụng các tính năng phân tích nâng cao của Amazon Redshift cho dữ liệu hoạt động của mình gần như theo thời gian thực.

“Trước khi tính năng tích hợp không ETL ra đời, chúng tôi đã sử dụng một giải pháp được xây dựng tùy chỉnh để liên tục truyền các thay đổi từ cơ sở dữ liệu lõi sang các ứng dụng hạ nguồn, nhưng chúng tôi đã phải đối mặt với những thách thức về hiệu suất và tác động liên tục đến khối lượng công việc sản xuất. Để giải quyết tác động về hiệu suất đối với khối lượng công việc sản xuất, chúng tôi đã phải điều chỉnh quy trình dữ liệu theo cách thủ công để giảm tần suất gửi các bản cập nhật và giải quyết dữ liệu cũ trong Amazon Redshift. Nhờ sử dụng tính năng tích hợp không ETL của Aurora MySQL với Amazon Redshift, chúng tôi có thể luôn có sẵn dữ liệu gần như theo thời gian thực trong Amazon Redshift, giúp nhà phát triển không phải dành hàng giờ để quản lý thủ công các quy trình dữ liệu cho hoạt động ETL hay xử lý các tác động về hiệu suất đối với khối lượng công việc, từ đó giảm bớt gánh nặng vận hành.“

Hitoshi Kageyama, Phó Chủ tịch Điều hành – Tập đoàn KINTO Technologies

Money Forward i cố gắng nâng cao năng suất và tiềm năng sáng tạo của các nhóm CNTT trong tổ chức bằng cách hợp lý hóa các nhiệm vụ lặp đi lặp lại, cắt giảm chi phí và tăng cường bảo mật thông qua Admina, Nền tảng quản lý SaaS trực quan của họ.

“Trước khi triển khai tính năng tích hợp không ETL của Amazon Aurora với Amazon Redshift, chúng tôi gặp khó khăn trong việc triển khai và duy trì các hoạt động ETL để phân tích dữ liệu sản phẩm từ Amazon Aurora MySQL trong Amazon Redshift. Tính năng tích hợp không ETL của Aurora MySQL với Amazon Redshift cho phép đồng bộ hóa dữ liệu gần như theo thời gian thực giữa cơ sở dữ liệu Aurora MySQL của chúng tôi và Amazon Redshift, giúp giảm thời gian xây dựng môi trường phân tích từ một tháng xuống còn ba giờ. Ngoài việc giảm gánh nặng ban đầu tại thời điểm phát triển, tính năng tích hợp không ETL còn ít tác động hơn đến môi trường sản xuất hơn, giúp xây dựng môi trường phân tích với chi phí tối thiểu và tốc độ tối đa.”

Katsutoshi Murakami, Giám đốc kiêm CPO – Money Forward i

Woolworths là nhà bán lẻ hàng đầu châu Phi cận Sahara với chủng loại sản phẩm đa dạng, từ quần áo chất lượng, hàng hóa tổng hợp đến các sản phẩm thực phẩm tập trung vào đổi mới, giá trị và tính bền vững.

“Việc thu thập thông tin chuyên sâu kịp thời từ dữ liệu có ý nghĩa rất quan trọng vì nhờ đó, chúng tôi có thể nhanh chóng thúc đẩy các quyết định dựa trên dữ liệu trên toàn bộ doanh nghiệp và phản ứng hiệu quả với các sự kiện quan trọng, cần xử lý gấp. Việc sử dụng tính năng thu thập dữ liệu thay đổi và kết hợp hồ sơ tốn thời gian và chi phí hơn nhiều so với dự kiến. Bằng cách sử dụng tính năng tích hợp không ETL của Amazon Aurora MySQL với Amazon Redshift, chúng tôi có thể tạo ra kết quả tương tự trong vòng một ngày, trong khi trước đây sẽ mất 2 tháng để phát triển do cần phải thực hiện những công việc kỹ thuật cho hoạt động ETL. Độ trễ dữ liệu của chúng tôi đã giảm đáng kể khi sử dụng tính năng tích hợp này vì dữ liệu đã ở trạng thái sẵn sàng truy vấn. Điều này giúp chúng tôi đưa ra quyết định nhanh hơn khi các sự kiện đang xảy ra. Chúng tôi đã giảm được lượng công việc kỹ thuật, số điểm lỗi khi quản lý quy trình và tiết kiệm chi phí bằng cách sử dụng tính năng tích hợp không ETL của Aurora với Amazon Redshift."

Raamy Schroeder, Trưởng bộ phận Nghiệp vụ Thông minh – Woolworths