Apache Iceberg là gì?

Một số lợi ích chính của việc sử dụng Apache Iceberg cho hồ dữ liệu giao dịch bao gồm:

• Quen thuộc về SQL: Ngôn ngữ truy vấn có cấu trúc (SQL) là một ngôn ngữ truy vấn phổ biến thường được sử dụng trong tất cả các loại ứng dụng. Các nhà phân tích dữ liệu và nhà phát triển học và sử dụng SQL vì nó tích hợp tốt với các ngôn ngữ lập trình khác nhau và cũng khá dễ học vì nó sử dụng các từ khóa tiếng Anh thông dụng trong các câu lệnh của nó. Apache Iceberg cho phép bất cứ ai quen thuộc với ngôn ngữ truy vấn có cấu trúc (SQL) xây dựng hồ dữ liệu và thực hiện hầu hết các hoạt động hồ dữ liệu mà không cần phải học một ngôn ngữ mới.

• Tính nhất quán dữ liệu: Apache Iceberg cung cấp tính nhất quán dữ liệu để đảm bảo rằng bất kỳ người dùng nào đọc và ghi vào dữ liệu đều nhìn thấy cùng một dữ liệu.

• Cấu trúc dữ liệu: Apache Iceberg cho phép dễ dàng thay đổi cấu trúc dữ liệu của bạn, còn được gọi là tiến hóa giản đồ, có nghĩa là người dùng có thể thêm, đổi tên hoặc loại bỏ cột khỏi bảng dữ liệu mà không làm gián đoạn dữ liệu cơ bản.

• Quản lý phiên bản dữ liệu: Apache Iceberg cung cấp hỗ trợ cho phiên bản dữ liệu, cho phép người dùng theo dõi các thay đổi đối với dữ liệu theo thời gian. Điều này cho phép tính năng du hành thời gian, cho phép người dùng truy cập và truy vấn các phiên bản lịch sử của dữ liệu và phân tích các thay đổi đối với dữ liệu giữa các bản cập nhật và xóa.

• Hỗ trợ đa nền tảng: Apache Iceberg hỗ trợ nhiều hệ thống lưu trữ và công cụ truy vấn khác nhau, bao gồm Apache Spark, Apache Hive và Presto. Điều này giúp bạn dễ dàng sử dụng Iceberg trong nhiều môi trường xử lý dữ liệu khác nhau.

• Xử lý gia tăng: Iceberg hỗ trợ xử lý gia tăng, cho phép người dùng chỉ xử lý dữ liệu đã thay đổi kể từ lần chạy cuối cùng, còn được gọi là CDC (Change Data Capture). Điều này có thể giúp cải thiện hiệu quả xử lý dữ liệu và hiệu suất.

Kỹ sư dữ liệu, quản trị viên dữ liệu, nhà phân tích dữ liệu và nhà khoa học dữ liệu nằm trong số những nhân vật sử dụng Apache Iceberg.  Các kỹ sư và quản trị viên dữ liệu có thể sử dụng Apache Iceberg để thiết kế và xây dựng các hệ thống lưu trữ dữ liệu có thể điều chỉnh quy mô.  Các nhà phân tích dữ liệu và nhà khoa học dữ liệu có thể sử dụng Apache Iceberg để phân tích các bộ dữ liệu lớn một cách hiệu quả.

Apache Iceberg hỗ trợ các khung xử lý dữ liệu phổ biến như Apache Spark, Apache Flink, Apache Hive và Presto. Các dịch vụ AWS như Amazon Redshift , Amazon Athena , Amazon EMR , AWS Glu e và Amazon Data Firehose , bao gồm hỗ trợ gốc cho khung hồ dữ liệu giao dịch bao gồm Apache Iceberg. Apache Iceberg kết hợp với các dịch vụ AWS được hỗ trợ cho phép một hồ dữ liệu giao dịch, thường dựa trên lưu trữ trong S3.

• Amazon Redshift là một dịch vụ phân tích SQL và lưu trữ dữ liệu được quản lý đầy đủ, hỗ trợ AI để thúc đẩy việc ra quyết định kinh doanh cho khách hàng một cách nhanh chóng và hiệu quả về chi phí. Amazon Redshift cung cấp kiến trúc xử lý song song hàng loạt (MPP), đa cụm và phi máy chủ với các khả năng không dùng ETL giúp thúc đẩy phân tích gần theo thời gian thực và các trường hợp sử dụng AI/ML với khả năng chia sẻ dữ liệu. Khách hàng có thể sử dụng Amazon Redshift để truy vấn các bảng Apache Iceberg trong hồ dữ liệu, được truy cập thông qua danh mục Dữ liệu AWS Glue và kết hợp với bảng của họ trong kho dữ liệu để phân tích toàn diện.

• Amazon Athena là một dịch vụ phân tích tương tác, không máy chủ được xây dựng trên các khung mã nguồn mở, hỗ trợ các định dạng tệp và bảng mở. Athena mang đến cách thức đơn giản, linh hoạt để phân tích hàng petabyte dữ liệu ở chính nơi lưu trữ dữ liệu đó. Athena cung cấp hỗ trợ gốc cho các truy vấn đọc, du hành thời gian, ghi và DDL cho các bảng Apache Iceberg sử dụng định dạng Apache Parquet cho dữ liệu và danh mục AWS Glue cho metastore của chúng.

• Amazon EMR là một giải pháp dữ liệu lớn để xử lý dữ liệu quy mô petabyte, phân tích tương tác và học máy bằng cách sử dụng các khung mã nguồn mở như Apache Spark, Hadoop, Presto và Hive. Bắt đầu với Amazon EMR 6.5.0, bạn có thể sử dụng Apache Spark 3 trên các cụm Amazon EMR với định dạng bảng Iceberg. Các framework EMR bao gồm Spark, Trino, Flink và Hive hỗ trợ Apache Iceberg.

• AWS Glue là dịch vụ tích hợp dữ liệu không máy chủ giúp bạn dễ dàng khám phá, chuẩn bị, di chuyển và tích hợp dữ liệu từ nhiều nguồn để phân tích, học máy (ML) và phát triển ứng dụng.  AWS Glue phiên bản 3.0 trở lên hỗ trợ khung Apache Iceberg cho các hồ dữ liệu. Bạn có thể sử dụng AWS Glue để thực hiện các thao tác đọc và ghi trên các bảng Iceberg trong Amazon S3 hoặc làm việc với các bảng Iceberg bằng cách sử dụng Danh mục dữ liệu AWS Glue. Các hoạt động bổ sung bao gồm chèn, cập nhật và tất cả các truy vấn Spark, ghi Spark cũng được hỗ trợ.

• Amazon Data Firehose là một dịch vụ không có máy chủ được quản lý hoàn toàn để cung cấp dữ liệu phát trực tuyến theo thời gian thực đến các điểm đến như Amazon Simple Storage Service (Amazon S3), Amazon Redshift, Amazon OpenSearch Serverless, Splunk, Snowflake, Apache Iceberg Tables và bất kỳ điểm cuối HTTP tùy chỉnh hoặc điểm cuối HTTP thuộc sở hữu của các nhà cung cấp dịch vụ bên thứ ba được hỗ trợ, bao gồm Datadog, Dynatrace, LogicMonitor, MongoDB, New Corc, Alogix và Elastic. Với Amazon Data Firehose, bạn không cần phải viết ứng dụng hay quản lý tài nguyên. Bạn đặt cấu hình đối tượng tạo dữ liệu để gửi dữ liệu tới Amazon Data Firehose và dịch vụ này sẽ tự động đưa dữ liệu đến điểm đích được chỉ định. Bạn cũng có thể định cấu hình Amazon Data Firehose để chuyển đổi dữ liệu của mình trước khi phân phối.