Apache Iceberg là gì?

Hồ dữ liệu là kho tập trung cho phép bạn lưu trữ toàn bộ dữ liệu có cấu trúc và không có cấu trúc ở bất kỳ quy mô nào. Giao dịch dữ liệu là một loạt các trao đổi dữ liệu được thực hiện trong một hoạt động duy nhất. Ví dụ, khi một khách hàng rút tiền từ tài khoản ngân hàng, ngân hàng tiến hành nhiều trao đổi dữ liệu cùng một lúc trong một giao dịch dữ liệu, bao gồm xác minh tài khoản có đủ số dư, xác minh danh tính và ghi nợ việc rút khỏi tài khoản. Hồ dữ liệu trong giao dịch là một loại hồ dữ liệu không chỉ lưu trữ dữ liệu quy mô lớn mà còn hỗ trợ các hoạt động giao dịch và đảm bảo rằng dữ liệu chính xác, nhất quán và cho phép bạn theo dõi cách thức dữ liệu và cấu trúc dữ liệu thay đổi theo thời gian. Các thuộc tính này được gọi chung là Tính nguyên tố, Tính nhất quán, Tách biệt và Bền vững (ACID):

• Tính nguyên tố đảm bảo rằng mỗi giao dịch là một sự kiện duy nhất hoặc thành công hoặc thất bại hoàn toàn; không có trạng thái nửa chiều. 
• Tính nhất quán đảm bảo rằng tất cả dữ liệu được ghi đều hợp lệ theo các quy tắc được xác định của hồ dữ liệu, đảm bảo rằng dữ liệu chính xác và đáng tin cậy. 
• Tách biệt đảm bảo nhiều giao dịch có thể xảy ra cùng một lúc mà không gây trở ngại cho nhau, đảm bảo rằng mỗi giao dịch thực thi độc lập.
• Bền vững có nghĩa là dữ liệu không bị mất hoặc bị hỏng khi giao dịch được gửi. Dữ liệu có thể được phục hồi trong trường hợp lỗi hệ thống, chẳng hạn như cúp điện.

Apache Iceberg phù hợp với nhiều trường hợp sử dụng hồ dữ liệu, bao gồm:

• Bảng dữ liệu trong hồ dữ liệu yêu cầu xóa thường xuyên, chẳng hạn như khi thực thi luật về quyền riêng tư dữ liệu.
• Bảng dữ liệu trong hồ dữ liệu yêu cầu cập nhật mức bản ghi. Điều này rất hữu ích khi tập dữ liệu của bạn yêu cầu cập nhật thường xuyên sau khi dữ liệu ổn định, ví dụ: dữ liệu bán hàng có thể thay đổi do các sự kiện sau bán hàng, chẳng hạn như khách hàng trả lại sản phẩm. Iceberg cung cấp khả năng cập nhật hồ sơ cá nhân mà không cần phải xuất bản lại toàn bộ tập dữ liệu.
• Bảng dữ liệu trong hồ dữ liệu có thay đổi mà không thể đoán trước, chẳng hạn như bảng Loại chiều thay đổi chậm (SCD). Một ví dụ về SCD là một bảng hồ sơ khách hàng bao gồm tên, vị trí và thông tin liên hệ của khách hàng mà có thể thay đổi theo thời gian trong khoảng thời gian không xác định.
• Khi các giao dịch với hồ dữ liệu yêu cầu đảm bảo tính hợp lệ, độ lâu bền và độ tin cậy của dữ liệu, các định dạng bảng Apache Iceberg có thể được triển khai để đảm bảo các giao dịch ACID.
• Khi có nhu cầu quay trở lại để truy vấn các phiên bản cũ của dữ liệu để thực hiện phân tích xu hướng, phân tích các thay đổi đối với dữ liệu trong một khoảng thời gian hoặc khôi phục phiên bản trước đó để khắc phục sự cố.

Apache Iceberg cung cấp cách thức nhanh chóng, hiệu quả để xử lý các tập dữ liệu lớn ở quy mô lớn. Điều này mang lại những lợi ích sau:

1. Nguồn mở: Apache Iceberg là một dự án nguồn mở, có nghĩa là nó được sử dụng miễn phí và có thể được tùy chỉnh để đáp ứng nhu cầu cụ thể của bạn. Nó cũng có một cộng đồng tích cực bao gồm các nhà phát triển, những người đang liên tục cải thiện và bổ sung các tính năng mới cho dự án. 
2. Khả năng điều chỉnh quy mô: Apache Iceberg được thiết kế để xử lý các tập dữ liệu lớn một cách hiệu quả. Nó có thể phân vùng và tổ chức dữ liệu trên nhiều nút, giúp phân phối khối lượng công việc và tăng tốc độ xử lý dữ liệu. 
3. Hiệu suất: Apache Iceberg có nhiều tính năng để tối ưu hóa hiệu suất truy vấn, bao gồm các kỹ thuật lưu trữ cột và nén như đẩy vị từ xuống và tiến hóa giản đồ. 
4. Tính linh hoạt: Apache Iceberg cho phép bạn thay đổi cách thức tổ chức dữ liệu của bạn để có thể phát triển theo thời gian mà không yêu cầu bạn phải ghi lại truy vấn của bạn hoặc xây dựng lại cấu trúc dữ liệu. Nó cũng hỗ trợ nhiều định dạng dữ liệu và nguồn dữ liệu, giúp dễ dàng tích hợp với các hệ thống hiện có. 
5. Độ tin cậy: Apache Iceberg đảm bảo tính nhất quán của dữ liệu và độ tin cậy dữ liệu thông qua hỗ trợ giao dịch. Bạn có thể theo dõi cách thức dữ liệu thay đổi theo thời gian và quay trở lại các phiên bản cũ để giúp bạn khắc phục sự cố.