O que é Apache Iceberg?

Um data lake é um repositório centralizado que permite armazenar todos os dados estruturados e não estruturados em qualquer escala. Uma transação de dados é uma série de trocas de dados que são realizadas em uma única operação. Por exemplo, quando um cliente retira dinheiro de uma conta bancária, o banco realiza várias trocas de dados ao mesmo tempo em uma transação de dados, incluindo a verificação de que a conta tem saldo suficiente, a verificação da identidade e o débito do saque da conta. Um data lake transacional é um tipo de data lake que não apenas armazena dados em grande escala, mas também oferece suporte a operações transacionais e garante que os dados sejam precisos e consistentes, além de permitir que você acompanhe como os dados e a estrutura deles mudam ao longo do tempo. Essas propriedades são conhecidas coletivamente como atomicidade, consistência, isolamento e durabilidade (ACID):

• A atomicidade garante que cada transação seja um evento único seja bem-sucedido ou que falhe completamente. Não há um status intermediário. 
• A consistência garante que todos os dados gravados sejam válidos de acordo com as regras definidas do data lake, mantendo os dados precisos e confiáveis. 
• O isolamento garante que várias transações possam ocorrer ao mesmo tempo sem interferir umas nas outras, de forma que cada transação seja executada de forma independente.
• A durabilidade garante que os dados não se percam ou sejam corrompidos depois que uma transação for enviada. No caso de uma falha do sistema, como uma queda de energia, os dados podem ser recuperados.

O Apache Iceberg é adequado para muitos casos de uso de data lake, incluindo:

• Tabelas de dados em data lakes que exigem exclusões frequentes, como no cumprimento das leis de privacidade dos dados.
• Tabelas de dados no data lake que exigem atualizações em nível de registro. Isso pode ser útil quando o conjunto de dados exigir atualizações frequentes após a liquidação dos dados, por exemplo, dados de vendas que podem mudar devido a eventos posteriores, como devoluções de clientes. O Iceberg fornece recursos para atualizar registros individuais sem a necessidade de republicar todo o conjunto de dados.
• Tabelas de dados em data lakes que têm mudanças imprevisíveis, como tabelas de dimensões que mudam lentamente (SCD). Um exemplo de SCD é uma tabela de registros de clientes que inclui nome, localização e informações de contato que podem mudar com o tempo em intervalos desconhecidos.
• Quando as transações com o data lake exigem garantia de validade, durabilidade e confiabilidade dos dados, os formatos de tabela do Apache Iceberg podem ser implantados para garantir as transações ACID.
• Quando for necessário voltar no tempo para consultar versões históricas de dados a fim de realizar análises de tendências, analisar alterações nos dados durante um período de tempo ou restaurar ou reverter para uma versão anterior para corrigir problemas.

O Apache Iceberg oferece uma maneira rápida e eficiente de processar grandes conjuntos de dados em grande escala. Veja alguns dos benefícios a seguir:

1. Código aberto: o Apache Iceberg é um projeto de código aberto, o que significa que ele é de uso gratuito e pode ser personalizado para atender às suas necessidades específicas. Ele conta também com uma comunidade ativa de desenvolvedores que estão continuamente aprimorando e adicionando novos recursos ao projeto. 
2. Escalabilidade: o Apache Iceberg foi projetado para lidar com grandes conjuntos de dados de forma eficiente. Ele pode particionar e organizar dados em vários nós, o que ajuda a distribuir a workload e acelerar o processamento de dados. 
3. Performance: o Apache Iceberg tem uma variedade de recursos para otimizar a performance da consulta, incluindo técnicas de compactação e armazenamento em colunas, como push down de predicados e evolução do esquema. 
4. Flexibilidade: o Apache Iceberg permite que você altere a forma como seus dados são organizados para que possam evoluir com o tempo sem exigir que você reescreva as consultas ou reconstrua as estruturas de dados. Ele também oferece suporte a vários formatos e fontes de dados, o que facilita a integração com os sistemas existentes. 
5. Confiabilidade: o Apache Iceberg garante a consistência e a confiabilidade dos dados por meio do suporte para transações. Para ajudar a corrigir problemas, você pode acompanhar como os dados mudam ao longo do tempo e reverter para versões históricas.