O que é gerenciamento de dados?

A prática de gerenciamento de dados abrange a coleta e distribuição de dados de alta qualidade, além da governança de dados, para controlar o acesso aos dados.

A governança de dados inclui as políticas e os procedimentos que uma organização implementa para gerenciar a segurança, a integridade e o uso responsável dos dados. Ele define a estratégia de gerenciamento de dados e determina quem pode acessar quais dados. Políticas de governança de dados também estabelecem responsabilidade na forma como equipes e indivíduos acessam e usam os dados. Funções de governança de dados geralmente incluem:

Criação de perfil de dados

O perfil de dados é o processo de diagnóstico de análise de dados para determinar sua estrutura, qualidade e características. Essa é a primeira etapa para entender um conjunto de dados existente, para decidir se ele precisa ou não ser refatorado antes do uso.

Linhagem de dados

A linhagem de dados rastreia os fluxos de dados em uma organização. A linhagem de dados com data e hora é usada para determinar onde um dado se originou, como foi usado e quando foi transformado. Esse processo de gerenciamento de dados é particularmente importante nos processos de auditoria.

Catálogo de dados

Os catálogos de dados são uma coleção dos ativos de dados da organização e dos metadados relacionados. Ao armazenar todas as informações relacionadas aos dados em um catálogo central, ele se torna o principal registro de dados dentro da organização. Os usuários podem esperar que o catálogo de dados contenha as informações mais atualizadas sobre todos os ativos de dados.

Segurança de dados e controle de acesso

A governança de dados impede o acesso não autorizado aos dados e os protege contra corrupção. Ela inclui todos os aspectos da proteção, como os seguintes:

• Evitar a movimentação ou a exclusão acidental dos dados
• Proteger o acesso à rede para reduzir o risco de ataques à rede
• Verificar se os datacenters físicos que armazenam dados atendem aos requisitos de segurança
• Manter os dados seguros, mesmo quando os funcionários os acessam de dispositivos pessoais
• Autenticação do usuário, autorização e configuração e aplicação de permissões de acesso a dados
• Garantir que os dados armazenados estejam em conformidade com as leis do país onde os dados estão armazenados
• Adicionar camadas adicionais de controles para dados confidenciais

Conformidade de dados

As políticas de conformidade de dados reduzem o risco de multas ou ações regulatórias. Cumprir as leis de conformidade, como o GDPR e a CCPA, é essencial para as operações.

As atividades de conformidade se concentram na modelagem de dados, controles de software e treinamento de funcionários para que a adesão às leis ocorra em todos os níveis. Por exemplo, uma organização colabora com uma equipe de desenvolvimento externa para melhorar seus sistemas de dados. Os gerentes de governança de dados verificam se todos os dados pessoais foram removidos antes de transmiti-los para a equipe externa para uso em testes.

Gerenciamento do ciclo de vida de dados

O gerenciamento do ciclo de vida dos dados se refere ao processo de gerenciamento de dados durante todo o ciclo de vida. 

Por exemplo:

• Os dados devem ser verificados na ingestão e em intervalos regulares
• Os dados devem ser mantidos por períodos específicos para fins de auditoria
• Os dados devem ser apagados quando não forem mais necessários

Gerenciamento da qualidade dos dados

Os usuários de dados esperam que os dados sejam suficientemente confiáveis e consistentes para cada caso de uso.

Gerentes de qualidade de dados medem e melhoram a qualidade dos dados de uma organização. Eles analisam dados novos e existentes e verificam se eles atendem aos padrões. Também podem configurar processos de gerenciamento de dados que impedem a entrada de dados de baixa qualidade no sistema. Os padrões de qualidade de dados geralmente medem o seguinte:

• As principais informações estão faltando ou os dados estão completos? (por exemplo, o cliente omite as principais informações de contato)
• Os dados atendem às regras básicas de verificação de dados? (Por exemplo, um número de telefone deve ter um certo número de dígitos)
• Com que frequência os mesmos dados aparecem no sistema? (Por exemplo, entradas de dados duplicadas do mesmo cliente.)
• Os dados estão corretos? (por exemplo, o cliente insere o endereço de e-mail errado)
• A qualidade dos dados é consistente em todo o sistema? (Por exemplo, a data de nascimento está no formato dd/mm/aaaa em um conjunto de dados, mas no formato mm/dd/aaaa em outro conjunto de dados.)

Integração de dados

Endpoints para distribuição dos dados

Para a maioria das organizações, os dados precisam ser distribuídos para os (ou perto dos) vários endpoints onde eles são necessários. Isso inclui sistemas operacionais, data lakes e data warehouses. A distribuição de dados é necessária devido a latências de rede. Quando dados são necessários para uso operacional, a latência de rede pode não ser suficiente para entregá-los em tempo hábil. Armazenar uma cópia desses dados em um banco de dados local resolve o problema de latência de rede.

A distribuição de dados também é necessária para a consolidação de dados. Data warehouses e data lakes consolidam dados de várias fontes para apresentar uma visão consolidada das informações. Os data warehouses são usados para análises e tomada de decisão, enquanto os data lakes são um hub consolidado do qual os dados podem ser extraídos para vários casos de uso.

Mecanismos de replicação de dados e seu impacto na consistência

Os mecanismos de distribuição de dados têm um impacto potencial na consistência de dados, e essa é uma consideração importante no gerenciamento de dados.

Uma consistência forte é resultante da replicação síncrona dos dados. Nessa abordagem, quando um valor de dados for alterado, todas as aplicações e usuários verão essa alteração. Se o novo valor dos dados ainda não tiver sido replicado, o acesso aos dados será bloqueado até que todas as cópias sejam atualizadas. A replicação síncrona prioriza a consistência sobre a performance e o acesso aos dados. A replicação síncrona é usada com mais frequência para dados financeiros.

A consistência final é resultante da replicação assíncrona dos dados. Quando os dados são alterados, as cópias são eventualmente atualizadas (geralmente em alguns segundos), mas o acesso às cópias desatualizadas não é bloqueado. Para muitos casos de uso, isso não é um problema. Por exemplo, postagens, curtidas e comentários em mídias sociais não exigem consistência forte. Como outro exemplo, se um cliente alterar seu número de telefone em uma aplicação, essa alteração poderá ser cascateada de maneira assíncrona.

Comparação entre streaming e atualizações em lote

Fluxos de dados cascateiam alterações de dados à medida que elas ocorrem. Essa é a abordagem preferida se for necessário o acesso a dados quase em tempo real. Os dados são extraídos, transformados e entregues ao seu destino assim que são alterados.

Atualizações em lote são mais apropriadas quando os dados precisam ser processados em lotes antes da entrega. Resumir ou realizar análises estatísticas dos dados e entregar apenas o resultado é um exemplo disso. Atualizações em lote também podem preservar a consistência interna e pontual dos dados quando todos os dados são extraídos em um ponto específico no tempo. Atualizações em lote por meio de um processo de extração, transformação e carregamento (ETL ou ELT) são normalmente usadas para data lakes, data warehousing e análises.

Gerenciamento de dados mestres

O gerenciamento de dados mestres (MDM) se refere ao processo de gerenciamento de dados comerciais essenciais. A consistência e a sincronização de dados são altamente relevantes para o MDM.

Exemplos de dados mestres incluem dados de clientes, dados de parceiros e dados de produtos. Esses dados fundamentais são principalmente persistentes e não mudam com frequência. Exemplos desses dados em uso incluem o software Customer Relationship Management (CRM) e Enterprise Resource Planning (ERP).

O gerenciamento de dados mestres é essencial para garantir sua precisão em todos os sistemas, incluindo sincronização e integração de dados nas atualizações.

As melhores práticas de gerenciamento de dados formam a base de uma estratégia de dados bem-sucedida. A seguir estão os princípios comuns de gerenciamento de dados para ajudar você a criar uma base sólida de dados.

Colaboração em equipe

Os usuários empresariais e as equipes técnicas devem colaborar para garantir que os requisitos de dados de uma organização sejam atendidos. Todo processamento e análise de dados deve priorizar requisitos de business intelligence. Caso contrário, os dados coletados permanecerão sem uso, com recursos desperdiçados em projetos de gerenciamento de dados mal planejados.

Automação

Uma estratégia de gerenciamento de dados bem-sucedida incorpora automação na maioria das tarefas de processamento e preparação de dados. Executar tarefas de transformação de dados manualmente é entediante e também introduz erros no sistema. Mesmo um número limitado de tarefas manuais, como a execução de trabalhos em lote semanais, pode causar afunilamentos no sistema. Um software de gerenciamento de dados pode oferecer suporte a uma escalabilidade mais rápida e eficiente.

Computação em nuvem

As empresas precisam de soluções modernas de gerenciamento de dados que lhes forneçam um amplo conjunto de recursos. Uma solução em nuvem pode gerenciar todos os aspectos do gerenciamento de dados em grande escala sem comprometer o desempenho. Por exemplo, a AWS oferece uma ampla variedade de funcionalidades, como bancos de dados, data lakes, análises, acessibilidade de dados, governança de dados e segurança, em uma única conta.