O que é governança de dados?
A governança de dados inclui os processos e as políticas que garantem que os dados estejam em condições adequadas para apoiar as iniciativas e operações de negócios. As organizações modernas coletam dados de várias fontes em grande escala para aprimorar as operações e a prestação de serviços. No entanto, a tomada de decisões baseada em dados é eficaz somente quando os dados atendem aos padrões de qualidade e integridade exigidos.
A governança de dados determina funções, responsabilidades e padrões para o uso de dados. Ele descreve quem pode realizar quais ações, com base em quais dados, usando quais métodos e em quais situações. Com mais dados sendo usados para dar suporte a casos de uso de inteligência artificial (IA) e machine learning (ML), tornou-se fundamental que todo o uso de dados atenda aos requisitos normativos e éticos. A governança de dados equilibra a segurança dos dados com os objetivos táticos e estratégicos para garantir a máxima eficácia.
O que é governança analítica?
A governança analítica governa os dados para uso em aplicações analíticas e também governa o uso de sistemas de análise. Sua equipe de governança analítica pode estabelecer mecanismos de governança, como versionamento e documentação de relatórios de análise. Como sempre, acompanhe os requisitos regulatórios, estabeleça a política da empresa e forneça barreiras de proteção para a organização em geral.
Por que a governança de dados é importante?
Programas de governança de dados têm sido historicamente empregados para bloquear dados em silos para evitar vazamento ou uso indevido de dados. No entanto, a consequência dos silos de dados é que usuários legítimos precisam superar barreiras para ter acesso aos dados quando precisarem. Inadvertidamente, a inovação baseada em dados é sufocada.
Em uma pesquisa realizada em 2024 com 350 CDOs e cargos equivalentes ao de CDO, a MIT CDOIQ constatou que 45% dos diretores de dados identificam a governança de dados como uma das principais prioridades. Esses líderes de dados querem estabelecer uma framework de governança de dados que lhes permita disponibilizar dados para as pessoas e aplicações certas quando necessário, mantendo os dados seguros e protegidos com controles apropriados em vigor.
Equilibra acesso e controle
Você tem duas alavancas para tornar a governança um facilitador da inovação: acesso e controle. A chave para o sucesso é encontrar o equilíbrio certo entre os dois: o ponto de equilíbrio de cada organização é diferente. Quando você exerce muito controle, os dados ficam presos em silos e os usuários não conseguem acessá-los quando precisam. Isso sufoca a criatividade e leva à criação de sistemas de TI paralelos que deixam os dados desatualizados e inseguros. Por outro lado, quando você fornece muito acesso, os dados correm o risco de se tornarem desregulamentados em aplicações e datastores, aumentando o risco de acesso não autorizado e afetando a qualidade dos dados.
Os processos de governança de dados equilibram o acesso com o controle, dando aos usuários confiança e confiança nos dados. Eles promovem a descoberta, a organização, a proteção e o compartilhamento de dados adequados, incentivando a inovação e protegendo os dados.
Quais são os benefícios da governança de dados?
A governança de dados oferece uma estrutura estruturada para gerenciar dados em uma organização. Aqui estão alguns benefícios principais.
Melhora a qualidade dos dados
A governança de dados estabelece padrões de precisão, integridade e consistência dos dados. Você obtém dados relevantes, atuais e fáceis de interpretar, nos quais todas as partes interessadas confiam. Esses dados de alta qualidade reduzem os erros e geram insights precisos e oportunos para a tomada de decisões estratégicas e operacionais.
Oferece suporte a uma cultura orientada por dados
Uma estratégia eficaz de governança de dados promove uma cultura que valoriza os dados, incentivando todos os funcionários a usá-los e compreendê-los em seu trabalho. Isso motiva a participação da comunidade empresarial e impulsiona a integração de dados nas áreas de negócios participantes. O alinhamento entre engenheiros de dados e usuários corporativos aumenta a alfabetização geral de dados e as capacidades analíticas da organização.
Aumenta a eficiência operacional
A governança de dados ajuda a determinar o modelo operacional correto, especialmente o nível de centralização e descentralização necessário. Você pode estabelecer práticas consistentes de gerenciamento de dados que simplifiquem as operações. A propriedade de dados e os direitos de acesso claramente definidos facilitam a colaboração entre departamentos, garantindo que todos trabalhem com as mesmas fontes de dados confiáveis. Alinhe os esforços entre as equipes para reduzir a duplicação, diminuir os custos operacionais e melhorar a produtividade.
Compatibilidade com a conformidade normativa
As frameworks de governança de dados adotam uma abordagem proativa para o gerenciamento de riscos, garantindo que as práticas de dados estejam alinhadas às regulamentações legais e do setor. Você pode impedir o acesso não autorizado por meio de políticas definidas centralmente sobre quem pode acessar ou modificar dados. As ferramentas de governança de dados dão suporte à conformidade com as normas de privacidade para proteger dados confidenciais.
O que é governança de machine learning (ML)?
A governança de ML aplica muitas das mesmas práticas de governança de dados ao ML. A qualidade e a integração de dados precisam fornecer os dados necessários para o treinamento do modelo e a implantação da produção (os arquivos de atributos são um aspecto importante disso). A inteligência artificial (IA) responsável está prestando atenção especial ao uso de dados confidenciais para criar modelos. Os recursos adicionais de governança de ML incluem permitir que as pessoas participem da criação, implantação e monitoramento de modelos; documentação do treinamento, do versionamento , dos casos de uso compatíveis e da orientação do uso ético do modelo; e monitoramento da precisão, do desvio, do ajuste excessivo e do ajuste inadequado do modelo em produção.
A IA generativa requer recursos adicionais de governança de dados, como qualidade e integridade dos dados, para apoiar a adaptação de modelos básicos para treinamento e inferência, governança da toxicidade e viés da IA generativa e operações do modelo de base (FM): FMOps.
Você pode oferecer suporte à IA/ML com o mesmo programa de governança de dados. A preparação de dados é necessária para transformar os dados em um formato que os modelos de IA/ML possam usar para treinamento e inferência de produção, mas a preparação de dados mais eficiente é aquela que você não precisa fazer. Os cientistas de dados gastam muito tempo preparando dados para cada caso de uso. Sua equipe de governança de dados pode ajudar a aliviar esse trabalho pesado e indiferenciado. Além disso, a governança de dados pode supervisionar a criação de arquivos de atributos moldados para serem usados em casos de uso de IA e ML.
Por fim, os dados confidenciais precisam ser protegidos adequadamente, para que sua equipe possa mitigar os riscos de uso de dados confidenciais para treinar os modelos básicos.
Assim como a análise em geral, você precisa controlar o uso de modelos de IA/ML que você cria ou personaliza. O ideal é que isso esteja intimamente associado à governança analítica, porque essa função saberá como oferecer suporte a várias áreas de negócios.
Quem cria a governança de dados?
A criação de uma estratégia robusta de governança de dados exige muitos cargos.
Patrocinadores executivos
Identificam e estabelecem princípios, padrões e políticas de governança de dados em toda a organização. Também entendem muitas iniciativas de negócios no roteiro corporativo e podem ajudar a determinar as prioridades para impulsionar as atividades de governança de dados.
Administradores de dados
São da empresa e estão envolvidos nos detalhes cotidianos dos projetos. Eles ajudam a entender os problemas de dados que podem causar desafios em iniciativas comerciais específicas. Também implementam o processo de governança de dados em seus projetos e garantem que os dados sejam gerenciados adequadamente. Eles monitoram a conformidade dos funcionários e dos clientes e encaminham os problemas que surgirem.
Proprietários de dados
Estabelecem políticas sobre os dados, incluindo quem deve ter acesso aos dados e sob quais circunstâncias, como interpretar e aplicar regulamentações e definições de termos-chave. Também são responsáveis pela administração técnica e pelos controles de acesso de seus conjuntos de dados.
Engenheiros de dados
Eles são da área de TI e selecionam e implementam as melhores ferramentas de governança de dados para proteger os dados, integrar dados de várias fontes, gerenciar a qualidade dos dados e encontrar os dados certos.
Quais são os estilos de governança de dados?
Seu programa de governança de dados deve equilibrar centralização e descentralização (incluindo autoatendimento). Em toda a sua organização, você terá uma combinação de governança centralizada, federada e descentralizada. Novamente, dependendo dos requisitos da empresa. Você deve capacitar as equipes de domínio o máximo possível e, ao mesmo tempo, manter a coerência entre os domínios (como a capacidade de vincular dados).
Governança de dados centralizada
As organizações centrais são, em última instância, responsáveis por declarações de missão, políticas, escolhas de ferramentas e muito mais. No entanto, ações do dia a dia muitas vezes são repassadas para linhas de negócios (LOB).
Governança de dados federados
A governança federada de dados capacita unidades de negócios individuais ou iniciativas de negócios a operar da maneira que melhor atenda às suas necessidades. No entanto, uma equipe centralizada menor se concentra na solução de problemas que se repetem com frequência, incluindo ferramentas de qualidade de dados em toda a empresa, por exemplo.
Governança de dados autossuficiente ou descentralizada
Cada departamento faz o que precisa para o projeto específico e, ao mesmo tempo, se alinha às políticas centralizadas. Cada projeto usa quaisquer ferramentas ou processos de outros projetos em que haja uma solução adequada para uso. À medida que tópicos como data mesh (também descentralizada) aumentam em popularidade, o mesmo acontece com a governança de dados de autoatendimento.
Como funciona a governança de dados?
A governança de dados requer pessoas, processos e soluções tecnológicas em várias capacidades.
Organize dados em grande escala para limitar a dispersão de dados
Organizar seus dados em grande escala significa identificar e gerenciar suas fontes de dados mais valiosas, incluindo bancos de dados, data lakes e data warehouses. Você pode limitar a proliferação e a transformação de ativos de dados essenciais. A organização dos dados também significa garantir que os dados corretos sejam precisos, atualizados e livres de informações confidenciais para que os usuários possam ter confiança nas decisões orientadas por dados e nas aplicações que alimentam os dados.
Recursos: gerenciamento da qualidade de dados, integração de dados e gerenciamento de dados mestres
Descubra e entenda seus dados no contexto.
Entender seus dados no contexto significa que todos os usuários podem descobrir e compreender o significado de seus dados para que possam usá-los com confiança para gerar valor comercial. Com um catálogo de dados centralizado, os dados podem ser facilmente encontrados, o acesso pode ser solicitado e os dados podem ser usados para tomar decisões de negócios.
Recursos: criação de perfil de dados, linhagem de dados e catálogos de dados
Proteja e compartilhe seus dados de maneira segura com controle e confiança.
Proteger seus dados significa encontrar o equilíbrio certo entre privacidade, segurança e acesso de dados. É essencial controlar o acesso aos dados além das fronteiras organizacionais, usando ferramentas intuitivas para usuários de negócios e de engenharia.
Recursos: ciclo de vida dos dados, conformidade e segurança dos dados
Reduza o risco comercial e melhore a conformidade regulatória.
Reduzir o risco significa entender como esses dados estão sendo usados e por quem. Os serviços da AWS ajudam você a monitorar e auditar o acesso aos dados, inclusive o acesso por meio de modelos de ML, para ajudar a garantir a segurança dos dados e a conformidade regulatória. O machine learning também exige transparência na auditoria para garantir o uso responsável e a simplificação dos relatórios.
Recursos: auditoria de uso de dados e ML
Como você pode melhorar suas equipes de governança de dados?
A chave para um programa eficaz de governança de dados é vincular-se a iniciativas de negócios já financiadas. Certifique-se de que sua equipe entenda quais domínios, fontes e elementos de dados são necessários para apoiar essas iniciativas.
- Crie um roteiro de governança de dados que mostre suporte para iniciativas comerciais específicas. Em seguida, comece a identificar a sobreposição de dados entre as iniciativas de negócios escolhidas.
- Identifique os aplicações e os casos de uso de inteligência de negócios que os dados precisam comportar e alimentar, incluindo os requisitos de atualização e privacidade.
- Entenda como são os dados adequados para cada iniciativa comercial escolhida.
- Mantenha e expanda o programa de governança de dados incorporando-o ao modelo operacional corporativo, para que o planejamento e a implementação de dados se tornem uma parte natural da operação da organização.
- Organize a comunidade de análise para autoatendimento e consistência.
- Ofereça suporte à inteligência artificial (IA) e ao machine learning (ML) com governança de dados e governança de ML. Use o mesmo programa de governança de dados, mas expanda para arquivos de atributos e modelos de ML.
Quais são as melhores práticas de governança de dados?
A chave para uma governança de dados eficaz é vincular-se a iniciativas empresariais já financiadas. Certifique-se de que sua equipe entenda quais domínios, fontes e elementos de dados são necessários para apoiar essas iniciativas.
- Crie um roteiro de governança de dados que mostre suporte para iniciativas comerciais específicas. Em seguida, comece a identificar a sobreposição de dados entre as iniciativas de negócios escolhidas.
- Identifique os aplicações e os casos de uso de inteligência de negócios que os dados precisam comportar e alimentar, incluindo os requisitos de atualização e privacidade.
- Entenda como são os dados adequados para cada iniciativa comercial escolhida.
- Sustente e expanda incorporando a governança ao modelo operacional empresarial para que o planejamento e a implementação de dados se tornem uma parte natural da operação da organização.
- Organize a comunidade de análise para autoatendimento e consistência.
- Ofereça suporte à inteligência artificial (IAI) e ao machine learning (ML) com governança de dados e governança de ML. Use o mesmo programa de governança de dados, mas expanda para arquivos de atributos e modelos de ML.
Como a governança de dados afeta a analytics, o machine learning e a inteligência artificial?
A governança de dados desempenha um papel fundamental em casos de uso intenso de dados.
Governança de analytics
A governança de analytics governa os dados para uso em aplicações analíticas e também governa o uso de sistemas de analytics. Sua equipe de governança analítica pode estabelecer mecanismos de governança, como versionamento e documentação de relatórios de análise. Como sempre, acompanhe os requisitos regulatórios, estabeleça a política da empresa e forneça barreiras de proteção para a organização em geral.
Governança de IA
A governança de IA aplica muitas das mesmas práticas de governança de dados aos casos de uso de IA/ML. A qualidade e a integração dos dados devem fornecer os dados necessários para o treinamento do modelo e a implantação da produção (os armazenamentos de recursos são um aspecto importante disso). A Inteligência artificial (IA) responsável está prestando atenção especial ao uso de dados confidenciais para construir modelos. Outros recursos de governança de IA incluem permitir que as pessoas participem da criação, implantação e monitoramento do modelo; documentar o treinamento do modelo, o versionamento e os casos de uso compatíveis e orientar o uso ético do modelo; e monitorar o modelo em produção quanto à precisão, desvio, sobreajuste e subajuste.
A IA generativa requer recursos adicionais de governança de dados, como qualidade e integridade dos dados, para apoiar a adaptação de modelos básicos para treinamento e inferência, governança da toxicidade e viés da IA generativa e operações do modelo de base (FM): FMOps.
Você pode oferecer suporte à IA/ML com o mesmo programa de governança de dados. A preparação de dados é necessária para transformar os dados em um formato que os modelos de IA/ML possam usar para treinamento e inferência de produção, mas a preparação de dados mais eficiente é aquela que você não precisa fazer. Os cientistas de dados gastam muito tempo preparando dados para cada caso de uso. Sua equipe de governança de dados pode ajudar a aliviar esse trabalho pesado e indiferenciado. Além disso, a governança de dados pode supervisionar a criação de armazenamentos de recursos modelados para casos de uso de IA e ML.
Por fim, os dados confidenciais devem ser protegidos adequadamente para que sua equipe possa reduzir os riscos de usar dados confidenciais para treinar os modelos de base.
Da mesma forma que analytics, você precisa controlar o uso dos modelos de IA/ML que você cria ou personaliza. O ideal é que isso esteja intimamente associado à governança analítica, porque essa função saberá como oferecer suporte a várias áreas de negócios.
Quais são os principais desafios da governança de dados?
O desafio estratégico mais comum para a governança de dados é alinhar seu programa às iniciativas de negócios em vez de propor diretamente o valor da governança de dados. Por exemplo, você pode propor o valor de tornar mais fácil para os usuários finais encontrarem os dados que estão procurando, ou você pode propor o valor de resolver problemas de qualidade de dados. Mas essas são soluções em busca de um problema. Se você fizer isso dessa maneira, acabará competindo por financiamento e patrocínio com iniciativas de negócios que deveria apoiar. Em vez disso, posicione a governança de dados para apoiar as iniciativas de negócios. Toda grande iniciativa de negócios exige dados. A governança de dados deve garantir que os dados estejam em condições adequadas para apoiar o sucesso da iniciativa comercial. Não negligencie as práticas de emissão de relatórios e auditoria sobre como a governança de dados apoia essas iniciativas.
Outro desafio estratégico comum é evitar aplicar a governança de dados de forma muito restrita. Uma definição muito restrita pode significar o alinhamento do programa com áreas de negócios individuais ou casos de uso sem uma visão mais ampla de todas as áreas de negócios. Uma definição restrita também pode significar definir a governança de dados por apenas um ou dois recursos. Por exemplo, ter um catálogo de dados não constitui um programa de governança de dados.
Quais são as ofertas da AWS para governança de dados?
Com a governança de dados de ponta a ponta na AWS, as organizações têm controle sobre onde seus dados estão, quem tem acesso a eles e o que pode ser feito com eles em cada etapa do fluxo de trabalho de dados. A governança de dados com a AWS ajuda as organizações a acelerar as decisões baseadas em dados, facilitando que as pessoas e as aplicações certas encontrem, acessem e compartilhem com segurança os dados certos quando precisarem. Você pode organizar os dados automatizando a integração e a qualidade dos dados para limitar a proliferação de dados. Você pode descobrir e entender seus dados com catálogos centralizados que impulsionam a alfabetização em dados. Você pode proteger seus dados com permissões precisas que permitem compartilhar dados com confiança.
Você pode reduzir o risco e melhorar a conformidade regulatória monitorando e auditando o acesso aos dados.
- Amazon DataZone: libere dados em limites organizacionais com governança integrada
- AWS Glue: descubra, prepare e integre todos os seus dados em qualquer escala
- AWS Lake Formation: crie, gerencie e proteja data lakes em dias
- Amazon QuickSight: business intelligence unificada em hiperescala
- Amazon SageMaker: crie, treine e implante modelos de machine learning para casos de uso com infraestrutura, ferramentas e fluxos de trabalho totalmente gerenciados
- Página da Web sobre governança de ML
- Amazon Bedrock: crie e escale aplicações de IA generativa com modelos de base (FMs)
- Amazon Macie: descubra e proteja dados confidenciais em grande escala
- Pontos de acesso do Amazon Simple Storage Service (Amazon S3): armazenamento de objetos desenvolvido para armazenar e recuperar quaisquer quantidades de dados de qualquer lugar
- AWS Data Exchange: encontre, assine e use facilmente dados de terceiros na nuvem
- AWS Clean Rooms: crie salas limpas em minutos para colaborar com seus parceiros sem compartilhar dados brutos
Comece a usar a governança de dados na AWS criando uma conta gratuita hoje mesmo em .
Próximas etapas na AWS
Obtenha acesso instantâneo ao nível gratuito da AWS.
