O que é processamento analítico online?
O processamento analítico on-line (OLAP) é uma tecnologia de software que você pode usar para analisar dados de negócios de diferentes pontos de vista. As organizações coletam e armazenam dados de várias fontes de dados, como sites, aplicativos, medidores inteligentes e sistemas internos. O OLAP combina e agrupa esses dados em categorias para fornecer insights acionáveis para o planejamento estratégico. Por exemplo, um varejista armazena dados sobre todos os produtos que vende, como cor, tamanho, custo e localização. O varejista também coleta dados de compra do cliente, como o nome dos itens pedidos e o valor total das vendas, em um sistema diferente. O OLAP combina os conjuntos de dados para responder a perguntas como quais produtos coloridos são mais populares ou como o posicionamento do produto afeta as vendas.
Por que o OLAP é importante?
O processamento analítico online (OLAP) ajuda as organizações a processar e se beneficiar de uma quantidade cada vez maior de informações digitais. Alguns benefícios do OLAP incluem:
Mais rapidez na tomada de decisões
As empresas usam o OLAP para tomar decisões rápidas e precisas e para se manter competitivas em uma economia acelerada. A realização de consultas analíticas em vários bancos de dados relacionais é demorada, pois o sistema do computador pesquisa em várias tabelas de dados. Por outro lado, os sistemas OLAP pré-calculam e integram dados, para que os analistas de negócios possam gerar relatórios de maneira mais rápida quando necessário.
Suporte para usuários não técnicos
Os sistemas OLAP facilitam a análise de dados complexos para usuários empresariais não técnicos. Esses usuários podem criar cálculos analíticos complexos e gerar relatórios em vez de precisarem aprender a operar bancos de dados.
Visualização de dados integrada
O OLAP fornece uma plataforma unificada para marketing, finanças, produção e outras unidades de negócios. Gerentes e tomadores de decisão podem ver o panorama geral e resolver problemas de maneira eficaz. Eles podem realizar análises hipotéticas que mostram o impacto das decisões tomadas por um departamento em outras áreas dos negócios.
O que é a arquitetura OLAP?
Os sistemas de processamento analítico on-line (OLAP) armazenam dados multidimensionais, representando informações em mais de duas dimensões ou categorias. Dados bidimensionais envolvem colunas e linhas, mas dados multidimensionais têm várias características. Por exemplo, dados multidimensionais para vendas de produtos podem consistir nas seguintes dimensões:
- Tipo de produto
- Local
- Tempo
Os engenheiros de dados criam um sistema OLAP multidimensional que consiste nos seguintes elementos.
Data warehouse
Um data warehouse coleta informações de diferentes fontes, incluindo aplicações, arquivos e bancos de dados. Ele processa essas informações usando várias ferramentas para que os dados estejam prontos para finalidades analíticas. Por exemplo, o data warehouse pode coletar informações de um banco de dados relacional que armazena dados em tabelas de linhas e colunas.
Ferramentas de ETL
Ferramentas de extração, transformação e carregamento (ETL) são processos de banco de dados que recuperam, alteram e preparam automaticamente os dados para um formato adequado para finalidades analíticas. Os data warehouses usam ETL para converter e padronizar informações provenientes de várias fontes antes de as disponibilizar para ferramentas OLAP.
Servidor OLAP
Um servidor OLAP é a máquina subjacente que alimenta o sistema OLAP. Ele usa ferramentas de ETL para transformar informações nos bancos de dados relacionais e prepará-las para operações OLAP.
Banco de dados OLAP
Um banco de dados OLAP é um banco de dados separado que se conecta ao data warehouse. Às vezes, os engenheiros de dados usam um banco de dados OLAP para evitar que o data warehouse fique sobrecarregado por análises OLAP. Eles também usam um banco de dados OLAP para facilitar a criação de modelos de dados OLAP.
Cubos OLAP
Um cubo de dados é um modelo que representa uma matriz multidimensional de informações. Embora seja mais fácil visualizar um cubo de dados como um modelo de dados tridimensional, a maioria deles tem mais de três dimensões. Um cubo OLAP, ou hipercubo, é o termo para cubos de dados em um sistema OLAP. Os cubos OLAP são rígidos, pois você não pode alterar as dimensões e os dados subjacentes depois de os modelar. Por exemplo, se você adicionar a dimensão de warehouse a um cubo com dimensões de produto, localização e tempo, terá que remodelar o cubo inteiro.
Ferramentas analíticas OLAP
Os analistas de negócios usam ferramentas OLAP para interagir com o cubo OLAP. Eles realizam operações como decomposição, fragmentação e pivotagem para obter insights mais profundos sobre informações específicas dentro do cubo OLAP.
Como o OLAP funciona?
Como o OLAP funciona?
Um sistema de processamento analítico online (OLAP) funciona coletando, organizando, agregando e analisando dados por meio das seguintes etapas:
- O servidor OLAP coleta dados de várias fontes, incluindo bancos de dados relacionais e data warehouses.
- Em seguida, as ferramentas de extração, transformação e carregamento (ETL) limpam, agregam, pré-calculam e armazenam dados em um cubo OLAP de acordo com o número de dimensões especificadas.
- Os analistas de negócios usam ferramentas OLAP para consultar e gerar relatórios com base nos dados multidimensionais no cubo OLAP.
O OLAP usa expressões multidimensionais (MDX) para consultar o cubo OLAP. O MDX é uma consulta, como o SQL, que fornece um conjunto de instruções para manipular bancos de dados.
Quais são os tipos de OLAP?
Os sistemas de processamento analítico online (OLAP) operam de três maneiras principais.
MOLAP
O processamento analítico online multidimensional (MOLAP) envolve a criação de um cubo de dados que representa dados multidimensionais de um data warehouse. O sistema MOLAP armazena dados pré-calculados no hipercubo. Os engenheiros de dados usam o MOLAP porque esse tipo de tecnologia OLAP fornece análises rápidas.
ROLAP
Em vez de usar um cubo de dados, o processamento analítico online relacional (ROLAP) permite que os engenheiros de dados realizem análises de dados multidimensionais em um banco de dados relacional. Em outras palavras, os engenheiros de dados usam consultas SQL para pesquisar e recuperar informações específicas com base nas dimensões necessárias. O ROLAP é adequado para analisar dados extensos e detalhados. No entanto, o ROLAP tem performance de consulta lenta em comparação com o MOLAP.
HOLAP
O processamento analítico online híbrido (HOLAP) combina o MOLAP e o ROLAP para fornecer o melhor de ambas as arquiteturas. O HOLAP permite que engenheiros de dados recuperem rapidamente resultados analíticos de um cubo de dados e extraiam informações detalhadas de bancos de dados relacionais.
O que é modelagem de dados no OLAP?
Modelagem de dados é a representação de dados em data warehouses ou bancos de dados de processamento analítico online (OLAP). Ela é essencial no processamento analítico online relacional (ROLAP), pois analisa dados diretamente do banco de dados relacional. A modelagem de dados armazena dados multidimensionais como um esquema em estrela ou floco de neve.
Esquema em estrela
O esquema em estrela consiste em uma tabela de fatos e várias tabelas de dimensões. A tabela de fatos é uma tabela de dados que contém valores numéricos relacionados a um processo de negócios, enquanto a tabela de dimensões contém valores que descrevem cada atributo da tabela de fatos. A tabela de fatos faz referência a tabelas dimensionais com chaves estrangeiras, ou seja, identificadores exclusivos que se correlacionam com as respectivas informações na tabela de dimensões.
Em um esquema em estrela, uma tabela de fatos se conecta a várias tabelas de dimensões, fazendo com que o modelo de dados se pareça com uma estrela. Veja a seguir um exemplo de tabela de fatos para vendas de produtos:
- ID do produto
- ID da localização
- ID do vendedor
- Valor das vendas
O ID do produto instrui o sistema de banco de dados a recuperar informações da tabela de dimensões de produtos, que pode ter a seguinte aparência:
- ID do produto
- Nome do produto
- Tipo de produto
- Custo do produto
Da mesma forma, o ID da localização aponta para uma tabela de dimensões de localizações, que pode conter o seguinte:
- ID da localização
- País
- Cidade
A tabela de vendedores pode ter a seguinte aparência:
- ID do vendedor
- Nome
- Sobrenome
Esquema em flocos de neve
O esquema em floco de neve é uma extensão do esquema em estrela. Algumas tabelas de dimensões podem resultar em uma ou mais tabelas de dimensões secundárias. Isso resulta em uma forma semelhante a um floco de neve quando as tabelas de dimensões são montadas.
Por exemplo, a tabela de dimensões de produtos pode conter os seguintes campos:
- ID do produto
- Nome do produto
- ID do tipo de produto
- Custo do produto
O ID do tipo de produto se conecta a outra tabela de dimensões, conforme mostrado no exemplo a seguir:
- ID do tipo de produto
- Nome do tipo
- Versão
- Variante
O que são operações OLAP?
Os analistas de negócios realizam várias operações analíticas básicas com um cubo de processamento analítico online multidimensional (MOLAP).
Sumarização
Na sumarização, o sistema de processamento analítico online (OLAP) resume os dados para atributos específicos. Em outras palavras, ele mostra dados menos detalhados. Por exemplo, você pode visualizar as vendas de produtos de acordo com Nova York, Califórnia, Londres e Tóquio. Uma operação de sumarização forneceria uma exibição dos dados de vendas com base em países, como EUA, Reino Unido e Japão.
Detalhamento
O detalhamento é o oposto da operação de sumarização. Os analistas de negócios descem na hierarquia de conceitos e extraem os detalhes necessários. Por exemplo, eles podem passar da visualização de dados de vendas por anos para uma visualização por meses.
Decomposição
Os engenheiros de dados usam a operação de decomposição para criar uma exibição bidimensional do cubo OLAP. Por exemplo, um cubo MOLAP classifica os dados de acordo com produtos, cidades e meses. Ao decompor o cubo, os engenheiros de dados podem criar uma tabela com aparência de planilha que consiste em produtos e cidades para um mês específico.
Fragmentação
Os engenheiros de dados usam a operação fragmentação para criar um subcubo menor a partir de um cubo OLAP. Eles determinam as dimensões necessárias e constroem um cubo menor a partir do hipercubo original.
Pivotagem
A operação de pivotagem envolve a rotação do cubo OLAP ao longo de uma de suas dimensões para obter uma perspectiva diferente sobre o modelo de dados multidimensional. Por exemplo, um cubo OLAP tridimensional tem as seguintes dimensões nos respectivos eixos:
- Eixo X: produto
- Eixo Y: localização
- Eixo Z: tempo
Após uma pivotagem, o cubo OLAP tem a seguinte configuração:
- Eixo X: localização
- Eixo Y: tempo
- Eixo Z: produto
Como o OLAP se compara a outros métodos de análise de dados?
Mineração de dados
A mineração de dados é uma tecnologia de análise que processa grandes volumes de dados históricos para encontrar padrões e insights. Os analistas de negócios usam ferramentas de mineração de dados para descobrir relacionamentos dentro dos dados e fazer previsões precisas de tendências futuras.
OLAP e mineração de dados
O processamento analítico online (OLAP) é uma tecnologia de análise de banco de dados que envolve consultar, extrair e estudar dados resumidos. Por outro lado, a mineração de dados envolve examinar profundamente as informações não processadas. Por exemplo, os profissionais de marketing podem usar ferramentas de mineração de dados para analisar o comportamento dos usuários com base em registros de cada visita ao site. Em seguida, podem usar um software OLAP para inspecionar esses comportamentos de vários ângulos, como duração, dispositivo, país, idioma e tipo de navegador.
OLTP
O processamento de transações online (OLTP) é uma tecnologia de dados que armazena informações de maneira rápida e confiável em um banco de dados. Os engenheiros de dados usam ferramentas OLTP para armazenar dados transacionais, como registros financeiros, assinaturas de serviços e comentários de clientes, em um banco de dados relacional. Os sistemas OLTP envolvem a criação, atualização e exclusão de registros em tabelas relacionais.
OLAP e OLTP
O OLTP é excelente para lidar e armazenar vários fluxos de transações em bancos de dados. No entanto, ele não consegue realizar consultas complexas a partir do banco de dados. Por isso, os analistas de negócios usam um sistema OLAP para analisar dados multidimensionais. Por exemplo, cientistas de dados conectam um banco de dados OLTP a um cubo OLAP baseado na nuvem para realizar consultas que exigem muitos recursos de computação em dados históricos.
Como a AWS ajuda com o OLAP?
Os bancos de dados da AWS fornecem vários bancos de dados na nuvem gerenciados para ajudar as organizações a armazenar e realizar operações de processamento analítico online (OLAP). Os analistas de dados usam bancos de dados da AWS para criar bancos de dados seguros que se alinham aos requisitos de suas organizações. As organizações migram seus dados de negócios para bancos de dados da AWS devido à acessibilidade e escalabilidade.
- O Amazon Redshift é um data warehouse na nuvem projetado especificamente para processamento analítico online.
- O Amazon Relational Database Service (Amazon RDS) é um banco de dados relacional com funcionalidade OLAP. Os engenheiros de dados usam o Amazon RDS com o Oracle OLAP para realizar consultas complexas em cubos dimensionais.
- O Amazon Aurora é um banco de dados relacional na nuvem compatível com MySQL e PostgreSQL. Ele é otimizado para executar workloads OLAP complexas.
Comece a usar o OLAP na AWS criando uma conta da AWS hoje mesmo.
Próximas etapas do processamento analítico online
Obtenha acesso instantâneo ao nível gratuito da AWS.
