Monetização de dados e otimização da experiência do cliente usando ativos de dados de telecomunicações – Parte 1

Por Vikas Omer, Arquiteto de Soluções Especialista em Analytics AWS

O panorama da indústria de telecomunicações está mudando rapidamente. Para provedores de serviços de telecomunicações (CSPs), a receita proveniente dos principais serviços de voz e dados continua diminuindo devido à pressão regulatória e aos OTTs emergentes que oferecem uma alternativa atraente. Apesar da crescente demanda dos clientes por maior largura de banda, velocidade e eficiência, os CSPs estão descobrindo que o ROI da implementação de novas tecnologias de acesso, como 5G, não é o substancial.

Para superar o risco de ser relegado apenas as vias ou tubos de transporte, os CSPs hoje procuram diversificar, adotando modelos de negócios alternativos para gerar novas fluxos de receita.

Recentemente, a adoção de iniciativas de monetização de dados e experiência do cliente (CX) tem sido um tema-chave em todos os setores. Embora muitos CSPs estejam liderando essa transformação usando novas tecnologias para melhorar a experiência do cliente (CX) e aumentar a lucratividade, muitos ainda precisam embarcar nessa jornada desafiadora, mas recompensadora.

Construir e implementar uma estratégia de monetização de dados e gerenciamento do CX

A monetização de dados costuma ser mal interpretada como ganhar dinheiro com a venda de dados, mas o que realmente significa é impulsionar a receita aumentando a receita ou os resultados financeiros. Pode ser tangível ou intangível, interno ou externo, ou fazendo uso de ativos de dados.

De acordo com o Gartner, a maioria dos líderes de dados e analytics está procurando aumentar os investimentos em inteligência de negócios (BI) e analytics (veja os resultados do estudo a seguir).

O gráfico anterior é do “The 2019 CIO Agenda: Securing a New Foundation for Digital Business”, publicado em 15 de outubro de 2018.

Embora as oportunidades de monetização externas sejam limitadas devido a regulamentações estritas, existe uma infinidade de oportunidades para os CSPs monetizarem dados tanto internamente (regulamentado, mas bem menos em comparação com o externo) e externamente por meio de um mercado (altamente regulamentado). Se os CSPs puderem mudar sua mentalidade da venda de dados para se concentrar no uso de insights de dados para monetização e melhorar o CX, podem identificar um número significativo de casos de uso para obter um impacto positivo imediato.

Explorar e utilizar insights sobre o comportamento do cliente funciona como um canivete suíço para as empresas. Você pode usar esses insights para conduzir CX, hiperpersonalizar e localizar, microssegmentar, reter assinantes, criar programas de fidelidade e recompensas, planejar e otimizar a rede, monetizar dados internos e externos e muito mais. A seguir estão alguns casos de uso que podem ser direcionados usando estratégias de monetização de dados e CX:

• Segmentação / microssegmentação (venda cruzada, venda incrementada, publicidade direcionada, localizador de mercado aprimorado); por exemplo:
  • Identificar alvos para consumir produtos para bebês ou aumentar a venda de um canal de TV infantil
  • Identificar mulheres na faixa etária de 18 a 35 anos para segmentar produtos ou equipamentos de beleza de alta qualidade

Você pode construir centenas de segmentações similares:

• Programas personalizados de fidelidade e recompensa (incentive os clientes com o que eles gostam). Por exemplo, ingressos de cinema ou descontos para um amante do cinema ou cupons e ofertas de comida para um amante de  comida.
• Otimização de rede orientada a CX (alocar mais recursos para streaming de hotspots com clientes de alto valor).
• Identificar potenciais parceiros para promoções conjuntas. Por exemplo, agrupar ofertas de dispositivos com uma assinatura de aplicativo de música.
• Hiperpersonalização. Por exemplo, recomendações personalizadas para aplicativos e sites no portal.
• Próxima melhor ação e próxima melhor oferta. Por exemplo, agrupamento inteligente e embalagem de ofertas.

Desafios para impulsionar CX e monetização de dados

Nesta era digital, os CSPs consideram a análise de dados um pilar estratégico em sua busca para evoluir para uma verdadeira organização orientada por dados. Embora muitos CSPs estejam aproveitando o poder dos dados para conduzir e melhorar o CX, existem lacunas e desafios tecnológicos na definição do baseline e na formulação de estratégias de monetização de dados internos e externos. Alguns desses desafios incluem:

• Investimentos em tecnologia não sobrepostos para CX e monetização de dados devido a iniciativas de negócios e TI desalinhadas
• Alto requisito DE CAPEX para processar grandes volumes de dados
• Dificuldade em descobrir insights ocultos devido a iniciativas de dados em silos
• Dificuldade em combinar vários conjuntos de dados devido à falta de padronização
• Falta de ferramentas e técnicas fáceis para descobrir, ingerir, processar, correlacionar, analisar e consumir dados
• Incapacidade de experimentar e inovar com agilidade e baixo custo

Nesta série de duas partes, demonstro uma solução funcional através de um modelo com AWS CloudFormation sobre como um CSP pode usar ativos de dados existentes para gerar novos fluxos de receita, melhorar e personalizar o CX usando serviços AWS. Também incluo informações importantes sobre padronização de dados, baseline de um modelo de dados analíticos para combinar diferentes conjuntos de dados no data warehouse, análises de autoatendimento, pesquisa de metadados e estrutura de dicionário de mídia.

Neste blogpost, você implementará o stack (pilha) usando um modelo CloudFormation através de etapas simples para transformar, enriquecer e reunir vários conjuntos de dados para que possam ser correlacionados e consultados.

Na parte 2, você aprenderá como usuários de negócios avançados podem consultar dados enriquecidos e obter insights significativos usando Amazon Redshift e Amazon Redshift Spectrum ou Amazon Athena, habilitar análises de autoatendimento para usuários de negócios e publicar painéis prontos por meio do Amazon QuickSight.

Visão Geral da Solução

O principal ingrediente desta a solução são os dados de sondagem do Packet Switch (PS) incorporados a um mecanismo de Deep Packet Inspection (DPI), que pode revelar muitas informações sobre os interesses do usuário e seu comportamento de uso. Esses dados são transformados e enriquecidos com mídia DPI e dicionários de dispositivos, junto com outras transformações para identificar insights, perfís e micro-segmentação de assinantes. Os dados enriquecidos são disponibilizados junto com outros atributos dimensionais transformados (CRM, assinaturas, mídia, operadora, dispositivo e gerenciamento de configuração de rede) para microsegmentar quantas vezes for necessário.

Por exemplo, as visualizações abaixo do QuickSight descrevem um caso de uso para identificar amantes da música com idades entre 18 e 55 anos com dispositivos Apple. Você também pode gerar microssegmentos capturando os X principais assinantes por consumo ou adicionando KPIs como recência e frequência.

O diagrama a seguir ilustra o fluxo de trabalho da solução:

Para este blogpost, o AWS CloudFormation irá configurar a estrutura de pastas necessária no Amazon Simple Storage Service (Amazon S3) e fornecer dados de amostra e arquivo de dicionário. A maioria dos dados incluídos como parte do modelo CloudFormation são fictícios e são os seguintes:

• CRM
• Assinatura e mapeamento de assinatura
• Gerenciamento de configuração de rede 3G e 4G
• Operador PLMN
• Dados de sonda PS
• DPI e dicionário de dispositivo

As descrições de todos os conjuntos de dados de entrada (datasets)  e atributos estão disponíveis através das tabelas do AWS Glue Data Catalog e como parte dos metadados do Amazon Redshift e para todas as suas tabelas.

O fluxo de trabalho para este blogpost inclui as seguintes etapas:

1. Catalogar todos os arquivos no Catálogo de dados do AWS Glue usando os seguintes data crawlers do AWS Glue:

a. DPI data crawler (para rastrear dados de DPI da sonda PS de entrada)

b. Dimension data crawler (para mapear todos os dados de dimensão)

2. Atualizar as descrições dos atributos no Catálogo de Dados (esta etapa é opcional).

3. Criar o esquema, tabelas, procedimentos e metadados do Amazon Redshift usando um AWS Lambda

4. Processar cada arquivo de fonte de dados usando jobs separados do AWS Glue Spark. Essas tarefas enriquecem, transformam e aplicam regras de filtragem de negócios antes de ingerir dados em um cluster do Amazon Redshift.

5. Acionar os procedimentos de agregação horária e diária do Amazon Redshift usando funções Lambda para agregar dados da tabela bruta em tabelas por hora e por dia.

A Parte 2 inclui as seguintes etapas:

1. Catalogar os dados processados brutos, agregados e de dimensão no Catálogo de Dados usando o crawler de dados processados do DPI.
2. Consultar dados interativamente diretamente do Amazon S3 usando o Amazon Athena.
3. Habilitar análises de autoatendimento usando QuickSight para preparar e publicar insights com base em dados armazenados no cluster Amazon Redshift.

O fluxo de trabalho pode mudar dependendo da complexidade do ambiente e do seu caso de uso, mas a ideia fundamental permanece a mesma. Por exemplo, seu caso de uso poderia ser o processamento de dados DPI da sonda PS  em tempo real, em vez de modo batch (em lote), mantendo dados quentes no Amazon Redshift, armazenando dados frios e históricos no Amazon S3 ou arquivando dados no Amazon S3 Glacier para conformidade regulatória. O Amazon S3 oferece várias classes de armazenamento projetadas para diferentes casos de uso. Você pode mover os dados entre essas diferentes classes com base nas propriedades do ciclo de vida do Amazon S3. Para obter mais informações, consulte Amazon S3 Storage Classes.

Pré-requisitos

Para este passo a passo, você deve ter os seguintes pré-requisitos:

• Uma conta na AWS
• Política de acesso de Administrator concedida na sua conta através do AWS Identity and Access Management (IAM)
• Os seguintes serviços AWS:
  • CloudFormation
  • Amazon S3
  • AWS Glue
  • Amazon Redshift
  • Lambda
  • Athena
  • QuickSight
  • Amazon CloudWatch
  • Amazon Secrets Manager
• Para obter mais informações sobre as regiões da AWS e onde os serviços da AWS estão disponíveis, consulte Tabela de regiões.

Criando seus recursos com AWS CloudFormation

Para começar, crie seus recursos com a seguinte pilha CloudFormation.

1. Clique no botão Launch Stack abaixo:
2. Deixe os parâmetros em seus padrões, com as seguintes exceções:

a. Insira os parâmetros RedshiftPassword e S3BucketNameParameter, que não são preenchidos por padrão.

b. Defina um nome de bucket do Amazon S3 globalmente exclusivo, portanto, insira um nome de bucket exclusivo para o S3BucketNameParameter.

A captura de tela a seguir mostra os parâmetros para nosso caso de uso.

3. Escolha Next.
4. Selecione I acknowledge that AWS CloudFormation might create IAM resources with custom names.
5. Escolha Create stack.

Demora aproximadamente 10 minutos para a pilha ser implementada. Para obter mais informações sobre os principais recursos implantados por esta pilha, consulte Monetização de dados e Otimização da experiência do cliente (CX) usando ativos de dados telco: detalhes da pilha do Amazon CloudFormation.  Você pode visualizar todos os recursos no console do AWS CloudFormation. Para obter instruções, consulte Visualização de dados e recursos do stack do AWS CloudFormation no AWS Management Console.

O stack CloudFormation que fornecemos neste artigo serve apenas como um ponto inicial e não é uma solução pronta para produção.

Construindo um Catálogo de Dados usando AWS Glue

Você começa descobrindo dados de amostra armazenados no Amazon S3 por meio de um crawler AWS Glue. Para obter mais informações, consulte Preenchendo o catálogo de dados do AWS Glue . Para catalogar os dados, conclua as seguintes etapas:

1. No console AWS Glue, no painel de navegação, escolha Crawlers
2. Selecione DPIRawDataCrawler e escolha Run crawler.
3. Selecione DimensionDataCrawler e escolha Run crawler.

4. Aguarde até que os crawlers mostrem o status Parando.

As tabelas adicionadas aos crawlers DimensionDataCrawlere e DPIRawDataCrawler devem mostrar 9 e 1, respectivamente.

5. No painel de navegação, escolha
6. Verifique se as 10 tabelas a seguir foram criadas no banco de dados cemdm:

   • d_crm_demographics

   • d_device

   • d_dpi_dictionary

   • d_network_cm_3g

   • d_network_cm_4g

   • d_operator_plmn

   • d_tac

   • d_tariff_plan

   • d_tariff_plan_desc

   • raw_dpi_incoming

Atualizando as descrições de atributos no Catálogo de Dados

O AWS Glue Data Catalog tem um campo de comentário para armazenar os metadados em cada tabela no banco de dados AWS Glue. Qualquer pessoa que tenha acesso a esse banco de dados pode entender facilmente os atributos provenientes de diferentes fontes de dados por meio de metadados fornecidos no campo de comentário. A pilha CloudFormation inclui um arquivo CSV que contém uma descrição de todos os atributos dos arquivos de origem. Este arquivo é usado para atualizar o campo de comentário para todas as tabelas do Catálogo de Dados que esta pilha implementa. Esta etapa não é obrigatória para prosseguir com o fluxo de trabalho. No entanto, se você deseja atualizar o campo de comentário em cada tabela, conclua as seguintes etapas:

1. No console do Lambda, no painel de navegação, escolha Functions .
2. Escolha o GlueCatalogUpdate
3. Configure um evento de teste escolhendo Configure test events.

4. Para o Event name , digite Teste.

5. Escolha Create .
6. Escolha o Test .

Você deve ver uma mensagem avisando que o teste foi bem-sucedido, o que significa que a descrição do atributo do Catálogo de Dados está completa.

Os atributos da tabela no banco de dados do Catálogo de Dados agora devem ter descrições na coluna Comentário . Por exemplo, a imagem a seguir mostra a d_operator_plmn tabela.

Criação de esquema, tabelas, procedimentos e metadados do Amazon Redshift

Para criar esquema, tabelas, procedimentos e metadados no Amazon Redshift, conclua as seguintes etapas:

1. No console do Lambda, no painel de navegação, escolha Functions .
2. Escolha RedshiftDDLCCreation
3. Escolha Configure test events.

4. Para o Event name , digite Teste.

5. Escolha Create .
6. Escolha o Test .

Você deve ver uma mensagem avisando que o teste foi bem-sucedido, o que significa que a geração de esquema, tabela, procedimentos e metadados foi concluída com sucesso.

Execução de trabalhos AWS Glue ETL

O AWS Glue fornece recursos de processamento sem servidor, escalonável e distribuído para transformar e enriquecer seus conjuntos de dados. Para executar trabalhos de extração, transformação e carregamento (ETL) do AWS Glue, conclua as seguintes etapas:

1. No console AWS Glue, no painel de navegação, escolha Jobs .
2. Selecione os seguintes trabalhos (um de cada vez) e escolha Run Job partir da Action

   • d_customer_demographics

   • d_device

   • d_dpi_dictionary

   • d_location

   • d_operator_plmn

   • d_tac

   • d_tariff_plan

   • d_tariff_plan_desc

   • f_dpi_enrichment

Você pode executar todos esses trabalhos em paralelo.

Todas as dimensões dos trabalhos (jobs) de dados devem terminar com êxito em 3 minutos e o trabalho de enriquecimento de dados deve de fato terminar em 5 minutos.

3. Verifique se os trabalhos foram concluídos selecionando cada trabalho e verificando o Run status no guia

Agregar dados de DPI no Amazon Redshift por hora e por dia

Para agregar dados de amostra por hora e por dia no Amazon Redshift através de funções Lambda, conclua as seguintes etapas:

1. No console do Lambda, no painel de navegação, escolha Functions .
2. Escolha a função RedshiftDPIHourlyAgg .
3. Escolha Configure test events.

4. Para o nome do evento , digite Test.

5. Escolha Create .
6. Escolha o Test .

Você deve ver uma mensagem avisando que o teste foi bem-sucedido, o que significa que a agregação por hora foi concluída com sucesso.

7. No painel de navegação, escolha Functions .
8. Escolha a função RedshiftDPIDailyAgg .
9. Escolha Configure test events.
10. Para o nome do evento , digite
11. Escolha Create .
12. Escolha o Test .

Você deve ver uma mensagem avisando que o teste foi bem-sucedido, o que significa que a agregação diária foi concluída.

As funções Lambda horárias e diárias são codificadas com a data e hora para agregar os dados da amostra. Para torná-los genéricos, existem algumas linhas de código comentadas que precisam ser descomentadas e algumas linhas a serem comentadas. Ambas as funções também são equipadas com parâmetros offset para decidir quanto tempo você deseja fazer as agregações. No entanto, isso não é necessário para este passo a passo.

Você pode schedule these functions with Cloudwatch . No entanto, isso não é necessário para este passo a passo.

Até agora, concluímos os seguintes passos:

1. Implementação da pilha CloudFormation.
2. Catálogo de amostra de dados brutos, executando os AWS Glue Crawlers DimensionDataCrawler e DPIRawDataCrawler.
3. Atualização das descrições de atributos no AWS Glue Data Catalog executando função LambdaGlueCatalogUpdate
4. Criação do esquema, tabelas, procedimentos armazenados e metadados do Amazon Redshift por meio da função Lambda RedshiftDDLCreation
5. Execução de todos os trabalhos de ETL do AWS Glue para transformar dados brutos e carregá-los em suas respectivas tabelas do Amazon Redshift.
6. Agregação de dados diários e por hora a partir de dados brutos enriquecidos em tabelas do Amazon Redshift por hora e por dia, executando as funções Lambda  RedshiftDPIHourlyAgg e RedshiftDPIDailyAgg.

Limpando

Se você não planeja prosseguir para a parte 2 desta série e deseja evitar incorrer em cobranças futuras, exclua os recursos criados excluindo a pilha do CloudFormation.

Conclusão

Neste post, demonstrei como você pode facilmente transformar, enriquecer e reunir vários conjuntos de dados de telco em um cluster de data warehouse do Amazon Redshift. Você pode correlacionar esses conjuntos de dados para produzir percepções multidimensionais de vários ângulos, como assinante, rede, dispositivo, assinatura, roaming e muito mais.

Na parte 2 desta série , demonstro como você pode permitir que analistas de dados, cientistas e usuários de negócios consultem dados do Amazon Redshift ou Amazon S3 diretamente.

Como sempre, a AWS agradece feedback. Este é um amplo espaço a ser explorado, então entre em contato conosco se quiser se aprofundar na construção desta solução e outras mais na AWS. Envie comentários ou perguntas na seção de comentários.

Este artigo foi traduzido do Blog da AWS em Inglês.

Sobre o autor

Vikas Omer é Arquiteto de Soluções Especialista em Analytics da Amazon Web Services. Vikas tem uma sólida experiência em análise, gestão de experiência do cliente (CEM) e monetização de dados, com mais de 11 anos de experiência na indústria de telecomunicações globalmente. Com seis certificações da AWS, incluindo Analytics Specialty, ele é um conselheiro confiável de analytics para clientes e parceiros da AWS. Ele adora viajar, conhecer clientes e ajudá-los a ter sucesso no que fazem.

Tradutor

Sílvio Nunes é Arquiteto de Soluções na AWS.

Use seus dados para impulsionar o crescimento do negócio. Inove continuamente usando o data flywheel.