Desenvolvimento de projeto de monitoramento com machine learning para Synnex Westcon

Por George Randolph, CEO da IPsense

Fundada em 1980, a Synnex Corporation, que inclui o grupo Westcon, fornece logística para o setor de distribuição de soluções de TI no mercado B2B. Com sede em na Califórnia, EUA, a empresa tem uma operação global e foi classificada em 130º lugar pela ranking Fortune 200 do ano de 2020.

Neste post, vou contar como as soluções da IPsense e dos serviços da AWS conseguiram ajudar o projeto da Synnex Westcon.

O DESAFIO

De forma a poder melhor atender seus clientes e aproveitar a enorme quantidade de dados disponíveis como vantagem estratégica, a Synnex decidiu investir em um data lake e usar esses dados para gerar previsões de entrega dos pedidos através da tecnologia de machine learning (ML).

Outro desafio seria a integração dos sistemas legados com a nova estrutura de forma transparente e sem interrupções no ambiente.

Um requisito importante do projeto foi que a ingestão e transformação de dados dos diversos sistemas envolvidos que vão sendo continuamente alimentados com dados pelos fornecedores, transportadoras, agentes aduaneiros e importadores locais, e que fossem totalmente automatizadas e pudessem prover resultados quase em tempo real.

Além disso, a preocupação com a segurança de dados sensíveis, assim como toda a alarmística e monitoração foram também partes fundamentais dos desafios do projeto.

Devido ao volume de dados e a complexidade de toda a logística necessária para uma operação de distribuição desta magnitude, em especial na América Latina, a Synnex precisava de um sistema de acompanhamento e previsão de entrega que resultasse em mais precisão e velocidade para o acompanhamento em tempo real dos pedidos.

A SOLUÇÃO

Com os dados e informações coletadas, a IPsense desenhou uma solução de data lake e ML na nuvem com base em arquitetura de referência da AWS, fornecendo um framework de ML com total integração ao data lake de maneira escalável e com custo otimizado.

Foram utilizados diversos serviços para a realização das tarefas de ingestão, processamento, ETL, visualização, segurança e monitoração dos dados. Entre eles o projeto utiliza as seguintes tecnologias da AWS:

• Processamento / ETL: AWS Glue, Amazon Athena e Amazon SageMaker;
• Orquestração do pipeline: Amazon EventBridge, AWS Step Functions e AWS Lambda;
• Segurança e Monitoração: AWS Lake Formation e Amazon CloudWatch;
• Visualização e Análise: Amazon QuickSight, Amazon Athena e Amazon API Gateway.

O RESULTADO

Utilizando os recursos da AWS, a IPsense proporcionou um data lake totalmente baseado na nuvem, que passou a servir de base para diversas aplicações e insights gerando um benefício para a operação da Synnex.

A utilização dos serviços da AWS resultou em um melhor custo benefício, onde não há um investimento inicial e o custo se resume apenas ao que foi consumido.

A solução proposta pela IPsense processa diariamente informações envolvendo mais de 30.000 produtos, 20.000 revendas e 500 fabricantes de equipamentos de informática. Atualmente todo esse processo é feito em aproximadamente uma hora. Além disso, proporciona uma escalabilidade totalmente automatizada.

Arquitetura da solução

As previsões que antes eram baseadas em métodos tradicionais e complexos agora são feitas através de ML com resultados mais precisos e com um custo bem inferior.

A solução permitiu que a Synnex possa acompanhar de forma contínua cada item de cada pedido de seus fornecedores e clientes, proporcionando agilidade de informação da sua cadeia de suprimentos.

Através do Amazon QuickSight, os analistas de negócios podem ter informação em tempo real de toda a cadeia logística: desde a colocação do pedido no fornecedor até a entrega do cliente final.

Outro benefício alcançado foi permitir aos próprios clientes o acompanhamento de seus pedidos de forma online, contribuindo para a satisfação dos clientes finais que conseguem ter uma previsão do recebimento dos seus pedidos.

A IPsense é um Parceiro de Consultoria AWS nível Advanced e tem mais de 10 anos de experiência nativa em computação em nuvem. Nossa missão é entregar o real valor da nuvem de forma a ajudar nossos clientes a obter o estado da arte em cloud computing. Nosso foco é na área de análise de dados, machine learning, FinOps, infraestrutura na nuvem e managed services. Além de ter uma Competência AWS em Oracle, também participamos dos programas da APN de Managed Service Provider, AWS Public Sector Partner e AWS Solution Provider Program, entre outros.