Autodesk cria uma solução unificada de estudo analítico de logs na AWS para obter novos insights

autodesk

A Autodesk, um fornecedor líder de software de design e engenharia 3D, quer fazer mais do que criar e fornecer programas. Ela também quer garantir que seus milhões de usuários globais tenham a melhor experiência na execução do software. Para que isso aconteça, a Autodesk precisa monitorar e corrigir problemas de software o mais rápido possível. No entanto, fazer isso foi um desafio, porque a solução anterior de log de dados de aplicações da empresa tinha dificuldades para acompanhar o crescente volume de dados que precisavam ser analisados e armazenados.

A solução ingere 2 TB de dados todos os dias, número que deve subir para 10 TB nos próximos anos. “Tivemos alguns problemas de performance com a solução, o que dificultava a detecção rápida de problemas”, contou Tommy Li, arquiteto sênior de software da Autodesk. “Precisávamos ter a capacidade de monitorar os dados de incidentes de registro em log em tempo real para poder responder às perguntas dos clientes mais rapidamente.”

A Autodesk também foi incentivada por seu departamento financeiro a encontrar uma solução de registro em log mais econômica. “Temos uma equipe pequena e queríamos encontrar uma solução que facilitasse o gerenciamento de dados de log e reduzisse os custos”, afirma Li.

“Por fim, estamos melhorando nossos produtos de software e oferecendo um serviço melhor aos nossos clientes, devido à visibilidade em tempo real que obtemos com os dados de log.”

Tommy Li, arquiteto sênior de software, Autodesk

  • Sobre a Autodesk
  • Benefícios
  • Produtos da AWS usados
  • Sobre a Autodesk
  • Sediada em San Rafael, na Califórnia, a Autodesk é uma empresa de software que cria produtos para os setores de arquitetura, engenharia, construção, manufatura, mídia e entretenimento. O software da empresa inclui o AutoCAD e soluções 3D.

  • Benefícios
    • Localiza e corrige problemas de aplicações mais rapidamente por meio da análise de dados em tempo real
    • Melhora o tempo médio de detecção e recuperação
    • Cria uma solução de análise de registro em log dos dados corporativos usando uma pequena equipe de TI
  • Produtos da AWS usados

Criação de uma solução unificada de dados de log totalmente gerenciada na AWS

Para melhorar seus recursos de análise de log para análise de causa raiz, a Autodesk pesquisou a criação de uma solução unificada de dados de log baseada em nuvem, aproveitando a Amazon Web Services (AWS). “Já estávamos usando os serviços da AWS para várias funções internas da Autodesk e queríamos expandir esse uso desenvolvendo um sistema de registro em log unificado”, conta Li.

O Amazon Kinesis Data Firehose atua como a camada de transporte de dados para o registro de dados em log, e o Amazon Kinesis Data Analytics é usado para descobrir métricas de monitoramento em tempo real, como tempo de resposta e picos de taxa de erro. Depois que os dados de registro em log passam por esse pipeline, eles são enviados ao Amazon CloudWatch para obtenção de métricas adicionais exibidas em painéis padronizados em toda a empresa. Essas métricas contêm resumo geral do tráfego, incluindo tempo de resposta, erros e total de solicitações; métricas da API, como percentuais de tempo de resposta, número de solicitações bem-sucedidas e número de solicitações com erro; CPU, rede e discos para cada CPU; e métricas do Amazon CloudWatch para produtos da AWS.

Ao mesmo tempo, o Amazon Kinesis Firehose entrega dados de log ao Amazon OpenSearch Service (sucessor do Amazon Elasticsearch Service), um serviço gerenciado que facilita efetuar análise de logs, monitoramento de aplicações em tempo real, busca em sites e muito mais. “[O Amazon OpenSearch Service] permite a ocorrência de atividades forenses de dados e ajuda a encontrar e corrigir problemas de aplicações de modo mais rápido”, afirma Li. O Amazon Athena fornece consultas analíticas interativas mais detalhadas, e o AWS X-Ray fornece ferramentas para analisar dados de rastreamento. Além disso, a ferramenta de visualização de dados de código aberto Kibana (integrada ao Amazon OpenSearch Service) usa painéis para monitorar dados em tempo real.

Encontrar e corrigir problemas de modo mais rápido do que antes

A solução de logs unificada desenvolvida no Amazon OpenSearch Service oferece mais visibilidade dos logs de dados com mais rapidez. Segundo Li, o Amazon OpenSearch Service “permite um modo mais consistente de coletar e medir dados de log em tempo real”. “Esse serviço fornece uma análise aprofundada dos dados que permite melhores correlações entre os eventos de log, fornecendo respostas aos problemas de aplicações mais rapidamente.” Por exemplo, as equipes da Autodesk criaram painéis que identificam tendências e padrões de anomalias que podem ajudar no correlacionamento rápido com registros de log detalhados para análise forense minuciosa.

Especificamente, a Autodesk está permitindo uma análise forense aprimorada, usando dados de instrumentação para detectar e resolver erros e para melhorar o tempo médio geral de recuperação. A empresa pode detectar anomalias no uso da API, como picos da taxa de erro e do tempo de resposta. Os eventos de alerta do Amazon CloudWatch reduzem o tempo médio de detecção e o tempo para chamar as equipes de resposta a incidentes.

A empresa também procura obter insights mais profundos de seus dados analíticos para melhorar seu software e atendimento ao cliente. “Por fim, estamos melhorando nossos produtos de software e oferecendo um melhor serviço aos nossos clientes devido à visibilidade em tempo real que estamos obtendo dos dados de log”, afirma Li.

Ao trabalhar com a AWS, a Autodesk está desenvolvendo recursos de estudo analítico de log altamente escaláveis que reduzem o custo geral da solução.

Eliminação de silos de dados

Ao transferir o gerenciamento da sua arquitetura e dos clusters do Elasticsearch para a AWS, a Autodesk conseguiu criar facilmente sua solução unificada de registro em log. “Embora nossa equipe de TI tenha poucas pessoas, podemos desenvolver e manter uma poderosa solução de registro em log, permitindo que a AWS cuide da tecnologia”, afirma Li. “Como resultado, não precisamos mais colocar nossos recursos no gerenciamento da infraestrutura subjacente e podemos escalar a solução sob demanda para suportar o crescente volume de dados de registro em log.”

Agora, a Autodesk tem uma solução que fornece visualização dos dados de registro em log, como performance da aplicação e tempo de inatividade, em um painel único.

“Não temos mais silos de dados por causa de diferentes equipes que usam soluções de registro em log”, conta Li. “Todos podem acessar a mesma visualização com a solução da AWS, o que significa que todos recebem insights atualizados sobre o status geral da plataforma. E, usando os painéis do Kibana, desenvolvemos um vocabulário comum que todos podemos usar para diagnosticar problemas. No geral, como empresa, podemos adotar uma abordagem mais unificada para encontrar e corrigir problemas.”


Saiba mais

Saiba mais sobre Big Data on AWS.