A AGCO reduz os custos, aumenta a velocidade e a retenção usando os serviços do Amazon Kinesis

A AGCO Corporation (AGCO), uma fornecedora global de soluções agrícolas, fabrica equipamentos agrícolas industriais e produtos digitais de ponta projetados para revolucionar as fazendas. Seu objetivo de soluções de precisão orientadas por dados para fazendas permite aos fazendeiros gerenciar fazendas agrícolas e pecuárias sustentáveis e produtivas e maximizar o rendimento e a lucratividade. A AGCO precisava de tecnologia moderna para permitir a escala de monitoramento e armazenamento de dados necessária para fazendas inteligentes. Para isso, ela optou pela Amazon Web Services (AWS).

A empresa iniciou sua jornada na AWS com uma migração em 2015 e, desde 2019, concentra-se na modernização com microsserviços, automação e arquitetura sem servidor. O antigo sistema terceirizado de dados da AGCO não era transparente e limitava a forma como a empresa podia usar os dados. O maior problema é que ele não tinha tempo de retenção de fluxo de dados suficiente para dar conta dos longos ciclos de crescimento e investimento das fazendas. Ao substituir esse sistema por uma orquestração de serviços da AWS, incluindo três serviços do Amazon Kinesis, a empresa foi capaz de obter insights úteis e reagir rapidamente a novas informações. A AGCO aumentou consideravelmente o tempo de retenção de dados e a velocidade de recuperação de dados, além de reduzir os custos, o que permite sua estratégia que prioriza as tecnologias digitais e serve como base para recursos futuros.

Os fazendeiros estão usando cada vez mais tecnologias digitais para administrar suas fazendas de modo mais sustentável, e a AGCO está desenvolvendo produtos para ajudá-los a gerenciar as operações de maneira mais eficiente e lucrativa. “Construímos fazendas onde a computação de borda comanda a ventilação, a iluminação e o aquecimento. Tudo está conectado ao controlador do prédio e sendo enviado à nuvem”, explica Paul Thornhill, gerente de desenvolvimento de produtos da AGCO. “A nuvem coleta e analisa os dados e envia os resultados de volta ao prédio, que ajusta a ventilação, a iluminação e o aquecimento, conforme necessário. Ela informa tudo ao fazendeiro.” Ao automatizar esse processo, os fazendeiros conseguem não apenas economizar tempo, mas também garantir que a temperatura, a umidade e os outros parâmetros sejam sempre definidos nos níveis ideais para estimular o crescimento sem desperdiçar dinheiro com eletricidade. 

Em seu sistema legado, a AGCO não conseguia permitir que os fazendeiros comparassem os ciclos de crescimento. Ele tinha um limite de retenção de 750 milhões de registros, o que era suficiente apenas para um período de cerca de 6 meses (quase insuficiente até mesmo para um ciclo de 185 dias de produção). Devido aos 180 mil registros que cada cliente armazena por dia e ao desafio da retenção de dados, a AGCO estava gastando mais dinheiro do que ganhando para integrar novos clientes. 

A AGCO precisava de uma tecnologia que coletasse todos os dados de seus equipamentos de fazendas inteligentes e depois retivesse e analisasse os dados para fornecer insights e diagnósticos de máquina em tempo real. A maioria das opções para atingir esse objetivo é cara e demorada, mas os serviços do Amazon Kinesis podem cumprir a missão oferecendo serviços gerenciados e escalabilidade automática, funcionando perfeitamente na infraestrutura AWS existente da AGCO.

Em janeiro de 2020, a AGCO adotou um data pipeline sem servidor criado usando três serviços do Amazon Kinesis. A ingestão e o armazenamento de dados de equipamentos para fazendas da AGCO ficam a cargo do Amazon Kinesis Data Streams (Amazon KDS), um serviço escalável e durável de fluxo de dados em tempo real que captura continuamente gigabytes de dados por segundo de centenas de milhares de fontes. O Amazon KDS pode enviar os dados dos equipamentos para o Amazon Simple Storage Service (Amazon S3), um serviço de armazenamento de objetos. A captura de dados de equipamentos também é feita pelo Amazon Data Firehose, uma forma simples de carregar dados de transmissão de modo confiável em serviços de análise, data lakes e armazenamentos de dados, que a AGCO adapta para casos de uso específicos de clientes. Um Amazon Data Firehose downstream disponibiliza dados para uso com outros produtos da AGCO. Com essas ferramentas, o sistema da AGCO processa 1,2 mil dados por minuto e, quando testado, conseguiu escalar automaticamente para 10 mil dados por minuto. 

Depois que os dados são ingeridos, eles podem ser armazenados ou ir diretamente para o Amazon Managed Service for Apache Flink, que transforma e analisa dados de transmissão em tempo real usando o Apache Flink, um framework de análise de código aberto. O uso desse serviço resulta em informações valiosas para os fazendeiros. “Queremos oferecer aos agricultores conhecimento orientado por dados sobre como a fazenda funciona”, afirmou Thornhill. “Também queremos oferecer a eles insights para melhorar o processo de produção e mais feedback de diagnóstico em tempo real sobre cada máquina e como ajustá-las para corresponder às práticas recomendadas e aos benchmarks.” 

Com os serviços do Amazon Kinesis, a AGCO retém 1,5 bilhão de registros a um custo menor, resultando em 78% de economia. Ele é capaz de carregar consistentemente esses dados em uma tela em 600 ms, um processo que anteriormente levava de 8 a 30 segundos. A AGCO também obteve mais armazenamento de dados a um custo bem menor usando o Amazon S3 

Outra economia de custos para a AGCO foi a capacidade de encerrar seus contratos com terceiros. “Embora agora tenhamos mais mão de obra para processar os dados, a proporção é melhor do que quando estávamos pagando terceiros para fazer isso”, afirmou Thornhill. “Os serviços do Amazon Kinesis fornecem os componentes básicos de que precisamos a um custo menor. Temos um retorno de 1:3 ou 1:4, porque eles cobrem 60% ou mais do que estávamos pagando antes.” 

A AGCO junta os serviços do Amazon Kinesis com a infraestrutura existente para reduzir sua complexidade e gerenciar o serviço subjacente. Como resultado, a AGCO precisa apenas de uma pessoa para gerenciar a infraestrutura, em vez de três a cinco. “Mesmo com a quantidade de dados que estamos processando atualmente e a complexidade da infraestrutura, o pipeline funcionou quase sem usar recursos humanos o ano todo”, afirmou Thornhill.

A AGCO planeja usar a AWS para criar comunicação de borda verdadeira por meio de um núcleo de Internet das Coisas em vez de um gateway feito à mão. O uso de machine learning para analisar dados climáticos, por exemplo, permitiria que as fazendas ajustassem a temperatura e a umidade em um celeiro minutos antes de uma mudança climática, em vez de 2 horas depois, como de costume. Com potencial para ajustar um ambiente sem envolver o fazendeiro, esse sistema levaria ao aumento da produção. 

Para melhorar ainda mais a saúde dos animais, a AGCO planeja desenvolver uma solução para monitoramento de porcas em tempo real. Isso permitirá que os fazendeiros façam ajustes rápidos e baseados em dados nos ambientes das porcas para melhorar seu bem-estar e aumentar a produtividade e a lucratividade. 

Usando a AWS, a AGCO melhorou o serviço para seus clientes agrícolas reduzindo custos e aumentando a retenção de dados e a velocidade de recuperação. “Os dados coletados e entregues aos nossos agricultores usando as ferramentas da AWS estão gerando melhores decisões e saúde animal”, afirmou Thornhill. A AGCO planeja continuar usando a AWS para se adaptar ao mundo em constante mudança da agricultura.