DataFarming processa dados de aproximadamente 14 milhões de hectares usando o Amazon ECS

A DataFarming, uma empresa australiana de agricultura de precisão, desejava aprimorar sua capacidade de fornecer dados de alta qualidade de imagens de satélite aos agricultores de forma rápida e eficaz para ajudá-los a otimizar o crescimento das plantações. A empresa desejava que os agricultores pudessem visualizar os dados em dispositivos móveis no campo, onde é comum que a largura de banda seja muito limitada. Para atingir esses objetivos sem aumentar os custos para a empresa ou para seus clientes, a DataFarming recorreu às soluções da Amazon Web Services (AWS). Ao usar o Amazon Elastic Container Service (Amazon ECS), um serviço de orquestração de contêineres totalmente gerenciado que simplifica a implantação, o gerenciamento e a escalabilidade de aplicações conteinerizadas, e outros serviços da AWS, a DataFarming alcançou um aumento de 900% no uso de imagens de satélite no mercado australiano de grãos em pouco mais de quatro anos.

Fundada em 2017 e sediada em Queensland, na Austrália, a DataFarming fornece soluções digitais que capacitam os agricultores a reagirem às alterações nas plantações e no solo para obterem uma agricultura mais produtiva. Tendo decidido desde o princípio que os serviços em nuvem seriam superiores aos softwares e aos bancos de dados herdados para suas soluções digitais, a DataFarming sempre usou os serviços da AWS. “A AWS nos capacita a implementar soluções com rapidez, reagir às alterações nos requisitos das pessoas que estão no campo e responder a elas rapidamente”, diz Paul Grambauer, senior software engineer da DataFarming.

As soluções digitais da empresa usam imagens de satélite para ajudar os agricultores a lidar com desafios, como a incidência de pragas e doenças e o aumento dos custos de fertilizantes. Além disso, essas imagens ajudam os agricultores a obter informações sobre fatores, como o teor de umidade e a maturidade da plantação, a fim de determinar o momento ideal para a colheita. Todas essas variáveis ​​afetam a lucratividade e a produtividade dos agricultores. Os fundadores da DataFarming trouxeram os primeiros satélites de sensoriamento remoto de alta resolução para a indústria agrícola australiana em 2003. Ao fazer isso, a empresa desempenhou um papel fundamental no acesso crescente do setor agrícola a imagens de satélite com custos mais baixos, melhor qualidade e maior frequência.

Originalmente, a DataFarming processava dados de imagens de satélite de alta resolução de forma programada, com limitações no número de horas que poderia processar em um dia. Buscando aprimorar a agilidade e fornecer dados aos agricultores com mais rapidez, em 2021 a empresa decidiu mudar para o processamento orientado a eventos. Ao mesmo tempo, a empresa desejava fornecer os dados no menor pacote possível para facilitar o acesso dos agricultores, mesmo em áreas com largura de banda limitada. Com o longo histórico de uso da AWS, a DataFarming procurou as soluções da AWS para atingir seus objetivos mais uma vez.

A DataFarming começou a desenvolver provas de conceito em uma configuração conteinerizada no AWS Lambda, um serviço de computação com tecnologia sem servidor e orientado a eventos que possibilita aos usuários executar código para praticamente qualquer tipo de aplicação ou serviço de back-end sem a necessidade de provisionar ou gerenciar servidores. Porém, descobriu que o Amazon ECS se adequava melhor às suas necessidades específicas. Como a empresa já usava contêineres na AWS, a alteração para o Amazon ECS ocorreu sem problemas. “O ambiente para a execução de contêineres na AWS simplifica muito a escolha de uma solução”, diz Grambauer. “O Amazon ECS funciona melhor para nós, mas o AWS Lambda faz algo semelhante, e a capacidade de escolher o serviço adequado para nossas necessidades é minha parte favorita do desenvolvimento de uma solução usando a AWS.”

A empresa passou a usar o Amazon ECS como seu principal ambiente de computação e usa o serviço para fornecer funções para suas APIs de back-end com a finalidade de oferecer suporte à interface do usuário para as soluções digitais. Para executar processos para esse ambiente conteinerizado, a DataFarming usa as instâncias spot do Amazon Elastic Compute Cloud (Amazon EC2), que as empresas podem usar para diversas aplicações sem estado, tolerantes a falhas ou flexíveis, como big data, workloads conteinerizadas e workloads de teste e de desenvolvimento. “As instâncias spot do Amazon EC2 forneceram diversos resultados para nós em relação à otimização de custos. Podemos aumentar a escala verticalmente conforme um fluxo de pedidos chega e ter instâncias para realizar os cálculos”, afirma Grambauer. “Estamos experienciando uma economia de 70% ao usar as instâncias spot do Amazon EC2 em comparação com os preços sob demanda do Amazon EC2.”

Ao usar instâncias spot para escalar de maneira econômica, a DataFarming também otimiza a escalabilidade no armazenamento de dados. A empresa armazena a maioria de seus dados baseados em imagem no Amazon Simple Storage Service (Amazon S3), um serviço de armazenamento de objetos que oferece escalabilidade, disponibilidade de dados, segurança e performance líderes do setor. “Se capturarmos dados em uma propriedade rual, teremos a capacidade de armazenar esses dados para o usuário para sempre, a fim de que seja possível analisar vários anos anteriores e comparar a performance”, diz Tim Neale, managing director da DataFarming. “É importante que os usuários tenham acesso a esses dados, por isso eles devem ser armazenados de forma eficaz, e é isso que o Amazon S3 faz por nós.” A DataFarming usa o Amazon S3 em conjunto com o Amazon ElastiCache, um serviço de armazenamento em cache na memória totalmente gerenciado que oferece suporte a casos de uso flexíveis e em tempo real. Ela usa o Amazon ElastiCache como um armazenamento de dados temporário para aprimorar o fornecimento e otimizar os dados de maneira compatível com dispositivos móveis e com baixa largura de banda para fornecimento rápido e eficiente aos agricultores.

Usando os serviços da AWS, a DataFarming desenvolveu uma solução que inclui 28 mil propriedades rurais e processa dados de aproximadamente 14 milhões de hectares de terras agrícolas. “Alcançamos 40% do mercado australiano de grãos em quatro anos e, antes disso, apenas 4% dos agricultores usavam imagens de satélite”, diz Neale. “Essa é a maior aceitação da tecnologia que eu já vi em minha vida.” O progresso da empresa é impulsionado por soluções escaláveis ​​que fornecem uma experiência de usuário positiva, às quais a DataFarming tem acesso ao usar os serviços da AWS.

Daqui para a frente, a DataFarming tem planos de continuar expandindo sua base de usuários internacionalmente. Ao buscar aumentar o uso de imagens de satélite pelos agricultores em todo o mundo, atualmente a empresa está visando países com grande número de agricultores na Europa Ocidental, na África, na América do Norte e do Sul e no Sudeste Asiático.

Além disso, como os agricultores estão enfrentando uma variabilidade climática crescente, a DataFarming está trabalhando em soluções de machine learning para prever possíveis problemas relacionados ao clima e aprimorar a detecção precoce de estresse, pragas e doenças nas plantações. “A detecção precoce precisará de machine learning”, afirma Neale. “Trabalhar com informações espaciais adiciona desafios que o machine learning normal não será capaz de enfrentar. Estamos entusiasmados com o futuro e ansiosos para explorar mais ferramentas de machine learning que a AWS tem a oferecer.”