AMAGGI reúne mais de 8 milhões de imagens de satélite em Data Lake AWS

Com a decisão, o projeto de criação do Data Lake foi entregue à Nuvem Tecnologia, parceiro especializado em inovação e pioneiro no uso de ciência de dados para o Agronegócio e membro do AWS Partner Network (APN), com duas demandas bem claras: construir toda a infraestrutura necessária para os dados da empresa; e desenvolver iniciativas de ciência de dados a fim de gerar conhecimento, visando a criação de soluções que possam auxiliar a empresa em seus processos existentes ou até mesmo trazer novos modelos de negócio que possam ser incorporados.

Para isso, o fornecedor definiu a AWS como o provedor da nuvem que abrigaria o novo Data Lake. A escolha foi baseada na gama de serviços e soluções oferecidos e na segurança e robustez do ambiente, capaz de suportar as iniciativas de dados. O projeto foi então iniciado com a realização de uma série de provas de conceito e coleta de dados para a sustentação de benchmarks.

A estratégia utilizada para o desenvolvimento do Data Lake foi, primeiro, pensar no insight necessário e, depois, definir a infraestrutura exigida para isso. Essa abordagem permitiu a criação de uma estrutura dinâmica e escalável, desenvolvida para que todas as áreas de negócio da AMAGGI possam utilizar o Data Lake em seus processos de tomada de decisão.

A infraestrutura começa pelo Amazon Simple Storage Service (Amazon S3), utilizado como repositório de dados. Os processos de ingestão e transformação dos dados são realizados por containers contendo diversas ferramentas de código aberto, como Apache NiFi, Apache Airflow e Apache Spark. Clusters do Amazon Elastic Kubernetes Service (Amazon EKS) e do Amazon Elastic Container Service (Amazon ECS) são usados para o gerenciamento deles. O Amazon Athena dá aos cientistas a possibilidade de acessar dados em todas as camadas do Data Lake e, a partir daí, modelá-las de acordo com a demanda. Para o uso de modelos de IA (Inteligência Artificial) e machine learning, o time da AMAGGI utiliza o Amazon SageMaker como ferramenta de análise exploratória de dados para o time de Data Science, enquanto o Amazon Redshift é usado como data warehouse.

Atualmente, a AMAGGI possui no Data Lake cerca de 8 milhões de imagens de satélite armazenadas e monitora diariamente, de forma remota, cerca de 154 mil hectares de lavoura. As imagens de satélite são o principal insumo dos experimentos de ciência de dados que possibilitaram a criação e integração de modelos de ML/IA com ferramentas existentes, e hoje auxiliam a tomada de decisão no dia a dia do campo. A área de produção da AMAGGI já destaca ganhos trazidos pelo projeto. De acordo com Moreira, hoje a AMAGGI-Agro conta com toda a sua estrutura mapeada, podendo escolher ferramentas especialistas para cada processo agrícola.

“Quando quero correlacionar dados de ferramentas distintas, recorro ao Data Lake. Antes, eu tinha que fazer com que uma ferramenta conversasse com a outra”, comemora Moreira, citando os pontos de integração existentes dentro do Data Lake, com chaves específicas para correlacionar dados.

O coordenador de agricultura digital da empresa, Lucas Tavares, reforça que, como consequência e resultado do projeto, já é possível notar ganhos de produtividade e de qualidade advindos da agilidade na mineração e acurácia dos dados para a geração de mapas temáticos, suportando a tomada de decisões operacionais para a realização de Agricultura de Precisão em suas principais operações. Estes resultados, inclusive, estão servindo de estímulo para a realização de novos projetos no futuro.

De acordo com Moreira, o uso de dados está preparando a AMAGGI para enfrentar novos desafios e se manter competitiva no mercado. “É um processo que envolve gente, inteligência e sensibilidade. Hoje conseguimos tomar decisões por meio de uma base muito forte. Não há informação sem dado fidedigno”, afirma.

Entre as provas de conceito em andamento, ele destaca o regulador de crescimento do algodão, que utiliza informações de satélite para gerar um mapa que permita ao agrônomo decidir sobre o uso de regulador de crescimento. Outro projeto pode resultar em uma comissão para o operador de máquinas, já que o Data Lake fornece dados de telemetria para que o time de RH crie indicadores para bonificar os melhores operadores com base em qualidade, eficiência e preservação de maquinário. “Como próximos passos, é esperado que os dados de todas as divisões de negócio sejam integrados no Data Lake, possibilitando o intercâmbio de informações entre elas a fim de otimizar as operações, garantindo a confiabilidade e a segurança dos dados armazenados”, prevê.