Tereos centraliza armazenamento e análise de dados com a AWS

O Grupo Tereos é um dos líderes nos mercados de açúcar, álcool/etanol e amidos. Com operações em 17 países e forte presença no Brasil, a companhia vem apostando em tecnologias inovadoras para aumentar a produção e melhorar a eficiência de seus processos de negócio.

Por aqui, a Tereos Açúcar & Energia Brasil conta com as soluções da AWS para ampliar o uso de tecnologias avançadas nas operações agrícolas, industriais e comerciais. A análise massiva de dados permite à empresa tomar decisões com uma visão ainda mais integrada de todo o processo produtivo: do plantio, manejo agrícola e colheita da cana, passando pela produção do açúcar, etanol e bioenergia e gerenciamento da demanda e entrega a clientes no mercado interno e de exportação.

Em 2017, a Tereos Açúcar & Energia Brasil apostou na tecnologia para aumentar a produtividade na área agrícola. Para alavancar a produção, a companhia tinha a necessidade de cruzar uma série de informações estruturadas, tais como dados de operações, de máquinas, mapas de solo, de plantio e de colheita, com outras não estruturadas, como imagens de VANT (Veículos Aéreos Não Tripulados) e de satélites. Além disso, não havia uma plataforma para a visualização destas imagens de forma robusta, que pudesse ser acessada por mais de mil usuários, e a coleta de dados de sensores das estações climáticas não era automatizada.

Para organizar todos estes processos sob uma mesma solução, nasceu o projeto Galileo. O embrião do projeto foi realizado há quatro anos em uma primeira tentativa de organizar a base de dados da companhia e permitir uma análise histórica destas informações.

“Nesse meio tempo, também fechamos parcerias com empresas e startups para agregar novos sensores e conhecimentos para acelerar a geração de valor a partir de dados”, conta André Margoto, gerente executivo de Planejamento Integrado. Em 2019, com algoritmos e modelos aperfeiçoados, o Galileo foi colocado em operação, agora com uma versão mais robusta de análises.

“Em função da necessidade de escalabilidade, iniciamos os desenvolvimentos dos nossos projetos de digitalização em parceria com a AWS e hoje já contamos com um workload total de aproximadamente 70TB”, comenta Daniel Keller, gerente executivo de TI da Tereos Açúcar & Energia Brasil.

A migração de dados foi feita com o uso do AWS Snowball e, a partir daí, o crescimento da base passou a ser acompanhado pela criação de máquinas e storage virtuais de acordo com a demanda.

A Tereos utilizou uma série de serviços AWS, como o Amazon Elastic Compute Cloud (Amazon EC2), para as instâncias em Linux para as aplicações e códigos desenvolvimentos em Python; o Amazon Relational Database Service (Amazon RDS), como banco de dados Postgree robusto e escalável; o Amazon Simple Storage Service (Amazon S3), para armazenamento e centralização de arquivos de imagens de satélites, VANTs e drones; e o Amazon WorkSpaces para a criação de estações de trabalho virtuais para desenvolvimento de códigos.

Além disso, a estrutura da AWS foi fundamental para o desenvolvimento do Database of Truth (DoT), iniciativa que tinha foco no conceito de Indústria 4.0 e abrangia várias frentes, sendo o tratamento de dados uma delas. “O desafio de um modelo data driven é estruturar uma arquitetura que atenda os padrões de governança para armazenamento, processamento e análise de grandes volumes de dados”, explica Keller.

Para a hospedagem dessa estrutura, foi criado um ambiente em nuvem centralizado e unificado para captura, armazenamento e análise de dados de alto volume, garantindo disponibilidade, escalabilidade e confiabilidade das informações. Para tanto, foram utilizados serviços AWS como: Amazon S3, para armazenamento do Big Data Tereos; o Amazon DynamoDB, para controle de jobs e metadados; o Amazon Kinesis, para captura de dados em streaming dos equipamentos da indústria; o Amazon Simple Notification Service (Amazon SNS), para serviço de mensageria e alertas; e o Amazon API Gateway, planejado para o gerenciamento centralizado das APIs.

Com o avanço da aplicação de inteligência artificial no campo foi possível, por exemplo, desenvolver um algoritmo para detecção de plantas daninhas no canavial. Imagens captadas por drones são armazenadas na nuvem da AWS e processadas por uma rede neural. Especialistas da Tereos analisaram uma média de 30 mil imagens a cada 100 hectares plantados e ensinaram o sistema a identificar plantas daninhas e sinalizar quando uma ação precisa ser tomada para evitar a infestação. A assertividade já chega a 80%, além de possibilitar a identificação do problema de forma mais ágil, sem a necessidade de um profissional ir até o canavial.
Hoje, sensores instalados em mais de 70 estações meteorológicas em todo o canavial medem umidade, pluviometria, temperatura, radiação solar, direção do vento e outros fatores climáticos que impactam diretamente na produção de cana-de-açúcar. Algumas dessas informações são capturadas e armazenadas no Amazon S3, o mais popular e rápido data warehouse na nuvem, para análises posteriores realizadas pelos cientistas de dados.
“Contar com a infraestrutura e os serviços da AWS foi muito importante para alavancar o processo de transformação digital da Tereos dado que o setor sucroenergético possui cadeias complexas, que envolvem desde incertezas climáticas até infraestrutura logística. Com a disponibilidade dos dados na nuvem e ferramentas tecnológicas oferecidas pela plataforma, conseguimos a elasticidade necessária para acompanhar e desenvolver o plano de digitalização conforme as necessidades de negócio”, afirma Keller.

Sobre o Database of Truth, Keller ressalta que a inciativa aprimora o modelo e permite uma centralização dos dados utilizados pelo grupo, com uma governança eficiente. “Do ponto de vista de TI, passamos a contar com uma arquitetura homogênea e escalável, uma camada de integração padronizada e mais segurança de interfaces de integração”, diz.

Como resultado, a companhia entrou numa jornada que visa agilizar a disponibilidade dos dados ao mesmo tempo que assegura as informações sensíveis da organização, um marco importante no movimento de ajuste do mindset tradicional para data-driven.

De acordo com Margoto e Keller, os projetos de transformação digital da companhia devem evoluir bastante nos próximos anos. No caso do projeto Galileo, sua próxima fase prevê a otimização dos custos e integração para a plataforma do DoT, o que vai garantir uma visão integrada do campo até a indústria.

Com isso, o DoT deve se consolidar como a plataforma oficial de dados da Tereos, tornando-se a principal fonte de consulta de dados. Além disso, ainda este ano a plataforma deverá contar com um portal de APIs, permitindo que os usuários tenham acesso aos dados que precisam a partir da cópia de uma API.