Case de Sucesso – Usando Amazon Sagemaker no combate à evasão e reprovação escolar no Ensino Brasileiro

Bruno Silveira, Partner Solutions Architect, ISV Partners, Brazil Public Sector

Claick Oliveira, Solutions Architect, Education, Brazil Public Sector

Bruno Bitencourt, Data Scientist, Betha Sistemas

Luan Figueredo, Systems Architect, Betha Sistemas

Daniel Camilo, Product Manager, Betha Sistemas

Com mais de 30 anos de atuação no mercado, a Betha Sistemas é uma empresa especializada no desenvolvimento e comercialização de softwares de gestão para administrações públicas municipais, estaduais e federais, incluindo aí o suporte técnico. Sediada em Criciúma (SC), a companhia tem suas soluções em operação em mais de 800 municípios, atendendo quase 1,2 milhão de usuários.

Overview

O Brasil gastou quase R$ 16 bilhões ao reprovar em 2016 cerca de 3 milhões de alunos da educação básica, o equivalente a 10,26% dos estudantes da rede pública, de acordo com análise feita pelo iDados dos dados mais recentes do Censo Escolar. O montante é referente ao custo total dos alunos que precisaram refazer uma série, e inclui despesas que vão desde material escolar até salários de professores. Também em 2016, um total de 7,5% dos estudantes da rede pública abandonaram a escola no ensino médio, e outros 3,5% nos anos finais do ensino fundamental.

Custo Social

Segundo estudo do Insper, cada jovem que não conclui o ensino médio custa para o país cerca de R$ 95 mil. Esse valor é composto pelas seguintes estimativas de gasto:

• Perda de salário e produtividade – R$ 49 mil;
• Despesa com polícia, justiça e sistema prisional – R$ 18 mil;
• Gasto com médico, hospital e faltas no trabalho – R$ 28 mil.

Estima-se que 1,3 milhões de jovens estão fora da escola no Brasil, totalizando R$ 124 bi de gastos, fazendo com que indivíduos e sociedade percam renda e qualidade de vida.

O Desafio

Realizar análises de evasão e reprovação de forma manual possui custos financeiros e operacionais enormes além do grande tempo que levaria para ter resultados que poderiam basear à tomada de decisão para prevenir ou sequer remediar situações como está. Foi aí que a Betha criou uma solução com serviços da AWS para criar um modelo de Machine Learning para poder criar predições e se antever a possíveis situações de evasão ou reprovação em seus clientes de educação no setor público.

A Solução

A solução criada pela Betha usa serviços como o Amazon S3, AWS Glue, AWS Step Functions e Amazon Sagemaker para treinamento do modelo e análise preditivas. Nest blog post iremos separar a solução em duas partes, a primeira será a arquitetura do treinamento do modelo de Machine Learning e a segunda será a arquitetura da predição que usa o modelo treinado na primeira arquitetura.

Treinamento do Modelo

Para treinamento do modelo foi criado a arquitetura abaixo:

A primeira parte da solução usa o Amazon RDS como base de dados transacionais de origem para o treinamento do modelo. Como boa prática é realizada a cópia das tabelas necessárias para o raw bucket, no Amazon S3, para que, em caso de mudanças na origem dos dados, não interfira no pipeline criado para o treinamento.

Para orquestração do processo de treinamento é utilizado o AWS Step Functions, responsável por automatizar os próximos passos da solução. É utilizado um evento do Amazon CloudWatch para que o workflow inicie. Para mais informações, acesse detalhes sobre event rules. A partir do início do workflow o AWS Glue é acionado para fazer a preparação dos dados de origem e salva-os no bucket com os dados preparados para o Amazon Sagemaker iniciar o job de treinamento.

O Amazon SageMaker é um serviço de Machine Learning (ML) totalmente gerenciado que permite que desenvolvedores e cientistas de dados criem, treinem e implantem rápida e facilmente modelos de aprendizado de máquina em qualquer escala.O SageMaker fornece notebooks Jupyter totalmente gerenciados e pré-criados para tratar de casos de uso comuns. O serviço vêm com vários algoritmos internos de alto desempenho, e o AWS Marketplace for Machine Learning contém mais de 100 modelos e algoritmos ML pré-treinados adicionais. Você também pode trazer seus próprios algoritmos e estruturas construídos em um contêiner do Docker.

O Amazon Sagemaker inclui algoritmos embutidos e totalmente gerenciados de Reinforcement Learning (RL). RL é ideal para situações em que não há dados históricos pré-rotulados, mas há um resultado ideal. A RL treina usando recompensas e penalidades, que direcionam o modelo para o comportamento desejado. O SageMaker suporta RL em várias estruturas, incluindo TensorFlow e MXNet, além de estruturas personalizadas. As implantações do SageMaker executam modelos espalhados pelas zonas de disponibilidade para oferecer alto desempenho e alta disponibilidade.

Predição através do Modelo Criado

Para a predição foi criado a arquitetura abaixo:

A segunda parte da solução usa dados novos da base de dados transacional do Amazon RDS para aplicar o modelo treinado.

O AWS Step Functions é responsável novamente pela orquestração do workflow. Depois do processo de preparação dos dados feito pelo AWS Glue, o Amazon Sagemaker inicia o batch job que consiste em criar toda a infraestrutura para uso do modelo armazenado no bucket S3 e, assim que a predição for realizada nos dados e o resultado armazenado no bucket de predição (prediction output), o job encerrará toda a infraestrutura para que a solução somente pague pelo uso da infraestrutura no momento em que está realizando a predição.

Depois do envio dos dados de predição para o output bucket, é possível analisar os resultados a partir de outros sistemas ou de soluções de analytics como Amazon Athena ou Amazon Quicksight.

Caso Bombinhas

O primeiro projeto piloto está rodando desde 2019 em Bombinhas, no Litoral de Santa Catarina. Para aprender o perfil dos alunos, o algoritmo foi alimentado com dados de mais de 19 mil matrículas dos anos anteriores, sendo que, dessas, 1,5 mil estudantes haviam sido reprovados e quase 700 interromperam seus estudos. Desde que iniciaram o uso da solução, 2019 foi o primeiro ano em que houve aumento nas matrículas e uma diminuição em 20% das evasões escolares no município.

Ao todo, a plataforma verifica e classifica 17 variáveis do perfil do aluno, como notas, frequências, histórico escolar e socioeconômico, permitindo a identificação antecipada do problema e a criação de um acompanhamento específico para cada aluno. Com o processamento em nuvem, a análise das previsões pode ser feita em menos de uma hora, agilizando a tomada de decisão e permitindo melhor gestão de recursos públicos.

“Poder prever de forma rápida e assertiva o rendimento dos alunos também ajuda a direcionar e organizar os recursos públicos. Diminuir a evasão escolar pode trazer mais verba do FUNDEB (Fundo de Manutenção e Desenvolvimento da Educação Básica) para os governantes aplicarem em melhorias na educação”, afirma Aldo Garcia, presidente da Betha Sistemas.

Atualmente, mais de 20 municípios já habilitaram a solução desenvolvida pela Betha Sistemas e o resultado de assertividade média tem demonstrado índices superiores a 95% nas previsões de reprovação e evasão.

Conclusão e próximos passos

Neste blog post mostramos como um parceiro AWS usou serviços em nuvem para criar uma solução que impacta em milhões na economia para o estado brasileiro e também um impacto positivo para a qualidade de vida das atuais e futuras gerações do país.

Sobre os autores

Bruno Bitencourt, Cientista de Dados no setor de Tecnologia e Inovação na Betha Sistemas. Trabalha na área de tecnologia há +6 anos.

Luan Figueredo, Arquiteto de sistemas na linha de produtos de Educação e Gestão Escolar na Betha Sistemas, atuando no desenvolvimento de aplicações web e inovação há mais de 5 anos.

Daniel Camilo, está há mais de 5 anos à frente da equipe de desenvolvimento da linha de produtos Educação e Gestão Escolar na Betha Sistemas. Atua no mercado de tecnologia e inovação há mais de 15 anos.

Bruno Silveira, Arquiteto de Soluções da AWS no time de Setor Publico com foco em ISV Partners. Com carreira prévia em instituições como Hepta Tecnologia, Caixa, Itaipu Binacional, Parque Tecnológico Itaipu, Ministério de Minas e Energia e Ministério da Cultura, Bruno é entusiasta em práticas ágeis como Lean e Scrum e gosta muito de um bom rock’n roll com uma boa cerveja.

Claick Oliveira, Arquiteto de Soluções na AWS no time de Setor Publico com foco em Educação. Com experiência prévia em diversos projetos relacionados a containers, DevOps e desenvolvimento vem ajudando empresas do setor de educação na jornada para a nuvem.