Blog de Amazon Web Services (AWS)

Case de Sucesso – Usando Amazon Sagemaker para combatir la evasión escolar y el fracaso en la educación brasileña

Bruno Silveira, Arquitecto de Soluciones para Socios ISV, Sector Público de Brasil

Claick Oliveira, Arquitecto de Soluciones, Educación, Sector Público de Brasil

Bruno Bitencourt, Científico de Datos, Betha Systems

Luan Figueredo, Arquitecto de Sistemas, Betha Systems

Daniel Camilo, Gerente de Producto, Betha Systems

 

Con más de 30 años de actividad en el mercado, Betha Sistemas es una empresa especializada en el desarrollo y comercialización de software de gestión para administraciones públicas municipales, estatales y federales, incluyendo soporte técnico. Con sede en Criciúma (SC), la compañía tiene sus soluciones en operación en más de 800 municipios, sirviendo a casi 1,2 millones de usuarios.

Resumen

Brasil gastó casi R$ 16 mil millones fallando en 2016 alrededor de 3 millones de estudiantes de educación primaria, equivalente al 10,26% de los estudiantes de escuelas públicas, según el análisis de IDados de los últimos datos del Censo Escolar. La cantidad se refiere al costo total de los estudiantes que necesitaban rehacer una serie, e incluye gastos que van desde suministros escolares hasta salarios de maestros. También en 2016, un total del 7,5% de los estudiantes de las escuelas públicas abandonaron la escuela en la escuela secundaria, y otro 3,5% en los últimos años de la escuela primaria.

 

Costo social

Según el estudio de Insper, cada joven que no termina la escuela secundaria cuesta al país alrededor de $95 mil. Esta suma consta de las siguientes estimaciones de gastos:

  • Pérdida de salario y productividad — 49 mil R$;
  • Gastos en policía, justicia y sistema penitenciario: 18.000 reales;
  • Gastar en médico, hospital y ausencias en el trabajo — R$ 28 mil.

Se estima que 1,3 millones de jóvenes no asisten a la escuela en Brasil, lo que representa un total de R$ 124 bi de gasto, lo que hace que las personas y la sociedad pierdan ingresos y calidad de vida.

 

El reto

Realizar análisis de evitación y reproche manualmente tiene enormes costos financieros y operativos, además del largo tiempo que se tardaría en tener resultados que podrían basar la toma de decisiones para prevenir o incluso remediar situaciones tal como son. Ahí es donde Betha creó una solución con los servicios de AWS para crear un modelo de aprendizaje automático para que pudiera crear predicciones y anticipar posibles situaciones de evasión o fracaso en sus clientes de educación del sector público.

 

La Solución

La solución creada por Betha utiliza servicios como Amazon S3, AWS Glue, AWS Step Functions y Amazon Sagemaker para formación de modelos y análisis predictivos.

Nest blog post vamos a separar la solución en dos partes, la primera será la arquitectura de formación del modelo de Machine Learning y la segunda será la arquitectura de predicción que utiliza el modelo entrenado en la primera arquitectura.

 

Formación de modelos

Para la formación del modelo se creó la siguiente arquitectura:

 

La primera parte de la solución utiliza Amazon RDS como base de datos transaccional de origen para la formación de modelos. Como buena práctica la copia de las tablas requeridas en el bucket sin procesar se realiza en Amazon S3, para que, en caso de cambios en el origen de datos, no interfiera con la canalización creada para el entrenamiento.

Para orquestar el proceso de formación, se utiliza AWS Step Functions, que es responsable de automatizar los siguientes pasos de la solución. Se utiliza un evento de Amazon CloudWatch para que se inicie el flujo de trabajo . Para obtener más información, consulte los detalles sobre las reglas de eventos.

Desde el comienzo del flujo de trabajo, AWS Glue se activa para preparar los datos de origen y los guarda en el depósito con los datos preparados para que Amazon Sagemaker  inicie la capacitación.

Amazon SageMaker es un servicio de aprendizaje automático (ML) totalmente gestionado que permite a los desarrolladores y científicos de datos crear, entrenar e implementar modelos de aprendizaje automático de forma rápida y sencilla a cualquier escala.Sagemaker proporciona portátiles totalmente gestionados y preconstruidos Jupyter para manejar casos de uso común. El servicio incluye varios algoritmos internos de alto rendimiento, y AWS Marketplace for Machine Learning contiene más de 100 modelos y algoritmos ML previamente capacitados. También puede traer sus propios algoritmos y estructuras integradas en un contenedor Docker.

Amazon Sagemaker incluye algoritmos integrados y totalmente gestionados de aprendizaje de refuerzo (RL). RL es ideal para situaciones en las que no hay datos históricos preetiquetados, pero hay un resultado ideal. RL entrena usando recompensas y penalizaciones, que dirigen el modelo al comportamiento deseado. SageMaker admite RL en varios marcos, incluidos TensorFlow y MxNet, así como marcos personalizados. Las implementaciones de SageMaker ejecutan modelos dispersos en las zonas de disponibilidad para obtener un alto rendimiento y una alta disponibilidad.

 

Predicción a través del modelo creado

Para la predicción se creó la arquitectura a continuación:

 

 

La segunda parte de la solución utiliza nuevos datos de la base de datos transaccional de Amazon RDS para aplicar el modelo entrenado.

AWS Step Functions es nuevamente responsable de organizar el flujo de trabajo. Tras el proceso de preparación de datos realizado por AWS GlueAmazon Sagemaker inicia el trabajo por lotes que consiste en crear toda la infraestructura para utilizar el modelo almacenado en el bucket S3 y tan pronto como la predicción se realiza en los datos y el resultado se almacena en el bucket desalida de predicción, el trabajo termina toda la infraestructura de modo que la solución solo pague por el uso de la infraestructura en el momento en que está realizando el predicción.

Después de enviar los datos de predicción al bucket de salida, puede analizar los resultados de otros sistemas o soluciones de análisis como Amazon Athena o Amazon Quicksight.

 

Estuche Bombinhas

El primer proyecto piloto se ejecuta desde 2019 en Bombinhas, en la costa de Santa Catarina. Para conocer el perfil de los estudiantes, el algoritmo fue alimentado con datos de más de 19.000 matriculaciones en años anteriores, de las cuales 1.5 mil estudiantes habían fracasado y casi 700 interrumpieron sus estudios. Desde que comenzaron a usar la solución, 2019 fue el primer año en el que hubo un aumento en la matrícula y una disminución del 20% en las evasivas escolares en el municipio.

En total, la plataforma verifica y clasifica 17 variables del perfil del estudiante, tales como grados, frecuencias, historia escolar e historia socioeconómica, permitiendo la identificación temprana del problema y la creación de un seguimiento específico para cada estudiante. Con el procesamiento en la nube, el análisis de previsiones se puede realizar en menos de una hora, lo que agiliza la toma de decisiones y permite una mejor gestión de los recursos públicos.

«Ser capaz de predecir rápida y asertivamente los ingresos de los estudiantes también ayuda a dirigir y organizar los recursos públicos. La disminución de la evasión escolar puede traer más fondos de la Fundación de Mantenimiento y Desarrollo de la Educación Básica (Fundación de Mantenimiento y Desarrollo de la Educación Básica) para que los gobiernos apliquen a mejoras en la educación», dice Aldo García, presidente de Betha Sistemas.

Actualmente, más de 20 municipios ya han permitido la solución desarrollada por Betha Sistemas y el resultado de asertividad promedio ha mostrado índices superiores al 95% en las previsiones de fracaso y evasión.

 

Finalización y próximos pasos

En esta entrada de blog mostramos cómo un socio de AWS utilizó los servicios en la nube para crear una solución que repercute en millones de personas en la economía del estado brasileño y también en la calidad de vida de las generaciones actuales y futuras del país.

 


Sobre os autores

 

Bruno Bitencourt, Data Scientist en el sector Tecnología e Innovación de Betha Sistemas. Ha estado trabajando en el área de tecnología por +6 años.

 

 

 

 

 

Luan Figueredo, Arquitecto de Sistemas en la línea de productos de Educación y Gestión Escolar de Betha Sistemas, trabaja desde hace más de 5 años en el desarrollo de aplicaciones web e innovación.

 

 

 

 

Daniel Camilo, lleva más de 5 años liderando el equipo de desarrollo de la línea de productos de Educación y Gestión Escolar de Betha Sistemas. Haestado activo en el mercado de la tecnología y la innovación desde hace más de 15 años.

 

 

 

 

Bruno Silveira, arquitecto de soluciones de AWS en el equipo del sector público centrado en los socios ISV. Con una trayectoria previa en instituciones como Hepta Tecnologia, Caixa, Itaipú Binacional, Parque Tecnológico Itaipú, Ministerio de Minas y Energía y Ministerio de Cultura, Bruno está entusiasmado con prácticas ágiles como Lean y Scrum y disfruta de un buen rock’n roll con una buena cerveza.

 

 

 

 

Claick Oliveira, arquitecto de soluciones de AWS en el equipo del sector público de educación. Con experiencia previa en una variedad de proyectos relacionados con contenedores, DevOps y desarrollo han estado ayudando a las empresas educativas en su viaje a la nube.