Recomendação de cursos utilizando Amazon SageMaker na plataforma do Gran Cursos Online

Por Miller Horvath, Data Scientist Leader na BRLink

Será que conseguimos imaginar um mundo sem internet nos dias de hoje? A quantidade de conteúdos gerados a cada ano aumenta de forma exponencial, e já estamos falando de zettabytes de dados. Com isso é natural haver um volume crescente de informações disponibilizadas ao público diariamente.

Nesse mar de informações, a tarefa de encontrar um conteúdo que de fato seja relevante se torna um grande desafio para os usuários. Quem nunca ficou horas navegando pelo catálogo da Netflix, caçando um novo filme ou série, e acabou indo dormir sem assistir a nada, não é mesmo?

Esse fenômeno também é verdadeiro para o ramo educacional. Com tantas opções de carreiras e métodos para se preparar para enfrentar o mercado de trabalho, fica humanamente impossível avaliar detalhadamente todas as opções antes de tomar uma decisão.

Técnicas de inteligência artificial (IA) foram sendo criadas ao longo do tempo com o intuito de auxiliar os usuários nesse desafio, e uma das principais dessas técnicas são os sistemas de recomendação. Esse tipo de solução de machine learning (ML) visa detectar padrões na interação dos usuários com conteúdos específicos e suas características para gerar recomendações personalizadas, inferindo quais conteúdos são mais relevantes para cada indivíduo.

Neste post, vou contar como a BRLink desenvolveu um sistema de recomendação de cursos para a plataforma da Gran Cursos Online utilizando os serviços da AWS.

INTRODUÇÃO

Com 240 mil alunos espalhados entre 1.316 dos 5.570 municípios do Brasil, a Gran Cursos Online é uma plataforma de cursos online focada na preparação para todas as carreiras de concursos públicos, exames profissionais, residências multiprofissionais na área da saúde e pós-graduação lato sensu em diversas áreas. A plataforma usa diversos mecanismos didáticos, como videoaulas, livros em PDF e audiobooks. Todo esse conteúdo é produzido por mais de 510 professores das mais diversas disciplinas.

O DESAFIO

O estudante que decide ingressar na carreira pública não compreende, em um primeiro momento, que as oportunidades são muitas. São carreiras como: administrativa, controle e gestão, diplomática, educação, tribunal, policial, financeiro, bancária, fiscal, forças armadas, jurídica, legislativa, saúde, tecnologia da informação etc.

Ao escolher uma área, segundo Rodrigo Calado, cofundador e CTO do Gran Cursos Online, há conteúdos muito similares em diversos concursos. Se pegarmos a carreira fiscal, por exemplo, entre as disciplinas básicas, temos as matérias de Direito Administrativo, Direito Constitucional, Português, Raciocínio Lógico, Auditoria, Contabilidade Geral e Direito Tributário.

O algoritmo, ao identificar que você está consumindo conteúdos dessas disciplinas, vai automaticamente apresentar ao aluno oportunidades de concursos que ele não estava procurando, pois estava 100% focado nos estudos.

Na carreira fiscal, há oportunidades para Secretarias de Fazenda dos Estados, ISS dos Municípios, AFT – Auditor-Fiscal do Trabalho e Receita Federal, ou seja, são dezenas de oportunidades.

Sendo assim, o aluno tem mais chances de entrar no serviço público, pois o sistema irá recomendar concursos importantes e aos quais ele não estava prestando atenção.

Portanto, criar formas personalizadas para ajudar os alunos no planejamento de seus estudos ajuda não apenas como um motor motivacional, mas também aumenta a produtividade nos estudos e o engajamento com a plataforma. Dessa forma, a criação de um sistema de recomendação de cursos capaz de encontrar os cursos mais relevantes para as necessidades de cada aluno se tornou o grande objetivo.

A SOLUÇÃO

Primeiramente, o time de cientistas de dados da BRLink passou por um processo de entendimento e estruturação dos dados históricos do Gran Cursos Online, relacionados ao comportamento dos alunos na plataforma e as características dos cursos/concursos.

Em seguida, foram realizadas algumas interações de experimentação, com o intuito de levantar o estado da arte das técnicas de sistemas de recomendação, treinar os modelos de ML, gerar as recomendações do curso e avaliar a qualidade das recomendações produzidas. O principal serviço utilizado nesse processo foi o Amazon SageMaker, que é um framework que suporta o desenvolvimento de soluções personalizadas de ML de ponta a ponta.

Avaliar a qualidade das recomendações foi crucial para o sucesso do sistema, segundo Rodrigo Calado, pois possibilitou até que novas oportunidades fossem encontradas. A ideia de se utilizar IA é que você pensa que conhece absolutamente tudo do seu negócio, entretanto, quando vai checar, nesse caso, a similaridade de um concurso com outro, percebe-se que mesmo sendo de carreiras diferentes havia uma certa similaridade – surpreendendo até mesmo coordenadores-científicos experientes.

Por fim, a BRLink implementou uma arquitetura com a AWS para atualizar periodicamente os modelos de ML e renovar as recomendações de cursos aos alunos de maneira automatizada.

Os sistemas de recomendação precisam ser atualizados constantemente para incorporar os avanços dos alunos em seus estudos e contemplar os novos cursos que são frequentemente adicionados na plataforma. Sendo assim, a solução desenvolvida usa vários serviços da AWS para entregar uma solução robusta e custo-efetiva. Ao todo, o Gran Cursos Online possui 24.000 cursos online na plataforma.

O processamento começa por meio de queries no data lake do Gran Cursos Online para a construção da base de treinamento do sistema de recomendação. Em seguida, são executados o pré-processamento e modelagem dos dados, treinamento do modelo e geração de recomendações por meio do Amazon SageMaker, orquestrados com o AWS Step Functions, utilizando funções do AWS Lambda e filas do Amazon SQS. Por fim, as recomendações personalizadas para cada usuário são persistidas numa tabela do Amazon DynamoDB, que é um serviço serverless de banco de dados NoSQL, e disponibilizadas para a aplicação do Gran Cursos Online através de uma API, implementada com a API Gateway e com autenticação via Amazon Cognito.

RESULTADOS

Este projeto foi o precursor para diversas iniciativas de IA, ML e análise de dados que a BRLink desenvolveu em conjunto com o Gran Cursos Online. Auxiliamos na consolidação de uma cultura de negócios orientada a dados, focada em melhoria contínua e com paixão em gerar soluções inovadoras para os alunos.

Segundo Rodrigo Calado, em uma pesquisa de opinião realizada com os alunos, 70,5% disseram que utilizam a ferramenta de recomendação de cursos.

Destes, 96,2% alegaram que o sistema de recomendação de cursos, baseado em inteligência artificial, os ajudou a encontrar cursos atualizados ou concursos similares.

Calado destaca que considera o resultado extraordinário, pois, a partir de 500 respostas, já considera a pesquisa com significância estatística, em uma margem baixa de erro, fazendo com que os dados representam um cenário similar ao todo.

A BRLink é um Parceiro AWS, de nível Premier (mais alto nível da AWS Partner Network), tem diversas Competências AWS, como DevOps, Migration e Education, e faz parte também dos programas AWS MSP, Well-Architected Partner Program, APN Immersion Days e AWS Black Belt em múltiplas áreas, como: AI/ML, Application Modernization, Analytics, entre muitas outras.