A Jobcase escala fluxos de trabalho de ML para dar suporte a bilhões de previsões diárias usando o Amazon Redshift ML

A Jobcase é uma plataforma de trabalho apoiada pela comunidade, na qual mais de 110 milhões de membros registrados nos Estados Unidos se conectam para ajudar uns aos outros e encontrar oportunidades. Embora muitos sites de busca de emprego priorizem as vagas profissionais, as ferramentas de busca e os recursos sociais da Jobcase se concentram em um espectro mais amplo dos cargos rotineiros, incluindo trabalhadores pagos por hora e do setor de serviços, comerciantes e técnicos. A identificação de correspondências fortes permite que a empresa sugira empregos de qualidade para os membros e ajuda os empregadores a contratar trabalhadores qualificados. Quando alguém busca oportunidades de trabalho na Jobcase, a empresa analisa cerca de 30 milhões de anúncios em seu diretório, comparando as qualidades de cada um com as preferências do membro. A infraestrutura deve ser capaz de realizar essas tarefas de ML em grande escala, recuperando e fazendo previsões em bilhões de registros por dia. A Jobcase usa o Amazon Redshift há mais de 8 anos como seu principal data warehouse, atuando como a fonte da verdade para todo o seu trabalho de análise de dados. “Nosso banco de dados ingere bilhões de eventos todos os dias”, diz Ajay Joshi, engenheiro renomado da Jobcase. “Todos os nossos sistemas de produção geram dados que fluem para o Amazon Redshift. A empresa depende disso.” O fluxo de trabalho de ML anterior da empresa, que envolvia a transferência de dados do Amazon Redshift a um ambiente separado para executar o software de ML antes de devolvê-los ao banco de dados, era ineficiente, propenso a erros e caro. Para superar esses desafios, a Jobcase migrou para o Amazon Redshift ML com o objetivo de executar suas funções de ML dentro do data warehouse, sem a necessidade de movimentar os dados. A empresa começou a testar o Amazon Redshift ML em dezembro de 2020 e o implantou na produção em julho de 2021. “O novo sistema na AWS basicamente se encaixa em nosso pipeline da forma como está”, diz Joshi. “Conseguimos implantar rapidamente vários modelos na produção que imediatamente começaram a gerar benefícios.”

O uso do Amazon Redshift ML simplifica a forma como a Jobcase gera previsões em seus modelos de ML. “Por meio do Amazon Redshift ML, podemos ajustar uma ampla variedade de classes sofisticadas de modelos de ML aos dados diretamente em nosso data warehouse do Amazon Redshift”, afirma Clay Martin, cientista de dados sênior da Jobcase. Apenas 4 semanas após a implantação dos novos modelos no Amazon Redshift ML, a empresa já observava uma melhoria de até 5% em suas métricas de engajamento para canais específicos de e-mail e de notificações push. “Uma melhoria de 5% nas métricas de engajamento representa uma melhor experiência e retenção de membros e um aumento correspondente da receita”, diz Martin. A Jobcase agora pode fazer inferência de modelos em bilhões de registros em questão de minutos, em vez de 4 a 5 horas.

O sistema de recomendação gera recomendações específicas de anúncios de emprego, bem como sugestões de pesquisa e recomendações de empresas, para cada um de seus milhões de membros ativos. À medida que a comunidade cresce, os custos de manutenção de pipelines de dados complexos aumentam. “Fazemos uma média de cinco a seis bilhões de previsões off-line todos os dias”, afirma Joshi. O uso dos recursos de inferência local no banco de dados do Amazon Redshift ML elimina a necessidade de transferir dados entre ambientes separados. Como resultado, a Jobcase faz economias e reduz a complexidade enquanto aumenta a escala de suas workloads de ML.

Além disso, a Jobcase pode realizar grandes testes mais rapidamente do que antes. Martin conta que “Anteriormente, precisávamos realizar testes em pequenos grupos de usuários durante 1 a 2 meses. Usando o Amazon Redshift ML, podemos executar testes em conjuntos de dados inteiros em menos de uma semana.” Isso facilita a criação e a iteração dos modelos da empresa em um ritmo muito rápido. Além disso, a capacidade do serviço de treinar e implantar modelos contribui automaticamente para o aumento da produtividade das equipes da Jobcase. “Somos uma empresa pequena em relação à quantidade de dados que processamos”, diz Joshi. “Executar previsões com rapidez e com pouco trabalho necessário para implantar os modelos no Amazon Redshift ML permite que nós nos concentremos em agregar valor a outros aspectos do nosso produto.”

Outro aspecto igualmente importante é que, ao usar o Amazon Redshift ML, a Jobcase pode escalar as workloads de ML sem aumentar os custos. “Para alcançar uma alta performance nessa escala em um sistema diferente, teríamos que gastar uma quantidade significativa de tempo e dinheiro na otimização”, afirma Joshi. Em vez disso, a empresa não enfrentou nenhum aumento no custo quando começou a usar o Amazon Redshift ML porque o recurso funciona dentro do cluster existente do Amazon Redshift. A elasticidade do trabalho na nuvem simplifica o trabalho em escala da Jobcase, mesmo com o crescimento da base de usuários da empresa. “Sempre estivemos na vanguarda ao desenvolver na AWS”, diz Joshi. “Tivemos um ótimo relacionamento com as equipes da AWS, e isso tem sido fenomenal.”