Jobcase amplía los flujos de trabajo de machine learning para poder administrar miles de millones de predicciones diarias con Amazon Redshift ML

Jobcase es una plataforma de trabajo con una comunidad donde más de 110 millones de miembros registrados en los Estados Unidos se ayudan entre ellos y encuentran oportunidades. Si bien muchas páginas web de búsqueda de empleo se centran en empleos profesionales, las herramientas de búsqueda y las funciones sociales de Jobcase se centran en un espectro más amplio de los empleos cotidianos, donde tienen cabida los trabajadores por horas y del sector servicios, los comerciantes y los técnicos. Identificar coincidencias significativas permite a la empresa sugerir empleos de calidad para los afiliados y ayuda a las empresas a contratar trabajadores cualificados. Cuando alguien busca oportunidades de trabajo en Jobcase, la empresa analiza alrededor de 30 millones de anuncios en su directorio y compara las cualidades de cada uno con las preferencias de los miembros. Su infraestructura debe poder realizar estas tareas de machine learning a gran escala, recuperando y haciendo predicciones sobre miles de millones de registros al día. Jobcase ha utilizado Amazon Redshift durante más de 8 años como su almacén de datos principal, que sirve como fuente de información para todo su trabajo relativo al análisis de datos. “Nuestra base de datos almacena miles de millones de eventos todos los días”, afirma Ajay Joshi, ingeniero distinguido de Jobcase. “Todos nuestros sistemas de producción generan datos que van a parar a Amazon Redshift. La empresa depende de ello”. El flujo de trabajo de machine learning anterior de la empresa, que consistía en transferir datos de Amazon Redshift a un entorno independiente para ejecutar su software de machine learning antes de devolverlos a la base de datos, era ineficiente, propenso a errores y costoso. Para superar estos retos, Jobcase migró a Amazon Redshift ML para poder realizar sus funciones de machine learning dentro del almacén de datos, sin necesidad de transferir datos. La empresa comenzó a probar Amazon Redshift ML en diciembre de 2020 y lo llevó a producción en julio de 2021. “El nuevo sistema de AWS encaja en nuestro proceso tal como está”, afirma Joshi. “Pudimos implementar varios modelos en producción rápidamente, que empezaron a generar beneficios de inmediato.

El uso de Amazon Redshift ML simplifica la forma en que Jobcase genera predicciones a partir de sus modelos de ML. “Gracias a Amazon Redshift ML, podemos adaptar una amplia gama de clases de modelos de machine learning sofisticadas a los datos directamente en nuestro almacén de datos de Amazon Redshift”, afirma Clay Martin, científico de datos sénior de Jobcase. Solo 4 semanas después de implementar los nuevos modelos en Amazon Redshift ML, la empresa ya había registrado una mejora de hasta un 5 % en sus métricas de participación para canales específicos de correo electrónico y notificaciones push. “Una mejora del 5 % en las métricas de participación se traduce en una mejor experiencia y retención de usuarios y en el correspondiente aumento de los ingresos”, afirma Martin. Ahora, Jobcase puede realizar inferencias de modelos en miles de millones de registros en cuestión de minutos, en lugar de entre 4 y 5 horas.

El sistema de recomendaciones genera recomendaciones específicas de ofertas de trabajo, así como sugerencias de búsqueda y recomendaciones de empresas, para cada uno de sus millones de miembros activos. A medida que la comunidad crece, aumentan los costos de mantener canalizaciones de datos complejas. “Hacemos una media de cinco a seis mil millones de predicciones fuera de línea todos los días”, afirma Joshi. El uso de las funciones de inferencia local integradas en la base de datos de Amazon Redshift ML elimina la necesidad de transferir datos entre entornos distintos. Como resultado, Jobcase ahorra costos y reduce la complejidad a la vez que aumenta la escala de sus cargas de trabajo de machine learning.

Además, Jobcase puede realizar pruebas de gran envergadura con mayor rapidez que antes. “Antes teníamos que hacer pruebas con grupos pequeños de usuarios durante uno o dos meses”, explica Martin. “Con Amazon Redshift ML, podemos realizar pruebas en conjuntos de datos completos en menos de una semana”. Esto facilita la creación y la iteración de los modelos de la empresa a un ritmo muy rápido. Además, la capacidad del servicio para entrenar e implementar modelos automáticamente contribuye a aumentar la productividad de los equipos de Jobcase. “Somos una empresa pequeña en relación con la cantidad de datos que procesamos”, afirma Joshi. “Realizar predicciones rápidamente y con poco trabajo para implementar los modelos en Amazon Redshift ML nos permite centrarnos en agregar valor a otros aspectos de nuestro producto”.

Y lo que es igualmente importante, al utilizar Amazon Redshift ML, Jobcase puede escalar sus cargas de trabajo de machine learning sin aumentar los costos. “Para lograr un alto rendimiento a esta escala en un sistema diferente, tendríamos que invertir una cantidad significativa de tiempo y dinero en optimizarlo”, afirma Joshi. En cambio, la empresa no se enfrentó a ningún aumento de costes cuando comenzó a utilizar Amazon Redshift ML, ya que la función se ejecuta dentro de su clúster Amazon Redshift existente. La elasticidad de trabajar en la nube facilita que Jobcase trabaje a gran escala, incluso a medida que crece la base de usuarios de la empresa. “Siempre hemos estado a la vanguardia a la hora de crear en AWS”, afirma Joshi. “Hemos tenido una relación excelente con los equipos de AWS, y ha sido fenomenal”.