Jobcase skaliert ML-Workflows zur Unterstützung von Milliarden von täglichen Prognosen mithilfe von Amazon Redshift ML

Jobcase ist eine von der Community unterstützte Arbeitsplattform, auf der sich mehr als 110 Millionen registrierte Mitglieder in den Vereinigten Staaten verbinden, um sich gegenseitig zu helfen und Chancen zu entdecken. Während viele Websites für die Stellensuche eher nach beruflichen Positionen tendieren, konzentrieren sich die Suchtools und sozialen Funktionen von Jobcase auf ein breiteres Spektrum alltäglicher Rollen, darunter Stunden- und Servicearbeiter, Handwerker und Techniker. Durch die Identifizierung von passenden Mitarbeitern schlägt das Unternehmen seinen Mitgliedern hochwertige Jobs vor und hilft Arbeitgebern, qualifizierte Arbeitskräfte einzustellen. Wenn jemand auf Jobcase nach Stellenangeboten sucht, analysiert das Unternehmen rund 30 Millionen Einträge in seinem Verzeichnis und vergleicht die Eigenschaften der einzelnen Angebote mit den Präferenzen des Mitglieds. Seine Infrastruktur muss in der Lage sein, diese ML-Aufgaben in großem Umfang auszuführen und Milliarden von Datensätzen pro Tag abzurufen und Vorhersagen zu treffen. Jobcase verwendet Amazon Redshift seit über 8 Jahren als primäres Data Warehouse und dient als Informationsquelle für all seine Datenanalysearbeiten. „Unsere Datenbank erfasst täglich Milliarden von Ereignissen“, sagt Ajay Joshi, angesehener Ingenieur bei Jobcase. „Alle unsere Produktionssysteme generieren Daten, die in Amazon Redshift fließen. Das Unternehmen ist darauf angewiesen.“ Der bisherige ML-Workflow des Unternehmens, bei dem Daten von Amazon Redshift in eine separate Umgebung verschoben wurden, um die ML-Software auszuführen, bevor die Daten an die Datenbank zurückgegeben wurden, war ineffizient, fehleranfällig und kostspielig. Um diese Herausforderungen zu bewältigen, migrierte Jobcase zu Amazon Redshift ML, sodass das Unternehmen seine ML-Funktionen innerhalb des Data Warehouse ausführen konnte – ohne dass Daten verschoben werden mussten. Das Unternehmen begann im Dezember 2020 mit dem Testen von Amazon Redshift ML und führte es im Juli 2021 in der Produktion ein. „Das neue System auf AWS passt im Grunde, so wie es ist, in unsere Pipeline“, sagt Joshi. „Wir waren in der Lage, mehrere Modelle schnell in die Produktion zu bringen, was sofort Vorteile brachte.“

Die Verwendung von Amazon Redshift ML vereinfacht die Art und Weise, wie Jobcase Vorhersagen aus seinen ML-Modellen generiert. „Mit Amazon Redshift ML können wir eine Vielzahl anspruchsvoller ML-Modellklassen an die Daten direkt in unserem Amazon Redshift Data Warehouse anpassen“, sagt Clay Martin, leitender Datenwissenschaftler bei Jobcase. Nur 4 Wochen nach der Implementierung der neuen Modelle auf Amazon Redshift ML hatte das Unternehmen bereits eine Verbesserung seiner Engagement-Metriken für bestimmte E-Mail- und Push-Benachrichtigungskanäle um bis zu 5 Prozent verzeichnet. „Eine Verbesserung der Engagement-Metriken um 5 Prozent führt zu einer verbesserten Mitgliedererfahrung und Mitgliederbindung sowie einer entsprechenden Umsatzsteigerung“, sagt Martin. Jobcase kann jetzt in wenigen Minuten statt 4 bis 5 Stunden Modellinferenzen für Milliarden von Datensätzen durchführen.

Das Empfehlungssystem generiert spezifische Empfehlungen für Stellenausschreibungen sowie Suchvorschläge und Unternehmensempfehlungen für jedes seiner Millionen aktiven Mitglieder. Mit dem Wachstum der Community steigen die Kosten für die Wartung komplexer Datenpipelines. „Wir machen täglich durchschnittlich fünf bis sechs Milliarden Offline-Vorhersagen“, sagt Joshi. Durch die Verwendung der datenbankinternen lokalen Inferenzfunktionen von Amazon Redshift ML entfällt die Notwendigkeit, Daten zwischen verschiedenen Umgebungen zu übertragen. Dadurch spart Jobcase Geld, reduziert die Komplexität und erhöht gleichzeitig den Umfang seiner ML-Workloads.

Darüber hinaus kann Jobcase große Tests schneller als zuvor durchführen. „Bisher mussten wir Tests an kleinen Benutzerkohorten über einen Zeitraum von 1 bis 2 Monaten durchführen“, sagt Martin. „Mit Amazon Redshift ML können wir Tests für ganze Datensätze in weniger als einer Woche durchführen.“ Dies erleichtert den Aufbau und die Iteration der Unternehmensmodelle in einem sehr schnellen Tempo. Darüber hinaus trägt die Fähigkeit des Services, Modelle automatisch zu trainieren und bereitzustellen, zu einer Steigerung der Produktivität der Teams von Jobcase bei. „Gemessen an der Datenmenge, die wir verarbeiten, sind wir ein kleines Unternehmen“, sagt Joshi. „Wenn wir Vorhersagen schnell und mit geringem Arbeitsaufwand für die Bereitstellung der Modelle auf Amazon Redshift ML durchführen, können wir uns darauf konzentrieren, anderen Aspekten unseres Produkts einen Mehrwert zu bieten.“

Ebenso wichtig ist, dass Jobcase durch die Verwendung von Amazon-Redshift-ML seine ML-Workloads skalieren kann, ohne die Kosten zu erhöhen. „Um in dieser Größenordnung auf einem anderen System eine hohe Leistung zu erzielen, müssten wir viel Zeit und Geld aufwenden, um es zu optimieren“, sagt Joshi. Stattdessen sah sich das Unternehmen zu Beginn der Nutzung von Amazon Redshift ML mit keinem Kostenanstieg konfrontiert, da die Funktion innerhalb seines bestehenden Amazon-Redshift-Clusters funktioniert. Die Flexibilität der Arbeit in der Cloud macht es Jobcase einfach, in großem Maßstab zu arbeiten, auch wenn die Nutzerbasis des Unternehmens wächst. „Wir waren schon immer auf dem neuesten Stand der Technik, als wir auf AWS aufbauten“, sagt Joshi. „Wir hatten eine großartige Beziehung zu den Teams von AWS, und das war phänomenal.“