Auf der Startseite der Website Woot.com gibt es immer etwas Neues. Auf Woot, der 2004 gegründeten und 2010 von Amazon übernommenen Original-Website für Angebote des Tages, werden täglich – manchmal alle 30 Minuten – neue Sonderangebote für Elektronik, Kleidung und Outdoor-Ausrüstung, Sportgeräte, Haushaltswaren und andere Produkte angeboten.
Im Jahr 2018 beschloss das Unternehmen, dass es auch im Backend der Website Zeit für einen Wechsel sei. Woot wollte sein veraltetes Data Warehouse – basierend auf dem Amazon Relational Database Service (RDS) für Oracle Database – verwerfen und zu einer Cloud-basierten Data-Warehousing-Lösung in Amazon Web Services (AWS) wechseln.
Zu den Herausforderungen, die das Legacy-Warehouse für das Unternehmen mit sich brachte, gehörten die Notwendigkeit neuer benutzerdefinierter Pipelines bei jedem Hinzufügen von Datenquellen, deren Aufbau manchmal Wochen dauerte; ein umständlicher Abfrageprozess, der dazu führte, dass einige potenziell wertvolle Abfragen gar nicht erst in Angriff genommen wurden; und die Notwendigkeit, den Benutzerzugriff auf das Data Warehouse stark einzuschränken, da es sich im Produktions-AWS-Konto des Unternehmens befand.
Heute betreibt Woot ein serverloses Data Warehouse, das auf Amazon Kinesis Data Firehose und Amazon Simple Storage Service (Amazon S3) für die Aufnahme und Speicherung von Daten basiert. Es verwendet AWS Lambda zur Orchestrierung von AWS Glue für ETL-Job-Scheduling und Metadaten-Verwaltungsaufgaben. Amazon Athena und Amazon QuickSight bieten leistungsstarke, benutzerfreundliche Abfragen und Datenvisualisierung – auch für Benutzer ohne SQL-Kenntnisse. Alles befindet sich außerdem in einem separaten Data-Warehouse-Konto, das vollständig vom Produktionskonto des Unternehmens getrennt ist.
Wie hat sich Woot bei der Bandbreite an Möglichkeiten, die AWS für die Gewinnung, Verwaltung und Analyse von Erkenntnissen aus Daten zur Verfügung stellt, für die gewählte Lösung entschieden? Kurz gesagt, indem es den Kunden zuhörte – in diesem Fall den vielen verschiedenen Mitarbeitern, die sich auf das Data Warehouse verlassen, um den Woot-Kunden großartige Erfahrungen zu bieten.
"Ich wollte, dass dieses Projekt eine Kraft des Guten innerhalb von Woot ist", sagt Chaya Carey, Data Engineer bei Woot und die einzige Mitarbeiterin, die für die Verwaltung des Data Warehouse des Unternehmens verantwortlich ist. "Angesichts unseres engen Zeitplans war es verlockend, einfach eine Liste von Anforderungen zu erstellen, sie auszuführen und sich später um technische Probleme zu kümmern. Stattdessen haben wir viel Zeit damit verbracht, darüber zu sprechen, wer das Data Warehouse benutzte, mit welchen Herausforderungen sie konfrontiert waren und wofür sie die Daten verwenden mussten."
Durch diese Gespräche entwickelte Carey ein Ziel für das neue Data Warehouse: den Übergang zu einem Modell der gemeinsamen Datenverantwortung, das es ihr erspart, für jeden neuen Dienst oder jede Dienständerung kundenspezifische Pipelines zu erstellen oder anzupassen. "Ich wollte, dass die Dienste Daten an das Data Warehouse senden und dass sie mit minimalen Eingriffen akzeptiert werden", sagt sie. "Aber ich musste einen einfachen Weg finden, um Daten zu pushen, der außerdem zu den vorhandenen Fähigkeiten der Entwickler passte."
Mit AWS Software Development Kits (SDKs) für die verschiedenen bei Woot verwendeten Programmiersprachen und Plattformen fand Carey eine passende Lösung für die Entwickler, um Daten an den Kinesis Data Firehose Delivery Stream des Data Warehouse zu senden.
"Anstatt einen Batch-Job zu erstellen, um Daten von einem Dienst zu senden, müssen Entwickler jetzt nur noch einen API-Aufruf hinzufügen, der die Daten an den Firehose-Endpunkt pusht", so Carey. "Kinesis Data Firehose machte das Modell der gemeinsamen Verantwortung viel verlockender für unsere Entwickler. Dies war ein großer Gewinn für die Migration, denn wir haben die Zeitverzögerung beseitigt, die wir früher für das Hinzufügen neuer Dienste oder die Anpassung an Änderungen in bestehenden Diensten hatten."
Ob Buchhalter, Finanzanalysten, Bestandsanalysten, Vendormanager und Kundendienstmitarbeiter – durch die Wahl von Amazon Athena und QuickSight für die Datenabfrage und -visualisierung hat Woot das Leben vieler Mitarbeiter wesentlich erleichtert, die für ihre Aufgaben auf Informationen aus dem Woot Data Warehouse angewiesen sind, denen es jedoch an datenwissenschaftlichen oder Business-Intelligence-Kenntnissen fehlt.
"Bei Abfragen in der vorherigen Lösung mussten sie ein Ticket öffnen, die Genehmigung des Managers einholen, auf ein Passwort warten, das nur für 90 Tage gültig war – und darüber hinaus SQL verstehen, um die Abfrage zu schreiben", sagt Carey. "Mit Amazon QuickSight kann jetzt jeder ohne SQL-Kenntnisse Diagramme und andere Visualisierungen einfach per Drag & Drop erstellen. Für Mitarbeiter, die eine weitergehende Anpassung wünschen, gibt es eine Option zur Abfrage über die Athena-Konsole, aber auch hier sind keine SQL-Kenntnisse erforderlich."
Nicht nur der Abfrageprozess ist jetzt einfacher, sondern auch die Abfragen selbst nehmen viel weniger Zeit in Anspruch. "Jeder Nutzer, mit dem wir gesprochen haben, hat uns gesagt, wie viel schneller die Abfrage in Amazon Athena ist", sagt Carey. "Wir hören auch, dass Abfragen, die vorher zu komplex waren, auf Athena problemlos laufen, was bedeutet, dass noch mehr Fragen beantwortet werden können als vorher."
Weil die AWS-Tools in der neuen Lösung so benutzerfreundlich sind, geht eine wachsende Zahl von Mitarbeitern bei der Beantwortung von Fragen einen Self-Service-Ansatz ein. "Die Menschen sind von den Visualisierungen, die sie in QuickSight erstellen können, so beeindruckt, dass sie nach immer mehr Möglichkeiten suchen, es zu nutzen", sagt Carey. "Wir haben nur vier BI-Mitarbeiter, die immer mehr Anfragen hatten, als sie bearbeiten konnten. Jetzt können nicht-technische Mitarbeiter Amazon QuickSight nutzen, um selbst Informationen zu erhalten, so dass die Woot-BI-Ressourcen mehr Zeit für strategische Projekte haben."
Carey sagt, dass mit der Migration nicht nur die Herausforderungen der früheren Lösung angegangen wurden, sondern Woot auch in die Lage versetzt wurde, mit den vielen anderen auf AWS verfügbaren Tools und Diensten zu experimentieren – und obendrein Geld zu sparen. "Durch die Umstellung auf die serverlose Data-Warehouse-Lösung von AWS konnten wir die Betriebskosten unseres Data Warehouse um fast 90 Prozent senken", sagt Carey. Sie freut sich auch darüber, dass sie aufgrund der serverlosen Architektur der neuen Lösung endlich drei Wochen Urlaub nehmen konnte, ohne einmal angepiept zu werden.
Carey fügt hinzu: ""Die Tatsache, dass sich das Data Warehouse jetzt in einem eigenen Account befindet und alles in Amazon S3 speichert, ermöglicht mir und unseren BI-Ingenieuren, andere Technologien wie Amazon Elastic MapReduce, Amazon SageMaker und Amazon Redshift Spectrum kennenzulernen und nahtlos zu integrieren. Wir sind wirklich gespannt, welche Möglichkeiten sich uns eröffnen."
Weitere Informationen erhalten Sie unter aws.amazon.com/what-is/data-warehouse/.