Die meisten konkurrierenden Data Warehouse-Lösungen hätten uns bis zu eine Million Dollar im Jahr gekostet. Im Vergleich dazu kostet Amazon Redshift uns nur 100 000 Dollar insgesamt, wodurch etwa 90 % an Kosten gespart werden können. 
Joel Cumming Head of Data

Im Jahr 2009 gründete eine Gruppe talentierter Studenten der University of Waterloo in Kanada das Unternehmen Kik Interactive. Der Messaging-Dienst des Unternehmens, Kik Messenger, hat heute mehr als 275 Mio. Benutzer, hauptsächlich in den USA. Neben einer Reihe von kostenlosen Text-, Bild- und Videonachrichtsfunktionalitäten verfügt Kik Messenger über einen integrierten Browser, um auf Web-Inhalte zuzugreifen und diese zu durchsuchen. Kik bietet zudem Entwicklerwerkzeuge, die es Organisationen ermöglichen, ihre Webinhalte zu optimieren und diese ihren Benutzern auf der Kik-Plattform bereitzustellen.  

Um bereits vorhandene Benutzer zu binden und nachhaltiges Wachstum zu fördern, muss Kik einen Messaging-Dienst gewährleisten, der schnell ist, rasch reagiert und Benutzern immer zur Verfügung steht. Chris Fairles, Leiter des DevOps-Teams bei Kik, sagt: "Unsere Benutzer verlassen sich darauf, dass wir ihre Nachrichten jedes Mal in Echtzeit weiterleiten, und wir nehmen diese Verantwortung sehr ernst. Um unsere Dienste so gut wie möglich machen zu können, investieren wir in Technologien, die verlässlich, sicher und flexibel genug sind, um den sich verändernden Bedürfnissen der Benutzer zu entsprechen."

Eine weitere Herausforderung besteht darin, dass Kik auf seine Benutzer eingehen und sicherstellen muss, dass die neuesten Produktverbesserungen ihren Bedürfnissen entsprechen. "Wir verfügen über viele Daten über unsere Kunden und darüber, wie sie unsere Dienste nutzen. Diese Daten sind jedoch häufig nicht zugänglich und befinden sich in Protokolldateien und anderen Systemen des Unternehmens", so Fairles. "Um aus diesen Daten echte Erkenntnisse für unser Geschäft zu gewinnen und sicherzustellen, dass all unsere Entwicklungsentscheidungen auf handfesten Tatsachen beruhen, investieren wir massiv in die neuesten Big Data-Techniken und -Technologien."

Um ein bestmögliches Nutzungserlebnis zu bieten, setzt Kik eine Kombination aus firmeninternen Servern und Infrastruktur ein, die in der Cloud von Amazon Web Services (AWS) gehostet wird. Fairles erläutert: "Wir bieten unseren Benutzern mithilfe von AWS eine Reihe von Funktionalitäten, von Profilbildern und Bildnachrichten, über Videonachrichten und Kontenverwaltung."

Kiks AWS-Architektur beinhaltet Amazon Elastic Compute Cloud (Amazon EC2), Amazon Simple Storage Service (Amazon S3) und Amazon Virtual Private Cloud (Amazon VPC). Dabei wird Amazon CloudFormation genutzt, um nach Bedarf cloudbasierte Infrastruktur bereitzustellen und einzusetzen. "Mithilfe von AWS CloudFormation haben wir eine, wie wir sie nennen, 'Microservice'-Architektur eingeführt, bei der unsere gesamte AWS-Infrastruktur als Code definiert ist", so Fairles. "Demnächst werden wir auch Amazon CodeDeploy einführen. Dadurch sind wir dann in der Lage, standardisierte IT-Stacks schnell und einfach und praktisch ohne manuelle Bemühungen einzusetzen."

Durch AWS kann Kik seinen Benutzern außerdem das Erlebnis eines schnellen, rasch reagierenden Dienstes bieten. "Wir nutzen Amazon Direct Connect, um den Datenaustausch zwischen unserer internen Serverfarm und der AWS-Cloud zu beschleunigen. So werden Latenz und Jitter minimiert", erklärt Fairles. "Wir nutzen auch Amazon CloudFront und Amazon Route 53, um Inhalte zu den Eckpunkten zu leiten, die den Nutzern am nächsten sind. So wird unsere Anwendung unheimlich schnell und reagiert rasch, wo auch immer sich die Benutzer aufhalten."

Unter Verwendung der Microservice-Architektur hat Kik in AWS zudem eine komplexe Plattform zur Datenanalyse erstellt, um neue, Wert schaffende geschäftliche Erkenntnisse zu gewinnen und das Benutzererlebnis zu optimieren. Dies basiert auf Amazon EC2, Amazon S3 und Amazon VPC, Amazon Redshift bietet dabei die Data Warehouse-Kernfunktionalität.

Die Ausgangsdaten für die Analyseaktivitäten kamen ursprünglich aus Hunderten Terabyte von Protokolldaten, die zuvor in Amazon S3-Buckets gespeichert waren. Zur Zusammenfassung und Verarbeitung der Protokolldateien wurden Amazon Elastic Map Reduce (Amazon EMR) und Hadoop Pig-Skripts verwendet, bevor die Dateien in Amazon Redshift geladen wurden, wo sie weiter komprimiert wurden. "Unser Ausgangspunkt lag bei 500 Terabyte, jetzt verwalten wir nur noch 50 Terabyte an Daten, was unsere Aufgabe um einiges leichter macht."  

Kiks AWS Infrastruktur, die Auto Scaling beinhaltet, ermöglicht es dem Unternehmen, Messaging-Dienste und andere Inhalte viel kostengünstiger bereitzustellen. Kik zahlt außerdem nur für die Datenverarbeitungs- und Speicherressourcen, die tatsächlich genutzt werden. "Unsere AWS-Architektur wird in Zeiten mit hohem Datenaufkommen automatisch nach oben angepasst und wieder nach unten, wenn die Lage sich beruhigt", so Fairles. "Das bedeutet, dass wir nur für die Datenverarbeitungs- und Speicherressourcen zahlen, die wir nutzen, wodurch sich unser Geschäft viel mehr lohnt, als es sonst der Fall wäre."

Kik konnte mit AWS außerdem die Verfügbarkeit des Dienstes für Benutzer optimieren. "Alle Komponenten unserer AWS-Architektur sind vollständig redundant, weshalb wir erreichen können, dass Dienste selbst bei schwerwiegenderen technischen Störungen online bleiben", erklärt Fairles. "Wir nutzen zudem mehrere Availability Zones in AWS, um zu gewährleisten, dass unsere Anwendung den Benutzern immer zur Verfügung steht, selbst wenn ein ganzes AWS-Rechenzentrum nicht mehr verfügbar sein sollte."  

Mithilfe von Amazon Redshift kann Kik Interactive wertvolle Erkenntnisse aus seinen Kunden- und Betriebsdaten gewinnen. Joel Cumming, Leiter des Datenverarbeitungsteams bei Kik, sagt: "Wir sehen, wie verschiedene Benutzertypen mit unseren Diensten interagieren, und können ihre Bedürfnisse und Vorlieben identifizieren. Mit diesen Erkenntnissen können wir dann neue Entwicklungsprojekte angehen, Probleme bei unseren Diensten beheben, neue Märkte erschließen, ein personalisiertes Nutzungserlebnis bieten und die Kundenabwanderung minimieren."

Diese Erkenntnisse können mit Amazon Redshift viel kostengünstiger gewonnen werden, da die internen Hardware-, Software- und Supportanforderungen wegfallen. "Die meisten konkurrierenden Data Warehouse-Lösungen hätten uns bis zu eine Million Dollar im Jahr gekostet, einschließlich Erwerbskosten sowie laufende Wartung und Support", so Cumming. "Im Vergleich dazu kostet uns Amazon Redshift nur 100 000 Dollar insgesamt, wodurch etwa 90 Prozent an Kosten eingespart werden."

Vor kurzem konnte Kik durch ein kostenfreies Upgrade der Redshift-Hardware eine Steigerung von 30 Prozent bei der Data Warehouse-Leistung erzielen. "AWS aktualisiert seine Plattform laufend, wodurch wir mehr geschäftliche Erkenntnisse gewinnen können, und dies schneller, als es zuvor möglich war", erklärt Cumming. "Daher können wir mehr Daten aus mehr Quellen sammeln und neue Erkenntnisse in Bezug auf die Bedürfnisse unserer Kunden gewinnen – all das mit weniger Ressourcen."

Kürzlich setzte Kik AWS Lambda ein, was Cummings als die "nächste Herausforderung" für das Unternehmen im Bereich der Datenanalyse beschreibt. "Wir sind sehr gespannt", meint er. "AWS Lambda stellt automatisch die Infrastruktur bereit, die wir benötigen, um unsere Anwendungen zur Datenanalyse auszuführen, somit müssen wir dies nicht tun. Wir verbringen unsere Zeit nicht mehr damit, uns um Server zu kümmern, sondern können uns stattdessen auf das konzentrieren, was wir am besten können – geschäftliche Erkenntnisse gewinnen und das Benutzererlebnis verbessern."

Neben AWS Lambda verwendet Kik Amazon API Gateway und Amazon DynamoDB, die internen Diensten des Unternehmens sofortigen Zugriff auf benötigte Daten gewähren. "API Gateway hat es uns ermöglicht, sehr schnell komplexe statistische Modelle und Personalisierungen in unserem Produkt zu erhalten", so Cumming. "Wir haben die erste Iteration unserer internen Daten-API mit DynamoDB, Lambda und API Gateway sehr schnell entwickelt. Dienste innerhalb von Kik können jetzt personalisiert und angepasst werden, wie es so zuvor nicht möglich war."

Weitere Informationen dazu, wie AWS Ihnen helfen kann, die Kosten für die Datenverwaltung zu senken, erfahren Sie auf unserer Detailseite zu Big Data.