Ogury und die Herausforderung, den wachsenden Analysebedarf zu erfüllen und gleichzeitig die Kosten zu optimieren

Um die Herausforderung zu meistern, mehr Daten zu analysieren, ohne dass die Infrastrukturkosten explodieren, setzte Ogury Spot-EC2-Instances ein und konnte so die Kosten für Big-Data-EMR-Cluster um 57 % senken.

Das Team wollte seine Infrastruktur skalieren, um mit der sehr schnellen Entwicklung des Unternehmens Schritt zu halten und gleichzeitig die Kosten zu kontrollieren und sich vom grundlegenden Infrastrukturmanagement zu befreien.

Wenn Skalierung und Kostenoptimierung Hand in Hand gehen

Ogury analysiert täglich Dutzende von Terabytes aus 400 Millionen Profilen weltweit, die der Weitergabe dieser Daten zugestimmt haben. Diese werden gefiltert, normalisiert und in einem Data Lake analysiert. Die aus diesen Analysen gewonnenen Erkenntnisse ermöglichen die Aktivierung von Werbung. Mit der Notwendigkeit konfrontiert, die Kosten für die Ausführung dieser Aktionen zu optimieren und gleichzeitig zu skalieren, wandte sich Ogury an AWS. Im Sommer 2015 war Ogury komplett zu AWS migriert.

Bei AWS ist bereits alles vorbereitet. Wir haben zum Beispiel sehr schnell Amazon EMR eingesetzt. Wir begannen, große Datenmengen zu analysieren, und wir brauchten diesen Service, um die Verwaltung von Big-Data-Clustern nicht selbst übernehmen zu müssen und Zeit zu sparen“, erklärt Olivier Bazoud.
Mit dem Wechsel zu AWS wollte Ogury in puncto Geschwindigkeit und Volumen viel mehr erreichen, ohne dass die Kosten im Verhältnis dazu steigen. Durch viel Arbeit an der Optimierung der eingesetzten Services konnte das Unternehmen dieses Ziel erreichen.

Mehr Daten analysieren, ohne explodierende Infrastrukturkosten

Amazon EMR ermöglicht es Ogury, Daten zu analysieren, mit einem ersten Schritt der Datenbereinigung: Bereinigung der Daten, Entfernen von Duplikaten, Normalisieren der Daten, Aggregieren der Daten. Zweitens leitet Ogury mit Machine Learning oder Statistiken übergeordnete Informationen ab, z. B. Altersgruppen, die beim Targeting von Kampagnen helfen.

Alle Daten, mehrere Peta, werden in Amazon S3 im Managed Service gespeichert, was Ogury einen zuverlässigen Service und eine gewisse Benutzerfreundlichkeit bietet, da Amazon EMR Daten direkt aus diesem Speicherplatz liest. Die Produkte werden auf Amazon-EC2-Instances, in Microservices oder im Back-Office installiert. „Durch den Einsatz von Amazon-EC2-Spot-Instances konnten wir erhebliche Einsparungen erzielen und die Kosten für unsere Big-Data-EMR-Cluster um 57 % senken“, bemerkt Olivier Bazoud.

Ogury erfasst und analysiert die Customer-Journey-Daten seiner Nutzer durch die Kombination mit noSQL-Amazon-DynamoDB-Datenbanken für die Zustimmung. „Wir verwenden sie als verwaltete Datenbank, was uns Zeit spart“, erklärt Olivier Bazoud. Wir können uns darauf konzentrieren, Entwicklern zu helfen, ohne die Datenbank optimieren zu müssen. Sie ist mit dem Traffic gekoppelt, was eine Skalierung ermöglicht, um der Last gewachsen zu sein.“

Amazon Redshift ist das Data Warehouse von Ogury und ermöglicht es, diese Daten abzufragen, Studien durchzuführen oder das Targeting von Kampagnen für bestimmte Benutzer (die anonymisiert sind) zu verfeinern.

Und zum Schluss archiviert Ogury seine Daten auf Amazon S3 Glacier und nutzt die Amazon-EC2-Reserved-Instances, um wiederum die Kosten zu senken. „Wir haben auch viel mit AWS zusammengearbeitet, um die Kosten für Amazon Cloudfront zu optimieren. Die Daten, die wir analysieren, verbrauchen eine Menge Bandbreite, um uns zu erreichen, und das hat erhebliche Kosten zur Folge.“

Reaktionsfähigkeit und Verkürzung der Markteinführungszeit

„AWS hat uns bei unserer Skalierung unterstützt. Ohne AWS wäre es kompliziert gewesen, und noch komplizierter, es zum Beispiel selbst vor Ort zu machen. Wir hätten nicht die gleiche Geschwindigkeit der Implementierung gehabt. Die Entwicklung des Unternehmens ging jedoch sehr schnell, wir mussten mit der Infrastruktur mithalten. AWS hat uns das ermöglicht“, so Olivier Bazoud.

Ogury verkürzt auch seine Markteinführungszeit. Etwa hundert Mitarbeiter arbeiten in der Forschung und Entwicklung, deren Herzstück auf der Technologie basiert. „Die Verwendung von AWS ermöglicht es uns, schneller als unsere Konkurrenz zu sein. Das ist eine kontinuierliche Verbesserung, wir sind im agilen Modus. Das Entwicklungsteam veröffentlicht alle zwei Wochen oder öfter neue Funktionen. “ Laut Olivier Bazoud braucht Ogury die Reaktionsfähigkeit der AWS-Services.

Wachstumsziele dank einer soliden Infrastruktur beibehalten
„Um diese Infrastruktur über 4 Regionen hinweg zu verwalten, mit riesigem Traffic-Volumen, ist das Team recht klein. Wir unterstützen das Wachstum und die Skalierung von Ogury, und das ist es, was AWS uns mit Zuversicht tun lässt. Zu keinem Zeitpunkt hat die Infrastruktur das Wachstum des Unternehmens gebremst. Sie ist kein Hindernis mehr für die Entwicklung eines Unternehmens, wie es bei alten Modellen der Fall sein kann, oder bevor es die Cloud gab und die Bereitstellung in Monaten gezählt wurde. Die Größe und das Wachstum ist darauf zurückzuführen, dass die Infrastruktur diesem exponentiellen Wachstum standgehalten hat.“