nasdaq-200x70

Nasdaq ist dank AWS Vorreiter bei der Speicherung von Börsendaten in der Cloud

2020

Nasdaq ist ein multinationales Unternehmen für Finanzdienstleistungen und Technologie, das die Wertpapierbörse Nasdaq besitzt und betreibt. Insgesamt betreibt das Unternehmen insgesamt 27 Börsen, eine zentrale Wertpapierverwahrungsstelle und ein Clearinghaus in Nordamerika und Europa, verteilt auf eine Vielzahl von Anlagekategorien. Nasdaq beherbergt weltweit fast 4 000 börsennotierte Unternehmen und stellt seine geschäftskritische Technologie auch anderen Börseninfrastrukturbetreibern in 50 Ländern zur Verfügung.

Die Wertpapierbörse Nasdaq ist der Menge nach der größte Aktienmarkt weltweit und verwaltet das Matching von Käufern und Verkäufern in riesigen Mengen und mit hoher Geschwindigkeit. Gleichzeitig stellt sie Daten bereit, die die Aktienkurse in elektronisch eingegebenen Transaktionen speisen. Das Unternehmen nutzt eine interne Anwendung, um die geschützten Börsendaten zu sammeln und aufzubewahren. „Dazu gehören Ordern, Kurse, Transaktionen und Stornierungen“, erklärt Robert Hunt, Vice President of Software Engineering bei Nasdaq. Jede Nacht erhält Nasdaq Milliarden von Datensätzen, die für Abrechnungs- und Berichterstattungsprozesse geladen werden müssen, bevor die Börsen am nächsten Tag aufmachen.

Mit dem Aufkommen automatisierter Handelsplattformen sind die Geschwindigkeit und die Menge der Transaktionen gestiegen. 2014 wechselte Nasdaq von einem On-Premises Data Warehouse zu einem Data Warehouse von Amazon Web Services (AWS), das von einem Amazon Redshift-Cluster betrieben wird. Das Ziel war, den Umfang und die Leistung zu erhöhen sowie die Betriebskosten zu senken. Dieses Amazon Redshift-Cluster wurde zwischen 2014 und 2018 auf 70 Knoten erweitert, als das Unternehmen die Lösung in allen seine Börsen in Nordamerika implementierte. Bis 2018 wurden mit der Lösung jede Nacht Finanzmarktdaten aus Tausenden von Quellen eingespeist. Diese Daten umfassten zwischen 30 und 55 Milliarden Datensätze und mehr als 4 Terabyte.

Mit der Zeit führte die wachsende Datenmenge zu einer Änderung des Ansatzes, wie diese Daten für Analysen verwaltet werden. Die nächtliche Batch-Verarbeitung am Warehouse verursachte Schwierigkeiten bei der Verarbeitung enormer Mengen und somit der Einhaltung strenger Fristen. Nutzer verlassen sich bei der Abrechnung, der Berichterstattung und der Überwachung auf diese Daten. „Als Anfang 2018 die Marktvolatilität stieg, stiegen auch die Datenmengen im Warehouse, mit Spitzenwerten von ungefähr 55 Milliarden Datensätzen pro Tag“, so Hunt.

Komplexere Handlungspraktiken führten zu einem enormen Datenwachstum. Für Nasdaq war es von entscheidender Bedeutung, eine neue Architektur zu entwickeln, um weiterhin die gleichen Leistungsstandards und die gleiche betriebliche Exzellenz zu erreichen. „Wir müssen die 30 Milliarden Daten laden und verarbeiten und zwar in der Zeit zwischen dem Schließen der Börsen am Abend und dem Öffnen am nächsten Morgen. Das Laden der Daten verzögerte die Bereitstellung unserer Berichte“, sagt Hunt. „Wir mussten in der Lage sein, unsere Daten möglichst schnell in unsere Datenspeicherlösung zu schreiben oder zu laden, ohne dabei das Auslesen und Abfragen der Daten zu behindern.“

Nasdaq migriert sein wachsendes Data Warehouse in eine modernere Data Lake-Architektur (2:25)
kr_quotemark

„Dank der Flexibilität und Skalierbarkeit von Amazon S3 und Amazon Redshift konnten wir die Zahl problemlos von 30 Milliarden auf 70 Milliarden Datensätze am Tag erhöhen.“

Robert Hunt
Vice President of Software Engineering, Nasdaq

AWS Services für Flexibilität, Skalierbarkeit und Leistung

2018 entschied sich Nasdaq, das Grundgerüst eines neuen Data Lake auf Amazon Simple Storage Service (Amazon S3) zu entwickeln. Dadurch war die Firma in der Lage, Datenverarbeitung und Speicher zu trennen und jeweils unabhängig voneinander zu skalieren. Bei herkömmlichem Data Warehousing müssen die Speicherkapazität und die Rechenkapazität oft gleichzeitig skaliert werden, da die Anwendung und der Speicher eng verbunden sind. Außerdem sind Onsite-Hardwareanpassungen erforderlich, um das Verhältnis zwischen den beiden zu ändern. „Zusätzlich zu der Flexibilität, die eine Trennung von Datenverarbeitung und Speicher bietet, verfügt Amazon S3 über bessere Möglichkeiten zur Skalierung in Bezug auf gleichzeitiges Schreiben und Lesen großer Datensätze“, so Hunt. „Mit Amazon S3 erhielten wir eine Lösung, bei der das Laden der Daten und Abfrageprozesse nicht miteinander konkurrierten.“

Durch die Integration von AWS Identity and Access Management (AWS IAM)-Richtlinien bietet Amazon S3 auch umfassende Zugriffskontrolle über mehrere AWS-Konten hinweg. Nasdaq nutzt Amazon S3 auch, um wichtige Finanzdaten zu speichern und in Amazon S3 Glacier zu verschieben. Dort können sie bei geringeren Kosten archiviert werden. Das Unternehmen nutzt Amazon S3 Object Lock, um zusätzliche Compliance zu ermöglichen.
 
Im Januar 2019 nahm Nasdaq an einem AWS Data Lab teil, wo das Unternehmen mit AWS-Lösungsarchitekten und Analyseserviceexperten zusammenarbeitete. Sie halfen Nasdaq dabei, eine neue Architektur für die Implementierung von Data Warehousing zu entwickeln. Während des viertägigen Data Labs entwickelte Nasdaq eine neue Methode für die Bereitstellung von Analysen: mit Amazon Redshift als Rechnerebene. Daraufhin begann das Unternehmen, Amazon Redshift Spectrum zu verwenden, ein Feature, das eine Lake House-Architektur betreibt. Damit werden sowohl die Daten im Data Warehouse als auch die im Amazon S3 Data Lake abgefragt. „Wir leiten alle Daten aus unseren intern betriebenen Börsen an Amazon S3 und Amazon Redshift Spectrum“, erklärt Hunt. „Dazu gehören Bestellungen, Stornierungen, Kurse und Transaktionen.“ „Diese werden in Nachrichten umgewandelt und in Amazon S3 archiviert. Diese Nachrichten fördern unsere nachgeschalteten Abrechnungs- und Berichtsüberwachungsprozesse.“
 
Der neue Data Lake umfasst 15 Terabyte an Daten auf Amazon S3, die Nasdaq ohne Laden an Ort und Stelle abfragen kann, direkt nachdem die Daten nach Amazon S3 geschrieben wurden. So werden schnell Erkenntnisse gewonnen und das Wirtschaftsforschungsteam bei Nasdaq kann Datenanalysen durchführen und komplexe Abfragen gegen die Daten ausführen. Außerdem fragt das Überwachungsteam des Unternehmens den Data Lake ab, nachdem es Anfragen von der US-amerikanischen Securities and Exchange Commission (SEC) erhält.

Was als auf Leistung fokussierte Lösung begann, ist nun ein Data Lake für eine Reihe von Anwendungen, der von mehreren Teams geteilt wird und dem Unternehmen zusätzlichen Nutzen bietet.

Skalierung auf 70 Milliarden Datensätze am Tag

Da Datenverarbeitung und Speicher unabhängig voneinander skaliert werden, kann Nasdaq mit seiner Rechnerebene die große Menge an Transaktionen bewältigen. Der auf dem Speicher von Amazon S3 aufgebaute Data Lake verarbeitet problemlos immer größere und komplexere Daten. Beispielsweise stieg die Marktvolatilität Ende Februar 2020, sprich zu Beginn der COVID-19-Pandemie, plötzlich an, und die Lösung wurde skaliert, um täglich 70 Milliarden Datensätze einzuspeisen – mit einer Rekordspitze von 113 Milliarden.
 
„Für uns war es dank der Flexibilität und Skalierbarkeit von Amazon S3 und Amazon Redshift überhaupt kein Problem, die Zahl von 30 Milliarden auf 70 Milliarden Datensätze pro Tag zu erhöhen“, so Hunt. „Wir hielten mit dem Anstieg der Datenmenge Schritt und stellten die nötigen Abrechnungs-, Berichterstattungs- und Überwachungsdaten bereit, um unsere Verpflichtungen gegenüber der Börse zu erfüllen.“ Nasdaq kann seine Umgebung auch ganz schnell und einfach wieder herunterskalieren. So wird Leerkapazität vermieden, wenn sich der Markt wieder beruhigt.

5 Stunden schnelleres Laden von Börsendaten für Berichterstattungen

Mit der neuen auf Amazon S3 und Amazon Redshift basierenden Lake House-Architektur erreicht Nasdaq seine 90-Prozent-Marke für einen um 5 Stunden schnelleren Abschluss des Ladevorgangs der Daten. Durch die Optimierung des Data Warehouses war das Unternehmen außerdem in der Lage, Amazon Redshift-Abfragen 32 Prozent schneller auszuführen. „Dank dieser Verbesserungen haben wir unsere Abrechnungs- und Berichterstattungsprozesse beschleunigt“, sagt Hunt. „Wir sind beispielsweise bereits ein oder zwei Stunden nach dem Schließen der Börse mit dem Einspeisen der Daten fertig. Damit haben wir einen Vorsprung für die Abrechnung und Berichterstattung. Das ist besonders hilfreich bei den plötzlich ansteigenden Mengen, wie das in letzter Zeit der Fall war. Außerdem ist es so einfacher für uns, die Fristen unserer internen Kunden zu erfüllen oder sogar zu übertreffen.“
 
Der Data Lake von Amazon S3 und Amazon Redshift hat den Wandel bei Nasdaq nach und nach möglich gemacht. „Wir haben die Möglichkeit, unsere Branchenexpertise zu nutzen und uns darauf zu konzentrieren, für Nasdaq Innovationen zu entwickeln, während AWS für die Cloud-Expertise zuständig ist“, so Hunt. „Wir werden auch in Zukunft neue AWS-Services und Technologien nutzen, wenn sie für die Börse relevant sind.“

Informationen zu Nasdaq

Nasdaq wurde 1971 gegründet und hat seinen Sitz in New York City. Das multinationale Finanzdienstleistungsunternehmen besitzt und betreibt die Wertpapierbörse Nasdaq und 8 europäische Börsen. An den Börsen von Nasdaq sind fast 4 000 Unternehmen aus 50 Ländern gelistet.

Vorteile von AWS

  • Einspeisen von 70 Milliarden Datensätzen pro Tag
  • 5 Stunden schnelleres Laden von Finanzmarktdaten
  • 32 % schnelleres Ausführen von Amazon Redshift-Abfragen
  • Geschäftstransformation dank geteilter Daten
  • Förderung von Innovation durch zusätzliche Anwendungsmöglichkeiten


Genutzte AWS-Services

Amazon Simple Storage Service

Amazon Simple Storage Service (Amazon S3) ist ein Objektspeicherservice, der branchenführende Skalierbarkeit, Datenverfügbarkeit, Sicherheit und Leistung bietet.

Weitere Informationen »

Amazon Redshift

Amazon Redshift kombiniert die Leistungsfähigkeit von Data Warehousing mit der unbegrenzten Flexibilität und Skalierbarkeit von Data Lakes.

Weitere Informationen »

AWS Identity and Access Management

AWS Identity and Access Management (IAM) ermöglicht Ihnen, Zugriff auf AWS-Services und -Ressourcen sicher zu verwalten.

Weitere Informationen »

Amazon S3 Glacier

Amazon S3 Glacier und S3 Glacier Deep Archive sind sichere, dauerhafte und äußerst kostengünstige Amazon S3-Cloud-Speicherklassen für Datenarchivierung und langfristige Sicherungen.

Weitere Informationen »


Erste Schritte

Unternehmen jeder Größe und jeder Branche transformieren jeden Tag ihr Geschäft mit AWS. Kontaktieren Sie unsere Experten und lernen Sie die AWS Cloud heute noch kennen.