Nasdaq ist mithilfe von AWS Vorreiter bei der Speicherung von Börsendaten in der Cloud

2020

Nasdaq ist ein multinationales Unternehmen für Finanzdienstleistungen und Technologie, das den Nasdaq Stock Exchange besitzt und betreibt. Das Unternehmen betreibt insgesamt 27 Börsen, einen Zentralverwahrer und Clearinghäuser über eine Vielzahl von Anlagekategorien in Nordamerika und Europa. Nasdaq beherbergt weltweit fast 4 000 börsennotierte Unternehmen und stellt seine geschäftskritische Technologie auch anderen Börseninfrastrukturbetreibern in 50 Ländern zur Verfügung.

Die Wertpapierbörse Nasdaq ist der Menge nach der größte Aktienmarkt weltweit und verwaltet das Matching von Käufern und Verkäufern in riesigen Mengen und mit hoher Geschwindigkeit. Gleichzeitig stellt sie Daten bereit, die die Aktienkurse in elektronisch eingegebenen Transaktionen speisen. Das Unternehmen nutzt eine interne Anwendung, um alle geschützten Börsendaten zu sammeln und aufzubewahren. „Dazu gehören Bestellungen, Kurse, Transaktionen und Stornierungen“, erklärt Robert Hunt, Vice President of Software Engineering bei Nasdaq. Jede Nacht erhält Nasdaq Milliarden von Datensätzen, die für Abrechnungs- und Berichterstattungsprozesse vor dem Öffnen des Marktes am nächsten Morgen geladen werden müssen.

Die Geschwindigkeit und das Volumen haben sich mit der Einführung von automatisierten Handelsplattform auf dem Markt erhöht. 2014 wechselte Nasdaq von einem Legacy-On-Premises Data Warehouse zu einem Data Warehouse von Amazon Web Services (AWS), das von einem Amazon Redshift-Cluster betrieben wird. Das Ziel war, den Umfang und die Leistung zu erhöhen sowie die Betriebskosten zu senken. Dieses Amazon Redshift-Cluster wurde zwischen 2014 und 2018 auf 70 Knoten erweitert, als das Unternehmen die Lösung in allen seine Börsen in Nordamerika implementierte. Bis zum Jahr 2018 hat die Lösung Finanzmarktdaten von Tausenden von Quellen erfasst, in einem Bereich von 30 Milliarden bis 55 Milliarden Datensätze und hat 4 Terabyte überschritten.

Im Laufe der Zeit hat das Datenwachstum zu einer Änderung des Ansatzes dieser Datenverwaltung zur Analytik geführt. Die nächtliche Batch-Verarbeitung am Warehouse verursachte Schwierigkeiten bei der Verarbeitung enormer Mengen und somit der Einhaltung strenger Fristen. Nutzer verlassen sich bei der Abrechnung, der Berichterstattung und der Überwachung auf diese Daten. „Als die Marktschwankungen im Frühjahr 2018 zunahmen, verzeichneten Datenvolumen für das Warehouse einen deutlichen Anstieg, mit einem Höchststand von ca. 55 Milliarden Datensätzen pro Tag im Jahr 2018,“ so Hunt.

Ausgeklügeltere Handelspraktiken führen zu einem massiven Wachstum der Daten und es war wichtig, dass Nasdaq mit der Planung der Weiterentwicklung der neuen Architektur begann, um die Leistungsstandards und betriebliche Exzellenz zu erfüllen, die das Ökosystem erwartet. „Wir müssen die 30 Milliarden Daten laden und verarbeiten und zwar in der Zeit zwischen dem Schließen der Börsen am Abend und dem Öffnen am nächsten Morgen. Das Laden der Daten verzögerte die Bereitstellung unserer Berichte“, sagt Hunt. „Wir mussten in der Lage sein, unsere Daten möglichst schnell in unsere Datenspeicherlösung zu schreiben oder zu laden, ohne dabei das Auslesen und Abfragen der Daten zu behindern.“

Nasdaq migriert sein wachsendes Data Warehouse in eine modernere Data-Lake-Architektur (2:25)
kr_quotemark

Dank der Flexibilität und Skalierbarkeit von Amazon S3 und Amazon Redshift konnten wir die Zahl problemlos von 30 Milliarden auf 70 Milliarden Datensätze am Tag erhöhen.“

Robert Hunt
Vice President of Software Engineering, Nasdaq

AWS Services für Flexibilität, Skalierbarkeit und Leistung

2018 entschied sich Nasdaq, das Grundgerüst eines neuen Data Lake auf Amazon Simple Storage Service (Amazon S3) zu entwickeln. Dadurch war die Firma in der Lage, Computing und Speicher zu trennen und jeweils unabhängig voneinander zu skalieren. Bei herkömmlichem Data Warehousing müssen die Speicherkapazität und die Rechenkapazität oft gleichzeitig skaliert werden, da die Anwendung und der Speicher eng verbunden sind. Außerdem sind Hardwareanpassungen vor Ort erforderlich, um das Verhältnis zwischen den beiden zu ändern. „Zusätzlich zu der Flexibilität, die eine Trennung von Computing und Speicher bietet, verfügt Amazon S3 über bessere Möglichkeiten zur Skalierung in Bezug auf gleichzeitiges Schreiben und Lesen großer Datensätze“, so Hunt. „Amazon S3 gab uns eine Lösung, die null Konflikt zwischen dem Laden von Daten und Abfrageprozessen verursacht.“

Durch Integration von AWS Identity and Access Management (AWS IAM)-Richtlinien, bietet Amazon S3 auch umfassende Zugangskontrolle bei mehreren AWS-Konten. Nasdaq nutzt Amazon S3 auch, um wichtige Finanzdaten zu speichern und in Amazon S3 Glacier zu verschieben. Dort können sie bei geringeren Kosten archiviert werden. Das Unternehmen verlässt sich auf die Amazon S3 Object Lock-Funktion, um die Compliance zu fördern.
 
Im Januar 2019 nahm Nasdaq an einem AWS Data Lab teil, wo das Unternehmen mit AWS-Lösungsarchitekten und Analytik-Service-Experten arbeitete, die detaillierte Anweisungen zum Überdenken der Art und Weise gaben, wie Nasdaq Data Warehousing implementierte. Während des viertägigen Data Labs entwickelte Nasdaq eine neue Methode für die Bereitstellung von Analytik: mit Amazon Redshift als Computing-Ebene. Daraufhin begann das Unternehmen, Amazon Redshift Spectrum zu verwenden, eine Funktion, die eine Lake House-Architektur betreibt. Damit werden sowohl die Daten im Data Warehouse als auch die im Amazon-S3-Data-Lake abgefragt. „Wir leiten alle Daten aus unseren intern betriebenen Börsen an Amazon S3 und Amazon Redshift Spectrum“, erklärt Hunt. „Dazu gehören Bestellungen, Stornierungen, Kurse und Transaktionen. Diese werden in Nachrichten umgewandelt und in Amazon S3 archiviert und diese Nachrichten treiben unserer nachgelagerten Überwachungsprozesse für die Abrechnung und Berichterstattung voran.“
 
Der neu Data Lake enthält 15 Terabyte Daten auf Amazon S3, die Nasdaq vor Ort abfragen kann, ohne sofort Daten zu laden und Daten in Amazon S3 schreiben zu müssen. So werden schnell Erkenntnisse gewonnen und das Wirtschaftsforschungsteam bei Nasdaq kann Datenanalysen durchführen und komplexe Abfragen gegen die Daten ausführen. Außerdem fragt das Überwachungsteam des Unternehmens den Data Lake ab, nachdem es Anfragen von der US-amerikanischen Securities and Exchange Commission (SEC) erhält.

Was als auf Leistung fokussierte Lösung begann, ist nun ein Data Lake für eine Reihe von Anwendungen, der von mehreren Teams geteilt wird und dem Unternehmen zusätzlichen Nutzen bietet.

Skalierung auf 70 Milliarden Datensätze am Tag

Da Computing und Speicher unabhängig voneinander skaliert werden, kann Nasdaq mit seiner Computing-Ebene die große Menge an Transaktionen bewältigen. Der auf dem Speicher von Amazon S3 aufgebaute Data Lake verarbeitet problemlos immer größere und komplexere Daten. Zum Beispiel erreichten die Marktschwankungen Ende Februar 2020 einen Höhepunkt am Anfang der COVID-19-Pandemie und die Lösung und die skalierte Lösung zur Unterstützung einer Datenerfassung von 70 Milliarden Datensätzen täglich, mit einem Volumenhöhepunkt von 113 Milliarden Datensätzen.
 
„Dank der Flexibilität und Skalierbarkeit von Amazon S3 und Amazon Redshift konnten wir die Zahl problemlos von 30 Milliarden auf 70 Milliarden Datensätze am Tag erhöhen.“ „Wir hielten mit dem Anstieg der Datenmenge Schritt und stellten die nötigen Abrechnungs-, Berichterstattungs- und Überwachungsdaten bereit, um unsere Verpflichtungen gegenüber der Börse zu erfüllen.“ Nasdaq kann seine Umgebung auch ganz schnell und einfach wieder herunterskalieren. So wird Leerkapazität vermieden, wenn sich der Markt wieder beruhigt.

5 Stunden schnelleres Laden von Börsendaten für Berichterstattungen

Mit der neuen auf Amazon S3 und Amazon Redshift basierenden Lake House-Architektur erreicht Nasdaq seine 90-Prozent-Marke für einen um 5 Stunden schnelleren Abschluss des Ladevorgangs der Daten. Durch die Optimierung des Data Warehouses war das Unternehmen außerdem in der Lage, Amazon Redshift-Abfragen 32 % schneller auszuführen. „Dank dieser Verbesserungen haben wir unsere Abrechnungs- und Berichterstattungsprozesse beschleunigt“, sagt Hunt. „Wir sind beispielsweise bereits ein oder zwei Stunden nach dem Schließen der Börse mit dem Einspeisen der Daten fertig. Damit haben wir einen Vorsprung für die Abrechnung und Berichterstattung. Das ist bei der Bewältigung von Volumenanstiegen, die wir vor Kurzem festgestellt haben, unglaublich hilfreich und hilft uns dabei, die Fristen unserer internen Kunden einzuhalten.“
 
Im Laufe der Zeit haben der Amazon-S3- und der Amazon-Redshift-Data-Lake die Transformation bei Nasdaq ermöglicht. „Wir haben die Möglichkeit, unsere Branchenexpertise zu nutzen und uns darauf zu konzentrieren, für Nasdaq Innovationen zu entwickeln, während AWS für die Cloud-Expertise zuständig ist“, so Hunt. „Wir werden auch in Zukunft neue AWS-Services und -Technologien nutzen, wenn sie für die Börse relevant sind.“

Informationen zu Nasdaq

Nasdaq wurde 1971 gegründet und hat seinen Sitz in New York City. Das multinationale Finanzdienstleistungsunternehmen besitzt und betreibt die Wertpapierbörse Nasdaq und 8 europäische Börsen. An den Börsen von Nasdaq sind fast 4 000 Unternehmen aus 50 Ländern gelistet.

Vorteile von AWS

  • Erfasst 70 Milliarden Datensätze pro Tag
  • Lädt Finanzmarkt-Daten 5 Stunden schneller hoch
  • Führt Abfragen auf Amazon Redshift um 32 % schneller aus
  • Treibt die Unternehmens-Transformation mit freigegebenen Daten voran
  • Beflügelt die Innovation mit zusätzlichen Anwendungsfällen


Genutzte AWS-Services

Amazon Simple Storage Service

Amazon Simple Storage Service (Amazon S3) ist ein Objektspeicherservice, der branchenführende Skalierbarkeit, Datenverfügbarkeit, Sicherheit und Leistung bietet.

Weitere Informationen »

Amazon Redshift

Amazon Redshift kombiniert die Leistungsfähigkeit von Data Warehousing mit der unbegrenzten Flexibilität und Skalierbarkeit von Data Lakes.

Weitere Informationen »

AWS Identity and Access Management

Mit AWS Identity and Access Management (IAM) können Sie den Zugriff auf AWS-Services und -Ressourcen sicher verwalten.

Weitere Informationen »

Amazon S3 Glacier

Amazon S3 Glacier und S3 Glacier Deep Archive sind sichere, dauerhafte und äußerst kostengünstige Amazon-S3-Cloud-Speicherklassen für Datenarchivierung und langfristigen Backup.

Mehr erfahren »

Weitere Nasdaq-Geschichten

Keine Elemente gefunden 

1

Erste Schritte

Organisationen aller Größen aus verschiedenen Sektoren transformieren ihre Unternehmen und erfüllen ihre Missionen täglich mithilfe von AWS. Kontaktieren Sie unsere Experten und begeben Sie sich noch heute Ihren Weg zu AWS.