nasdaq-200x70

Nasdaq utilise AWS pour devenir un pionnier du stockage de données boursières dans le Cloud

2020

Nasdaq est une société multinationale de services financiers et de technologie qui possède et exploite la bourse du même nom, le Nasdaq. Nasdaq exploite 27 marchés au total, un référentiel de titres central et une chambre de compensation dans différentes classes de ressources, en Amérique du Nord et en Europe. L’organisation comprend sur ses marchés près de 4 000 sociétés cotées en bourse dans le monde entier, et fournit également sa technologie essentielle à d’autres opérateurs d’infrastructure de marché situés dans 50 pays.

La bourse Nasdaq est la plus grande franchise d’actions dans le monde en matière de volume. Elle gère la mise en relation des acheteurs et des vendeurs à un volume et à une vitesse élevés, tout en fournissant des données qui alimentent le cours des actions dans les opérations saisies électroniquement. Nasdaq utilise une application interne pour collecter et stocker toutes les données de bourse protégées. « Ces données comprennent les commandes, les devis, les transactions et les annulations », explique Robert Hunt, vice-président de l’ingénierie logicielle chez Nasdaq. Chaque nuit, Nasdaq reçoit des milliards d’enregistrements qui doivent être chargés pour les processus de facturation et de création de rapports, avant que les marchés n’ouvrent le matin suivant.

Lorsque les plateformes de commerce automatisées sont arrivées sur le marché, le rythme et le volume des transactions ont augmenté. En 2014, pour augmenter l’échelle et les performances tout en diminuant les coûts opérationnels, Nasdaq est passé d’un entrepôt de données hérité sur site à un entrepôt de données Amazon Web Services (AWS) alimenté par un cluster Amazon Redshift. Entre 2014 et 2018, lorsque la société a étendu sa solution pour soutenir tous ses marchés nord-américains, ce cluster Amazon Redshift est passé à 70 nœuds. En 2018, la solution intégrait les données de marchés financiers à partir de milliers de sources chaque nuit, allant de 30 à 55 milliards d’enregistrements pour un volume de plus de 4 téraoctets.

Au fil du temps, la croissance du nombre de données a modifié l’approche de gestion de ces données à des fins d’analytique. Le traitement par lots au cours de la nuit, exécuté dans l’entrepôt, causait des difficultés : il fallait traiter des volumes énormes pour respecter les délais serrés. Les utilisateurs s’appuient sur les données pour réaliser la facturation, la création de rapports et la surveillance. « Lorsque la volatilité du marché a augmenté, début 2018, les volumes de données pour l’entrepôt ont fortement augmenté, avec un pic à environ 55 milliards d’enregistrements par jour en 2018 », selon Robert Hunt.

Les pratiques boursières plus sophistiquées ont donné lieu à une forte croissance des données. Il était essentiel que Nasdaq commence à planifier le passage à une nouvelle architecture pour continuer à respecter les normes de performances et l’excellence opérationnelle attendues par l’écosystème. « Nous devons à la fois charger et consommer les 30 milliards d’enregistrements entre la clôture du marché et le matin suivant. Le chargement des données retardait la livraison de nos rapports », selon Robert Hunt. « Nous avions besoin de pouvoir écrire ou charger des données très rapidement dans notre solution de stockage de données, sans interférer avec la lecture et l’interrogation des données au même moment. »

Nasdaq migre son entrepôt de données croissant vers une architecture de lac de données moderne (2:25)
kr_quotemark

Nous avons pu facilement faire face au passage de 30 à 70 milliards d’enregistrements par jour, grâce à la flexibilité et à la scalabilité d’Amazon S3 et d’Amazon Redshift. »

Robert Hunt
Vice-président de l’ingénierie logicielle, Nasdaq

Utilisation d’AWS Services pour la flexibilité, la scalabilité et les performances

En 2018, Nasdaq a choisi de créer les bases d’un nouveau lac de données sur Amazon Simple Storage Service (Amazon S3). La société a ainsi pu séparer le calcul et le stockage et mettre à l’échelle chaque fonction indépendamment. Dans les déploiements d’entrepôts de données traditionnels, la mise à l’échelle de la capacité de stockage nécessite souvent de mettre à l’échelle la capacité de calcul en parallèle, car l’application et le stockage sont étroitement liés. Des modifications matérielles sur site étaient nécessaires pour tout changement apporté à l’un de ces aspects. « En plus de la flexibilité qu’apporte la séparation du calcul et du stockage, Amazon S3 offre de meilleures propriétés de mise à l’échelle en termes d’écriture et de lecture de grands ensembles de données simultanément », précise Robert Hunt. « Amazon S3 nous a fourni une solution permettant l’absence de contention entre les processus de chargement et d’interrogation des données. »

Grâce à son intégration des politiques AWS Identity and Access Management (AWS IAM), Amazon S3 fournit également un contrôle des accès complet sur plusieurs comptes AWS. De plus, Nasdaq utilise Amazon S3 pour stocker des données financières critiques et les faire basculer vers Amazon S3 Glacier, où elles peuvent être archivées à un coût inférieur. La société s’appuie sur la fonction Amazon S3 Object Lock pour renforcer la conformité.
 
En janvier 2019, Nasdaq a assisté à un AWS Data Lab et a collaboré avec des architectes de solutions AWS et des experts du service d’analytique, qui ont fourni des conseils architecturaux normatifs pour repenser la façon dont Nasdaq mettait en place l’entreposage de données. Grâce à ce labo sur quatre jours, Nasdaq a réinventé sa façon de livrer l’analytique en utilisant Amazon Redshift en tant que couche de calcul. Nasdaq a ainsi commencé à utiliser Amazon Redshift Spectrum, une fonction qui alimente une architecture Lake House pour interroger les données dans l’entrepôt de données et celles dans le lac de données Amazon S3. « Nous plaçons toutes les données issues de nos échanges internes dans Amazon S3 et Amazon Redshift Spectrum », explique Robert Hunt. « Cela inclut les commandes, les annulations, les devis et les transactions. Ces éléments sont transformés en messages et archivés dans Amazon S3. Ces messages déterminent nos processus de surveillance de la facturation et de la création de rapports en aval. »
 
Le nouveau lac de données contient 15 téraoctets de données sur Amazon S3, que Nasdaq peut interroger sur place sans charger de données, immédiatement après l’écriture des données dans Amazon S3. Le délai d’accès aux informations est ainsi minimal. L’équipe de recherche sur l’économie de Nasdaq peut donc effectuer une analyse des données et exécuter des requêtes complexes sur ces données. De plus, l’équipe de surveillance de la société interroge le lac de données lorsqu’elle reçoit des requêtes de la Securities and Exchange Commission (SEC) des États-Unis.

Initialement axée sur les performances, cette solution est devenue un lac de données multi-usage partagé entre les équipes, apportant un avantage supplémentaire à l’entreprise.

Mise à l’échelle pour prendre en charge 70 milliards d’enregistrements par jour

Grâce à la mise à l’échelle indépendante du calcul et du stockage, Nasdaq peut désormais adapter sa couche de calcul pour prendre en charge le volume des transactions. Le lac de données fondé sur le stockage Amazon S3 prend facilement en charge les données, dont le volume et la complexité continuent de croître. Par exemple, la volatilité du marché a connu un pic fin février 2020, au début de la pandémie de COVID-19. La solution a été mise à l’échelle pour prendre en charge l’ingestion de 70 milliards d’enregistrements par jour, avec un pic de volume à 113 milliards.
 
« Nous avons pu facilement prendre en charge le passage de 30 à 70 milliards d’enregistrements par jour grâce à la flexibilité et à la scalabilité d’Amazon S3 et d’Amazon Redshift », se réjouit Robert Hunt. « Nous avons fait face au pic en matière de volumes de données et avons fourni les processus de facturation, de création de rapports et de surveillance nécessaires pour respecter nos obligations envers le marché. » Nasdaq peut également diminuer son environnement, rapidement et facilement, pour éviter toute capacité superflue lorsque le marché se réajuste.

Chargement des données du marché pour créer un rapport en 5 heures de moins

Grâce à sa nouvelle architecture Lake House basée sur Amazon S3 et Amazon Redshift, Nasdaq atteint son point de repère de 90 % pour l’achèvement du chargement des données en 5 heures de moins qu’auparavant. De plus, en optimisant son entrepôt de données, la société a pu exécuter des requêtes Amazon Redshift 32 % plus rapidement. « Ces améliorations nous ont aidés à accélérer nos processus de facturation et de création de rapports », précise Robert Hunt. « Par exemple, nous avons fini d’intégrer des données en une heure ou deux après la clôture du marché, ce qui nous donne une longueur d’avance sur la facturation et la création de rapports. Cela nous est énormément utile lorsque nous traitons les pics de volume que nous avons perçus récemment, et cela nous aide à respecter ou réduire les délais pour nos clients internes. »
 
Au fil du temps, le lac de données Amazon S3 et Amazon Redshift a favorisé la transformation au sein de Nasdaq. « Nous pouvons nous concentrer sur notre expertise dans notre secteur afin d’innover pour Nasdaq, tout en nous appuyant sur AWS pour fournir l’expertise cloud », explique le vice-président. « À l’avenir, nous allons continuer de tirer parti des nouveaux services et technologies d’AWS, selon les besoins du marché. »

À propos de Nasdaq

Nasdaq, fondée en 1971 et basée à New York, est une société de services financiers multinationale qui possède et exploite la bourse du même nom, le Nasdaq, ainsi que huit bourses européennes. L’organisation comprend près de 4 000 sociétés cotées en bourse et situées dans 50 pays.

Avantages d'AWS

  • Intègre 70 milliards d’enregistrements par jour
  • Charge les données des marchés financiers en 5 heures de moins
  • Exécute les requêtes Amazon Redshift 32 % plus rapidement
  • Soutient la transformation métier grâce aux données partagées
  • Favorise l’innovation avec davantage de cas d’utilisation


Services AWS utilisés

Amazon Simple Storage Service

Amazon Simple Storage Service (Amazon S3) est un service de stockage d'objets qui offre une scalabilité, une disponibilité des données, une sécurité et des performances de pointe.

En savoir plus »

Amazon Redshift

Amazon Redshift vous offre le meilleur des entrepôts de données de haute performance avec la flexibilité et la scalabilité illimitées du stockage dans un lac de données.

En savoir plus »

AWS Identity and Access Management

AWS Identity and Access Management (IAM) vous permet de gérer de façon sécurisée l’accès aux services et ressources AWS.

En savoir plus »

Amazon S3 Glacier

Amazon S3 Glacier et S3 Glacier Deep Archive sont des classes de stockage dans le cloud Amazon S3 sécurisées, durables et à très faibles coûts qui permettent l'archivage et la sauvegarde à long terme des données.

En savoir plus »


Démarrer

Les entreprises de toutes tailles et de tous secteurs transforment chaque jour leurs activités grâce à l’utilisation d'AWS. Contactez nos spécialistes et commencez votre transition vers le Cloud AWS dès aujourd'hui.