Nasdaq utilise AWS pour devenir un pionnier du stockage de données boursières dans le Cloud

2020

Nasdaq est une société multinationale de services financiers et de technologie qui possède et exploite la bourse Nasdaq. Nasdaq exploite un total de 27 marchés, un dépositaire central de titres et une chambre de compensation pour diverses catégories de ressource en Amérique du Nord et en Europe. Elle abrite près de 4 000 entreprises cotées sur l'ensemble de ses marchés internationaux et fournit sa technologie stratégique à d'autres opérateurs d'infrastructure du marché, répartis dans 50 pays.

Le Nasdaq Stock Exchange est la plus grande franchise de titres dans le monde en termes de volume, et il gère le rapprochement des acheteurs et des vendeurs à des volumes et des vitesses élevés, tout en délivrant des flux de données de cours pour les titres échangés électroniquement. Nasdaq utilise une application interne pour collecter et stocker toutes les données de bourse protégées. « Ces données comprennent les commandes, les devis, les transactions et les annulations », explique Robert Hunt, vice-président de l'ingénierie logicielle chez Nasdaq. Tous les soirs, Nasdaq reçoit des milliards d'enregistrements qui doivent être importés à des fins de facturation et de rapports avant l'ouverture des marchés le lendemain matin.

Depuis que les plateformes d'échange automatisées sont entrées sur le marché, le rythme et le volume des transactions ont augmenté. En 2014, pour augmenter l'échelle et les performances tout en diminuant les coûts opérationnels, Nasdaq est passé d'un entrepôt de données hérité sur site à un entrepôt de données Amazon Web Services (AWS) alimenté par un cluster Amazon Redshift. Entre 2014 et 2018, lorsque la société a étendu sa solution pour soutenir tous ses marchés nord-américains, ce cluster Amazon Redshift est passé à 70 nœuds. En 2018, la solution ingérait les données de marchés financiers de milliers de sources tous les soirs, soit de 30 à 55 milliards d'enregistrements et plus de 4 téraoctets.

Au fil du temps, la croissance du volume des données a entraîné un changement d'approche pour l'analytique. Le traitement par lots au cours de la nuit, exécuté dans l'entrepôt, causait des difficultés : il fallait traiter des volumes énormes pour respecter les délais serrés. Les utilisateurs s'appuient sur les données pour réaliser la facturation, la création de rapports et la surveillance. « Lorsque la volatilité des marchés s'est accrue au début de 2018, les volumes de données de l'entrepôt ont considérablement augmenté, atteignant 55 milliards d'enregistrements en 2018 », rappelle Hunt.

Des pratiques d'échange plus sophistiquées ont entraîné une hausse massive du volume des données, et il était crucial que Nasdaq commence à planifier l'adoption d'une nouvelle architecture pour continuer de respecter les normes de performance et l'excellence opérationnelle attendue par son écosystème. « Nous devons à la fois charger et consommer les 30 milliards d'enregistrements entre la clôture du marché et le matin suivant. Le chargement des données retardait la livraison de nos rapports », explique Robert Hunt. « Nous avions besoin de pouvoir écrire ou charger des données très rapidement dans notre solution de stockage de données, sans interférer avec la lecture et l'interrogation des données au même moment. »

Nasdaq migre son entrepôt de données en pleine croissance vers une architecture de lac de données plus moderne (2:25)
kr_quotemark

Nous avons pu facilement faire face au passage de 30 à 70 milliards d'enregistrements par jour, grâce à la flexibilité et à la capacité de mise à l'échelle d'Amazon S3 et d'Amazon Redshift. »

Robert Hunt
Vice-président de l'ingénierie logicielle, Nasdaq

Les solutions AWS au service de la flexibilité, de la capacité de mise à l'échelle et de la performance

En 2018, Nasdaq a choisi de créer les bases d'un nouveau lac de données sur Amazon Simple Storage Service (Amazon S3). La société a ainsi pu séparer le calcul et le stockage et mettre à l'échelle chaque fonction indépendamment. Dans les déploiements d'entrepôts de données traditionnels, la mise à l'échelle de la capacité de stockage nécessite souvent de mettre à l'échelle la capacité de calcul en parallèle, car l'application et le stockage sont étroitement liés. Des modifications matérielles sur site étaient nécessaires pour tout changement apporté à l'un de ces aspects. « En plus de la flexibilité qu'apporte la séparation du calcul et du stockage, Amazon S3 offre de meilleures propriétés de mise à l'échelle en termes d'écriture et de lecture de grands ensembles de données simultanément », précise Robert Hunt. « Amazon S3 apporte une solution qui évite tout conflit entre les processus de chargement et d'interrogation des données. »

En intégrant les politiques AWS Identity and Access Management (AWS IAM), Amazon S3 fournit également une fonction complète de contrôle d'accès sur plusieurs comptes AWS. De plus, Nasdaq utilise Amazon S3 pour stocker des données financières critiques et les faire basculer vers Amazon S3 Glacier, où elles peuvent être archivées à un coût inférieur. L'entreprise s'appuie sur la fonction Object Lock d'Amazon S3 pour davantage de conformité.
 
En janvier 2019, Nasdaq a participé à un AWS Data Lab et travaillé avec des architectes de solutions AWS et des experts en services analytiques, qui ont proposé des directives d'architecture pour repenser la façon dont Nasdaq met en œuvre ses entrepôts de données. Grâce à ce laboratoire sur quatre jours, Nasdaq a réinventé sa façon de livrer l'analytique en utilisant Amazon Redshift en tant que couche de calcul. Nasdaq a ainsi commencé à utiliser Amazon Redshift Spectrum, une fonction qui alimente une architecture Lake House pour interroger les données dans l'entrepôt de données et celles dans le lac de données Amazon S3. « Nous plaçons toutes les données issues de nos échanges internes dans Amazon S3 et Amazon Redshift Spectrum », explique Robert Hunt. « Cela inclut les commandes, les annulations, les devis et les transactions. Ces données sont transformées en messages et archivées dans Amazon S3. Ensuite, ces messages alimentent nos processus de facturation, de création de rapports et de surveillance en aval. »
 
Le nouveau lac de données contient 15 téraoctets de données sur Amazon S3, que Nasdaq peut interroger in situ sans charger les données, immédiatement après leur inscription dans Amazon S3. Le délai d'accès aux informations est ainsi minimal. L'équipe de recherche sur l'économie de Nasdaq peut donc analyser les données et exécuter des requêtes complexes sur ces données. De plus, l'équipe de surveillance de la société interroge le lac de données lorsqu'elle reçoit des requêtes de la Securities and Exchange Commission (SEC) américaine.

Initialement axée sur les performances, cette solution est devenue un lac de données multi-usage partagé entre les équipes, apportant un avantage supplémentaire à l'entreprise.

Mise à l'échelle pour prendre en charge 70 milliards d'enregistrements par jour

Grâce à la mise à l'échelle indépendante du calcul et du stockage, Nasdaq peut désormais adapter sa couche de calcul pour prendre en charge le volume des transactions. Le lac de données fondé sur le stockage Amazon S3 prend facilement en charge les données, dont le volume et la complexité continuent de croître. Par exemple, lorsque la volatilité des marchés s'est envolée en février 2020 au début de la pandémie de Covid-19, la solution a été mise à l'échelle afin de prendre en charge l'ingestion de 70 milliards d'enregistrements par jour, avec un pic à 113 milliards.
 
Nous avons pu facilement faire face au passage de 30 à 70 milliards d'enregistrements par jour, grâce à la flexibilité et à la capacité de mise à l'échelle d'Amazon S3 et d'Amazon Redshift », déclare Hunt. « Nous avons fait face au pic en matière de volumes des données et avons fourni les processus de facturation, de création de rapports et de surveillance nécessaires pour respecter nos obligations envers le marché. » Nasdaq peut également diminuer son environnement, rapidement et facilement, pour éviter toute capacité superflue lorsque le marché se réajuste.

Chargement des données du marché pour créer un rapport en 5 heures de moins

Grâce à sa nouvelle architecture Lake House basée sur Amazon S3 et Amazon Redshift, Nasdaq atteint son point de repère de 90 % pour l'achèvement du chargement des données en 5 heures de moins qu'auparavant. De plus, en optimisant son entrepôt de données, la société a pu exécuter des requêtes Amazon Redshift 32 % plus rapidement. « Ces améliorations nous ont aidés à accélérer nos processus de facturation et de création de rapports », précise Robert Hunt. « Par exemple, nous avons fini d'ingérer des données en une heure ou deux après la clôture du marché, ce qui nous donne une longueur d'avance sur la facturation et la création de rapports. C'est une aide considérable lorsque nous traitons les pics de volume que nous avons connus récemment, et cela nous aide aussi à respecter voire anticiper nos échéances pour nos clients internes. »
 
Au fil du temps, le lac de données Amazon S3 et Amazon Redshift est devenu un véritable moteur de transformation chez Nasdaq. « Nous pouvons nous concentrer sur notre expertise dans notre secteur afin d'innover pour Nasdaq, tout en nous appuyant sur AWS pour fournir l'expertise cloud », explique le vice-président. « À l'avenir, nous allons continuer de tirer parti des nouveaux services et technologies d'AWS, selon les besoins du marché. »

À propos de Nasdaq

Nasdaq, fondée en 1971 et basée à New York, est une société de services financiers multinationale qui possède et exploite la bourse du même nom, le Nasdaq, ainsi que huit bourses européennes. L'organisation abrite près de 4 000 sociétés cotées en bourse et situées dans 50 pays.

Avantages d'AWS

  • Ingère 70 milliards d'enregistrements par jour
  • Charge les données des marchés financiers en 5 heures de moins
  • Exécute les requêtes Amazon Redshift à une vitesse 32 % supérieure
  • Soutient la transformation commerciale grâce aux partage des données
  • Stimule l'innovation en offrant de nouveau cas d'utilisation


Services AWS utilisés

Amazon Simple Storage Service

Amazon Simple Storage Service (Amazon S3) est un service de stockage d'objets offrant une capacité de mise à l'échelle, une disponibilité des données, une sécurité et des performances de pointe.

En savoir plus »

Amazon Redshift

Amazon Redshift vous offre le meilleur des entrepôts de données de haute performance avec la flexibilité et l'évolutivité illimitées du stockage de données en lac.

En savoir plus »

AWS Identity and Access Management

AWS Identity and Access Management (IAM) vous permet de contrôler de façon sécurisée l'accès aux services et ressources AWS.

En savoir plus »

Amazon S3 Glacier

Amazon S3 Glacier et S3 Glacier Deep Archive sont des classes de stockage Amazon S3 dans le cloud sécurisées, durables et à très faibles coûts qui permettent l'archivage et la sauvegarde longue durée des données.

En savoir plus »

Plus d'articles sur le Nasdaq

aucun élément trouvé 

1

Démarrer

Les organisations de toutes tailles et de tous secteurs transforment leur activité et exécutent leurs missions au quotidien à l'aide d'AWS. Contactez nos experts et démarrez votre transition vers AWS dès aujourd'hui.