Nasdaq Menggunakan AWS untuk Memelopori Penyimpanan Data Bursa Saham di Cloud

2020

Nasdaq merupakan perusahaan teknologi dan layanan keuangan multinasional yang memiliki dan mengoperasikan Bursa Efek Nasdaq. Nasdaq mengoperasikan total 27 pasar, depositori efek sentral, dan lembaga kliring untuk berbagai kelas aset di Amerika Utara dan Eropa. Nasdaq adalah rumah bagi hampir 4.000 perusahaan yang terdaftar secara global di seluruh pasarnya dan juga menyediakan teknologi yang sangat penting untuk para operator infrastruktur pasar lainnya yang berlokasi di 50 negara.

Berdasarkan volumenya, Bursa Efek Nasdaq adalah waralaba ekuitas terbesar secara global, dan mengelola pencocokan pembeli dan penjual dengan volume dan kecepatan tinggi, sambil menyediakan pengumpanan data penawaran harga untuk saham dalam perdagangan yang dimasukkan secara elektronik. Nasdaq mengandalkan aplikasi internal untuk mengambil dan menyimpan semua data pertukaran yang dilindungi. “Data ini mencakup pesanan, penawaran, perdagangan, dan pembatalan,” kata Robert Hunt, vice president of software engineering Nasdaq. Setiap malam, Nasdaq menerima miliaran catatan saham yang perlu dimuat untuk proses penagihan dan pelaporan sebelum pasar dibuka keesokan paginya.

Karena platform perdagangan otomatis telah memasuki pasar, kecepatan dan volume transaksi telah berkembang. Pada tahun 2014, untuk meningkatkan skala dan performa serta menurunkan biaya operasional, Nasdaq beralih dari gudang data on-premise warisan ke gudang data Amazon Web Services (AWS) yang didukung oleh klaster Amazon Redshift. Antara tahun 2014 dan 2018, klaster Amazon Redshift ini berkembang menjadi 70 simpul saat perusahaan tersebut memperluas solusi untuk mendukung semua pasar Amerika Utara. Pada tahun 2018, solusi tersebut menyerap data pasar keuangan dari ribuan sumber setiap malam, mulai dari 30 miliar hingga 55 miliar catatan dan melebihi 4 terabita.

Seiring berjalannya waktu, pertumbuhan data menyebabkan perubahan dalam pendekatan untuk mengelola data tersebut untuk analitik. Pemrosesan batch dalam semalam yang berjalan di gudang data telah menimbulkan tantangan dalam memproses volume yang sangat besar untuk memenuhi tenggat waktu yang ketat. Para pengguna mengandalkan data untuk menyelesaikan penagihan, pelaporan, dan pengawasan. “Ketika volatilitas pasar meningkat pada awal tahun 2018, volume data untuk gudang data meningkat secara substansial dan mencapai puncaknya pada sekitar 55 miliar catatan per hari pada tahun 2018,” kata Hunt.

Praktik perdagangan yang lebih canggih menyebabkan pertumbuhan data yang besar dan sangat penting bagi Nasdaq untuk mulai merencanakan pengembangan arsitektur baru untuk terus mencapai standar performa dan keunggulan operasional yang diharapkan ekosistem. “Kami harus memuat dan menyerap 30 miliar catatan saham dalam jangka waktu di antara penutupan pasar dan keesokan paginya. Pemuatan data telah menunda pengiriman laporan kami,” kata Hunt. “Kami harus dapat menulis atau memuat data ke dalam solusi penyimpanan data kami dengan sangat cepat tanpa mengganggu pembacaan dan kueri data pada saat yang bersamaan.”

Nasdaq Memigrasikan Gudang Datanya yang Berkembang ke Arsitektur Danau Data yang Lebih Modern (2:25)
kr_quotemark

Kami dapat mendukung lonjakan dari 30 miliar catatan saham menjadi 70 miliar catatan saham per hari dengan mudah karena fleksibilitas dan skalabilitas Amazon S3 dan Amazon Redshift.”

Robert Hunt
Vice President of Software Engineering, Nasdaq

Menggunakan Layanan AWS untuk Fleksibilitas, Skalabilitas, dan Performa

Pada tahun 2018, Nasdaq memilih untuk membangun fondasi danau data yang baru di Amazon Simple Storage Service (Amazon S3), yang memungkinkan perusahaan untuk memisahkan komputasi dan penyimpanan serta menskalakan setiap fungsi secara independen. Dalam deployment gudang data tradisional, penskalaan kapasitas penyimpanan sering mengharuskan perusahaan untuk menskalakan kapasitas komputasi pada saat yang bersamaan karena aplikasi dan penyimpanan terhubung dengan erat, dan modifikasi perangkat keras di lokasi juga diperlukan untuk setiap perubahan pada rasio keduanya. “Selain fleksibilitas yang menyertai pemisahan komputasi dan penyimpanan, Amazon S3 memiliki properti penskalaan yang lebih baik dalam hal menulis dan membaca set data besar secara bersamaan,” kata Hunt. “Amazon S3 memberi kami solusi yang memungkinkan untuk meniadakan pertentangan antara pemuatan data dan proses kueri.”

Dengan mengintegrasikan kebijakan AWS Identity and Access Management (AWS IAM), Amazon S3 juga menyediakan kontrol akses yang komprehensif di beberapa akun AWS. Selain itu, Nasdaq menggunakan Amazon S3 untuk menyimpan data keuangan penting dan mengalihkannya ke Amazon S3 Glacier, tempat data tersebut dapat diarsipkan dengan biaya yang lebih rendah. Perusahaan tersebut mengandalkan fitur Object Lock Amazon S3 untuk lebih memungkinkan kepatuhan.
 
Pada bulan Januari 2019, Nasdaq menghadiri AWS Data Lab, tempat perusahaan tersebut bekerja dengan Arsitek Solusi AWS dan ahli layanan analitik yang memberikan panduan arsitektur preskriptif untuk memikirkan kembali bagaimana Nasdaq mengimplementasikan penggudangan data. Selama empat hari di AWS Data Lab ini, Nasdaq menginovasikan kembali cara penyediaan analitik dengan menggunakan Amazon Redshift sebagai lapisan komputasi. Sebagai hasilnya, Nasdaq mulai menggunakan Amazon Redshift Spectrum, sebuah fitur yang mendukung arsitektur lake house untuk melakukan kueri data di gudang data dan danau data Amazon S3. “Kami memasukkan semua data yang berasal dari bursa saham kami yang dioperasikan secara internal ke dalam Amazon S3 dan Amazon Redshift Spectrum,” kata Hunt. “Data tersebut termasuk pesanan, pembatalan, penawaran, dan perdagangan. Semua itu diubah menjadi pesan dan diarsipkan di Amazon S3, dan pesan tersebut mendorong proses pengawasan penagihan dan pelaporan hilir kami.”
 
Danau data yang baru berisi 15 terabita data di Amazon S3, yang dapat dikueri oleh Nasdaq di tempat tanpa memuat data segera setelah menulis data ke Amazon S3. Hal ini memberikan waktu perolehan wawasan ( time-to-insight) yang singkat serta memungkinkan tim peneliti ekonomi Nasdaq untuk melakukan analisis data dan menjalankan kueri yang kompleks terhadap data tersebut. Selain itu, tim bisnis pengawasan perusahaan ini menjalankan kueri danau data setelah menerima pertanyaan dari Komisi Sekuritas dan Bursa (SEC) AS.

Apa yang dimulai sebagai solusi yang berfokus pada performa telah menjadi danau data serbaguna yang dibagi di antara beberapa tim, sehingga menciptakan manfaat tambahan bagi bisnis tersebut.

Penskalaan untuk Mendukung 70 Miliar Catatan Saham per Hari

Dengan komputasi dan penskalaan penyimpanan yang dilakukan secara independen, Nasdaq sekarang dapat memanfaatkan lapisan komputasinya untuk mendukung volume transaksi, menggunakan danau data yang dibangun di penyimpanan Amazon S3 yang dapat mendukung dengan mudah data yang terus bertambah dalam hal volume dan kompleksitas. Misalnya, volatilitas pasar melonjak pada akhir Februari 2020, di awal pandemi COVID-19, dan solusi diskalakan untuk mendukung penyerapan 70 miliar catatan saham per hari—dengan volume puncak 113 miliar.
 
“Kami dapat mendukung lonjakan dari 30 miliar catatan saham menjadi 70 miliar catatan saham per hari dengan mudah karena fleksibilitas dan skalabilitas Amazon S3 dan Amazon Redshift,” kata Hunt. “Kami mampu mengimbangi lonjakan volume data dan menyediakan proses penagihan, pelaporan, dan pengawasan yang diperlukan untuk mendukung kewajiban kami terhadap pasar.” Nasdaq juga dapat dengan mudah dan cepat menurunkan skala lingkungannya untuk memastikan tidak ada kapasitas yang tidak terpakai saat pasar kembali mengalami penyesuaian.

Memuat Data Pasar untuk Pelaporan 5 Jam Lebih Cepat

Dengan menggunakan arsitektur lake house barunya yang didasarkan pada Amazon S3 dan Amazon Redshift, Nasdaq mencapai target 90 persennya untuk penyelesaian pemuatan data 5 jam lebih cepat dari sebelumnya. Selain itu, dengan mengoptimalkan gudang datanya, perusahaan ini dapat menjalankan kueri Amazon Redshift 32 persen lebih cepat dari sebelumnya. “Peningkatan ini telah membantu mempercepat proses penagihan dan pelaporan kami,” kata Hunt. “Misalnya, kami telah selesai menyerap data dalam waktu satu atau dua jam setelah penutupan pasar, yang memberi kami permulaan yang lebih awal dalam melakukan penagihan dan pelaporan. Hal ini sangat membantu saat kami menghadapi lonjakan volume yang kami lihat akhir-akhir ini, dan juga membantu kami memenuhi atau melampaui tenggat waktu untuk pelanggan internal kami.”
 
Seiring berjalannya waktu, danau data Amazon S3 dan Amazon Redshift telah memungkinkan transformasi di Nasdaq. “Kami bebas untuk berfokus pada keahlian kami di industri untuk berinovasi bagi Nasdaq sambil mengandalkan AWS untuk menyediakan keahlian cloud,” kata Hunt. “Kedepannya, kami akan terus memanfaatkan layanan dan teknologi AWS yang baru sesuai kebutuhan pasar.”

Tentang Nasdaq

Nasdaq, yang didirikan pada tahun 1971 dan berkantor pusat di Kota New York, adalah perusahaan layanan keuangan multinasional yang memiliki dan mengoperasikan pasar saham Nasdaq dan delapan bursa saham Eropa. Perusahaan ini adalah rumah bagi hampir 4.000 perusahaan terdaftar yang berlokasi di 50 negara.

Manfaat AWS

  • Menyerap 70 miliar catatan saham per hari
  • Memuat data pasar keuangan 5 jam lebih cepat
  • Menjalankan kueri Amazon Redshift 32 persen lebih cepat
  • Memungkinkan transformasi bisnis dengan data bersama
  • Memacu inovasi dengan kasus penggunaan tambahan


Layanan AWS yang Digunakan

Amazon Simple Storage Service

Amazon Simple Storage Service (Amazon S3) adalah layanan penyimpanan objek yang menawarkan skalabilitas, ketersediaan data, keamanan, dan performa terdepan dalam industri.

Pelajari selengkapnya »

Amazon Redshift

Amazon Redshift memberi Anda gudang data berperforma tinggi terbaik dengan fleksibilitas dan skalabilitas penyimpanan danau data yang tak terhingga.

Pelajari selengkapnya »

AWS Identity and Access Management

AWS Identity and Access Management (IAM) memungkinkan Anda untuk mengelola akses ke layanan dan sumber daya AWS dengan aman.

Pelajari selengkapnya »

Amazon S3 Glacier

Amazon S3 Glacier dan S3 Glacier Deep Archive adalah kelas penyimpanan cloud Amazon S3 yang aman, tahan lama, serta sangat hemat biaya untuk pengarsipan data dan pencadangan jangka panjang.

Pelajari lebih lanjut »

Cerita Nasdaq Selengkapnya

tidak ada item yang ditemukan 

1

Mulai

Organisasi dalam berbagai ukuran di semua industri mentransformasi bisnis mereka dan mewujudkan misi mereka setiap hari menggunakan AWS. Hubungi ahli kami dan mulai perjalanan AWS Anda sendiri sekarang juga.