Pelanggan Amazon FSx for Lustre

DatologyAI membangun alat yang secara otomatis memilih data terbaik untuk melatih model pembelajaran mendalam.

“Kami sangat senang menggunakan solusi pengamatan satu klik Amazon SageMaker HyperPod. Anggota staf senior kami membutuhkan wawasan tentang cara kami memanfaatkan sumber daya GPU. Dasbor Grafana yang dibuat sebelumnya akan memberi kami apa yang kami butuhkan, dengan visibilitas langsung ke dalam metrik kritis—mulai dari pemanfaatan GPU khusus tugas hingga kinerja sistem file (FSx for Lustre) —tanpa mengharuskan kami untuk memelihara infrastruktur pemantauan apa pun. Sebagai seseorang yang menghargai kekuatan Bahasa Kueri Prometheus, saya menyukai kenyataan bahwa saya dapat menulis kueri saya sendiri dan menganalisis metrik khusus tanpa khawatir tentang masalah infrastruktur.”

Josh Wills, Anggota Staf Teknis di DatologyAI

Apoidea mengembangkan solusi bertenaga AI untuk bank multinasional menggunakan AI generatif mutakhir dan teknologi pembelajaran mendalam. Produk andalan mereka, SuperACC, adalah layanan pemrosesan dokumen canggih yang menggunakan model eksklusif untuk menangani beragam dokumen keuangan, termasuk laporan bank dan formulir KYC. Teknologi ini telah secara dramatis meningkatkan efisiensi di sektor perbankan, mengurangi waktu pemrosesan penyebaran keuangan dari 4-6 jam menjadi hanya 10 menit.

Untuk mendukung pengembangan ini, Apoidea menggunakan Amazon SageMaker HyperPod, yang menyediakan lingkungan yang dapat diskalakan dan fleksibel untuk pelatihan model skala besar. SageMaker HyperPod memiliki fitur manajemen pelatihan terdistribusi, sinkronisasi data yang mulus dengan FSx for Lustre, dan lingkungan yang dapat disesuaikan, yang semuanya meningkatkan efisiensi alur kerja ML.

Adobe didirikan 40 tahun yang lalu dengan gagasan sederhana untuk menciptakan produk inovatif yang mengubah dunia, Adobe menawarkan teknologi inovatif yang memberdayakan semua orang, di mana pun untuk membayangkan, membuat, dan menghidupkan pengalaman digital apa pun. Alih-alih mengandalkan model sumber terbuka, Adobe memutuskan untuk melatih model AI generatif dasarnya sendiri yang dirancang untuk kasus penggunaan kreatif. Adobe menciptakan jalan raya AI di AWS untuk membangun platform pelatihan AI dan saluran data untuk mengulangi model dengan cepat. Adobe menggunakan Amazon FSx untuk penyimpanan file berkinerja tinggi Lustre, untuk akses cepat ke data dan untuk memastikan sumber daya GPU tidak pernah dibiarkan menganggur.

“Sangat mudah untuk berpikir saya akan membuat cloud AI saya sendiri, tetapi kemitraan dengan AWS memungkinkan kami fokus pada pembeda kami”

Alexandru Costin - Vice President, AI Generatif dan Sensei di Adobe

LG AI Research, pusat penelitian kecerdasan buatan (AI) dari konglomerat Korea Selatan LG Group, didirikan untuk mempromosikan AI sebagai bagian dari strategi transformasi digitalnya untuk mendorong pertumbuhan di masa depan. Lembaga penelitian mengembangkan model pondasi mesin EXAONE dalam waktu satu tahun menggunakan Amazon SageMaker dan Amazon FSx for Lustre. Model dasar meniru manusia saat berpikir, belajar, dan mengambil tindakan sendiri melalui pelatihan data skala besar. Model dasar serba guna tersebut dapat digunakan di berbagai industri untuk melakukan berbagai tugas.

Paige, penyedia patologi digital terkemuka, berusaha untuk meningkatkan model AI dan ML untuk diagnosis kanker tetapi menghadapi keterbatasan dengan solusi lokal. Untuk mengatasi hal ini, Paige mengadopsi Instans Amazon EC2 P4d dan Amazon FSx for Lustre, mengintegrasikan yang terakhir dengan bucket Amazon S3 untuk penanganan petabyte data input ML yang efisien. Infrastruktur AWS ini memungkinkan Paige memproses data tanpa melakukan proses manual pada sistem file berkinerja tinggi. Hasilnya, Paige mencapai peningkatan sepuluh kali lipat dalam kapasitas pelatihan data dan 72% alur kerja internal lebih cepat.

“Dengan menghubungkan Amazon FSx for Lustre ke Amazon S3, kami dapat melatih 10 kali jumlah data yang pernah kami coba di infrastruktur lokal tanpa masalah. “

Alexander van Eck, staff AI engineer - Paige

Toyota Research Institute (TRI) mengumpulkan dan memproses sejumlah besar data sensor dari uji coba kendaraan otonom (AV) mereka. Setiap kumpulan data pelatihan dipentaskan di perangkat NAS lokal dan ditransfer ke Amazon Simple Storage Service (Amazon S3) sebelum diproses pada cluster komputasi GPU yang kuat. TRI membutuhkan sistem file performa tinggi untuk dipasangkan dengan sumber daya komputasi mereka, yang mempercepat pelatihan model ML, dan mempercepat wawasan untuk ilmuwan data mereka. Toyota Research Institute memilih FSx for Lustre untuk mengurangi waktu pelatihan machine learning untuk pengenalan objek.

“Kami membutuhkan sistem file paralel untuk kumpulan data pelatihan ML kami dan memilih Amazon FSx for Lustre karena ketersediaan dan daya tahannya yang lebih tinggi, dibandingkan dengan penawaran sistem file lama kami. Integrasi dengan layanan AWS, termasuk S3, juga menjadikannya pilihan pilihan untuk penyimpanan file berkinerja tinggi kami. “

David Fluck, Rekayasawan Perangkat Lunak (Software Engineer) - Toyota Research Institute

Shell menawarkan portofolio pilihan energi yang dinamis — mulai dari minyak, gas dan petrokimia, hingga angin, matahari, dan hidrogen — Shell bangga memasok energi yang dibutuhkan pelanggan mereka untuk memberi daya pada kehidupan mereka. Shell mengandalkan HPC untuk pembuatan model, pengujian, dan validasi. Dari tahun 2020 hingga 2022, pemanfaatan GPU rata-rata kurang dari 90%, yang mengakibatkan penundaan proyek dan keterbatasan pada eksperimen algoritma baru. Shell menambah kapasitas komputasi lokal mereka dengan meledak ke cloud dengan cluster Amazon EC2 dan Amazon FSx for Lustre. Solusi ini memberi Shell kemampuan untuk menaikkan dan menurunkan skala dengan cepat, serta hanya membeli kapasitas komputasi tambahan saat diperlukan. Sekarang, GPU Shell dimanfaatkan sepenuhnya untuk mengurangi biaya komputasi, dan mempercepat pengujian model machine learning.

Netflix menggunakan pelatihan terdistribusi skala besar untuk model ML media, untuk thumbnail pasca produksi, VFX, dan pembuatan trailer untuk ribuan video dan jutaan klip. Netflix mengalami waktu tunggu yang lama karena replikasi lintas simpul dan waktu diam GPU sebesar 40%.

Netflix merancang ulang pipeline pemuatan data mereka dan meningkatkan efisiensinya dengan melakukan pra-komputasi semua klip video/audio. Performa Amazon FSx for Lustre memungkinkan Netflix memenuhi GPU, dan hampir menghilangkan waktu diam GPU. Sekarang, Netflix mengalami peningkatan 3-4x menggunakan pra-komputasi dan FSx for Lustre, yang mengurangi waktu pelatihan model dari seminggu menjadi 1-2 hari.

Tonton video Netflix

Produksi musim keempat drama episodik "The Crown" di Netflix menghadapi tantangan yang tidak terduga, yaitu saat dunia dibatasi aksesnya akibat pandemi COVID-19 tepat saat pekerjaan VFX pascaproduksi dijadwalkan akan dimulai. Dengan mengadopsi alur kerja berbasis cloud di AWS, termasuk server file Amazon FSx Lustre untuk peningkatan throughput, tim VFX internal Netflix yang terdiri dari 10 artis mampu menyelesaikan lebih dari 600 bidikan VFX untuk 10 episode musim ini hanya dalam 8 bulan, semuanya sambil bekerja dari jarak jauh.

Storengy, anak perusahaan dari ENGIE Group, adalah pemasok gas alam terkemuka. Perusahaan ini menawarkan penyimpanan gas, solusi panas bumi, produksi energi bebas karbon, dan teknologi penyimpanan untuk perusahaan di seluruh dunia.

Untuk memastikan produknya disimpan dengan benar, Storengy menggunakan simulator berteknologi tinggi untuk mengevaluasi penyimpanan gas bawah tanah, sebuah proses yang memerlukan penggunaan beban kerja komputasi performa tinggi (HPC) secara ekstensif. Perusahaan juga menggunakan teknologi HPC untuk menjalankan tugas penemuan dan eksplorasi gas alam.

“Karena AWS, kami memiliki skalabilitas dan ketersediaan tinggi untuk melakukan ratusan simulasi sekaligus. Selain itu, solusi dinaikkan atau turun secara otomatis untuk mendukung periode beban kerja puncak kami, yang berarti kami tidak memiliki kejutan apa pun dengan lingkungan HPC kami. “

Jean-Frederic Thebault – Rekayasawan (Engineer), Storengy

Smartronix memanfaatkan FSx for Lustre untuk menghadirkan performa tinggi yang andal untuk deployment SAS Grid mereka.

Smartronix menyediakan solusi cloud, keamanan siber, integrasi sistem, C5ISR dan analitik data di seluruh dunia, serta rekayasa yang berfokus pada misi untuk banyak organisasi komersial dan federal terkemuka dunia. Smartronix mengandalkan SAS Grid untuk menganalisis dan mengirimkan statistik harian COVID di seluruh negara bagian, serta menemukan bahwa sistem file paralel mereka yang dikelola sendiri sulit dikelola dan dilindungi.

“Berkolaborasi dengan AWS dan memanfaatkan solusi terkelola mereka seperti FSx for Lustre telah memungkinkan kami untuk melayani pelanggan kami dengan lebih baik — dengan ketersediaan yang lebih tinggi dan biaya 29% lebih rendah daripada sistem file yang dikelola sendiri. “

Rob Mounier – Arsitek Solusi Senior (Senior Solutions Architect), Smartronix

Hyundai Motor Company, produsen otomotif global yang mengekspor ke lebih dari 200 negara, menggunakan segmentasi semantik untuk mengemudi otonom untuk mengklasifikasikan piksel gambar ke dalam kategori seperti jalan, orang, dan bangunan.

Untuk meningkatkan akurasi model dan memenuhi tenggat waktu, Hyundai menerapkan Amazon SageMaker untuk pelatihan otomatis dan paralelisme data di beberapa GPU, bersama dengan Amazon FSx for Lustre dan S3 untuk penyimpanan dan pemrosesan data yang efisien. Solusi ini membantu Hyundai mencapai efisiensi penskalaan 93% dengan 64 GPU sambil menghilangkan waktu tunggu data.

Amazon FSx for Lustre memainkan peran penting dalam transformasi cloud Rivian, menyediakan akses penyimpanan bersama yang cepat yang diperlukan untuk beban kerja rekayasa dan desain berbantuan komputer mereka. Menggunakan FSx for Lustre sebagai bagian dari solusi AWS mereka, Rivian secara dramatis meningkatkan metrik kinerja mereka, termasuk peningkatan 66% dalam kecepatan interaksi manajemen siklus hidup produk dan mengurangi waktu sinkronisasi cadangan dari satu hari menjadi kurang dari satu jam.

Layanan penyimpanan yang dikelola sepenuhnya diimplementasikan bersama layanan AWS lainnya seperti Amazon EC2 dan Auto Scaling, membantu Rivian mengatasi keterbatasan infrastruktur lokal mereka dan mencapai kemampuan komputasi berkinerja tinggi yang dapat diskalakan hanya dalam tiga minggu dibandingkan dengan jadwal enam bulan yang diharapkan.

Denso mengembangkan sensor gambar untuk sistem bantuan pengemudi canggih (ADAS), yang membantu pengemudi dengan fungsi seperti parkir dan perubahan jalur. Untuk mengembangkan model ML yang diperlukan untuk pengenalan gambar ADAS, DENSO telah membangun cluster GPU di lingkungan lokal. Namun, beberapa rekayasawan ML membagikan sumber daya GPU yang bersifat terbatas, yang memengaruhi produktivitas—terutama selama periode sibuk sebelum rilis produk baru.

Dengan mengadopsi Amazon SageMaker dan Amazon FSx for Lustre, Denso mampu mempercepat pembuatan model pengenalan gambar ADAS dengan mengurangi waktu akuisisi data, pengembangan model, pembelajaran, dan evaluasi.

“Praktik beralih ke cloud akan terus berakselerasi di bidang kecerdasan buatan dan ML. Saya yakin bahwa AWS akan terus memberi kami dukungan saat kami terus menambahkan fungsi.”

Kensuke Yokoi, general manager - DENSO

T-Mobile mengubah infrastruktur SAS Grid mereka dengan menerapkan Amazon FSx for Lustre untuk mengatasi masalah kinerja dan overhead manajemen yang tinggi dengan sistem yang dikelola sendiri.

Penyebaran FSx for Lustre, bersama dengan integrasinya dengan Amazon S3, memungkinkan T-Mobile menggandakan kecepatan beban kerja SAS Grid mereka sambil mencapai penghematan tahunan sebesar $1,5 juta dan pengurangan 83% dalam Total Cost of Ownership.

Solusi ini menghilangkan beban operasional dan memungkinkan T-Mobile untuk fokus pada bisnis inti mereka dalam mengembangkan produk pelanggan yang inovatif sambil memanfaatkan kemampuan penyimpanan canggih AWS.

Maxar Technologies, mitra tepercaya dan inovator dalam infrastruktur intelijen Bumi dan Luar Angkasa, perlu memberikan prakiraan cuaca lebih cepat dibandingkan dengan superkomputer lokal. Maxar bekerja dengan AWS untuk menciptakan solusi HPC dengan teknologi utama termasuk AMAZON EC2 untuk sumber daya komputasi yang aman dan sangat andal, Amazon FSx for Lustre untuk mempercepat throughput baca/tulis aplikasinya, dan AWS ParallelCluster untuk membangun lingkungan komputasi HPC dengan cepat di AWS.

“Maxar menggunakan Amazon FSx for Lustre dalam solusi AWS HPC kami untuk menjalankan model perkiraan cuaca numerik NOAA. Ini memungkinkan kami mengurangi waktu komputasi sebesar 58%, yang menghasilkan prakiraan dalam waktu sekitar 45 menit untuk titik harga yang jauh lebih hemat biaya. Memaksimalkan sumber daya komputasi AWS kami adalah peningkatan kinerja yang luar biasa bagi kami. “

Stefan Cecelski, PhD, Ilmuwan & Rekayasawan Data Senior (Senior Data Scientist & Engineer) - Maxar Technologies

Memproses data magnetic resonance imaging (MRI) menggunakan sistem file cloud DIY standar membutuhkan sumber daya dan waktu yang padat. BlackThorn membutuhkan solusi komputasi yang intensif dan penyimpanan file bersama untuk membantu menyederhanakan alur kerja ilmu data serta machine learning mereka. Amazon FSx for Lustre terintegrasi dengan Amazon S3 dan Amazon SageMaker, menyediakan pemrosesan cepat untuk kumpulan data pelatihan ML mereka serta akses tanpa batas ke komputasi menggunakan instans Amazon EC2.

“FSx for Lustre telah memungkinkan kami membuat pipeline pemrosesan data MRI berkinerja tinggi. Waktu pemrosesan data untuk alur kerja berbasis ML kami dikurangi menjadi beberapa menit dibandingkan dengan hari dan minggu. “

Oscar Rodriguez, Direktur Senior, Inovasi & Teknologi (Senior Director, Innovation & Technology) - BlackThorn Therapeutics

Qubole sedang mencari solusi penyimpanan berkinerja tinggi untuk memproses beban kerja analitis dan AI/ML untuk pelanggan mereka. Mereka harus dengan mudah menyimpan dan memproses data perantara yang disimpan di Armada Spot EC2 mereka. Qubole menggunakan Amazon FSx for Lustre untuk menyimpan dan memproses data perantara melalui sistem file paralel berkecepatan tinggi.

“Dua masalah terbesar pengguna kami, biaya tinggi dan kehilangan data menengah, berasal dari penggunaan instans EC2 idle dan instans EC2 Spot untuk memproses dan menyimpan data perantara yang dihasilkan oleh kerangka pemrosesan terdistribusi seperti Hive dan Spark. Kami dapat mengatasi masalah ini dengan menggunakan Amazon FSx for Lustre, sistem file performa tinggi, untuk memindahkan data perantara. Sekarang pengguna kami tidak perlu membayar untuk memelihara instans yang tidak aktif dan tidak terpengaruh oleh simpul Spot EC2 yang terganggu. Amazon FSx membantu pengguna kami mengurangi total biaya sebesar 30%. “

Joydeep Sen Sarma, Direktur Teknologi (CTO) - Qubole