Lustre İçin Amazon FSx müşterileri

DatologyaI, derin öğrenme modellerinin eğitileceği en iyi verileri otomatik olarak seçen araçlar oluşturur.

“Amazon SageMaker HyperPod'un tek tıklamayla gözlemlenebilirlik çözümünü kullanmaktan heyecan duyuyoruz. Üst düzey personelimizin GPU kaynaklarını nasıl kullandığımıza dair içgörülere ihtiyacı vardı. Önceden oluşturulmuş Grafana gösterge panoları, herhangi bir izleme altyapısını korumamızı gerektirmeden, göreve özgü GPU kullanımından dosya sistemi (Lustre için FSx) performansına kadar kritik metriklere anında görünürlük sağlayarak tam olarak ihtiyacımız olanı sağlayacaktır. Prometheus Sorgu Dili'nin gücünü takdir eden biri olarak, altyapı sorunları hakkında endişelenmeden kendi sorgularımı yazabilmem ve özel metrikleri analiz edebilmem gerçeğini seviyorum.”

Josh Wills, DatologyaI Teknik Personel Üyesi

Apoidea, son teknoloji üretken yapay zeka ve derin öğrenme teknolojilerini kullanarak çok uluslu bankalar için yapay zeka destekli çözümler geliştiriyor. Amiral gemisi ürünleri SuperACC, banka hesap özetleri ve KYC formları dahil olmak üzere çeşitli finansal belgeleri işlemek için tescilli modeller kullanan gelişmiş bir belge işleme hizmetidir. Bu teknoloji, bankacılık sektöründeki verimliliği önemli ölçüde artırdı ve finansal yayılma işlem süresini 4-6 saatten sadece 10 dakikaya düşürdü.

Apoidea, bu geliştirmeyi desteklemek için büyük ölçekli model eğitimi için ölçeklenebilir ve esnek bir ortam sağlayan Amazon SageMaker HyperPod'u kullanır. SageMaker HyperPod, dağıtılmış eğitim yönetimi, FSx for Lustre ile kesintisiz veri senkronizasyonu ve özelleştirilebilir ortamlar sunar ve bunların tümü ML iş akışı verimliliğini artırır.

Adobe, 40 yıl önce dünyayı değiştiren yenilikçi ürünler yaratma fikri üzerine kuruldu. Adobe, her yerde herkese herhangi bir dijital deneyimi hayal etme, yaratma ve hayata geçirme konusunda güç veren çığır açan bir teknoloji sunuyor. Adobe, açık kaynaklı modellere güvenmek yerine, yaratıcı kullanım durumları için uyarlanmış kendi temel üretken yapay zeka modellerini eğitmeye karar verdi. Adobe, modelleri hızla yinelemek için bir yapay zeka eğitim platformu ve veri kanalları oluşturmak için AWS'de bir yapay zeka otoyolu oluşturdu. Adobe, verilere hızlı erişim ve GPU kaynaklarının asla boşta kalmamasını sağlamak için Lustre yüksek performanslı dosya depolama için Amazon FSx kullandı.

“Kendi yapay zeka bulutumu oluşturacağımı düşünmek kolay, ancak AWS ile ortaklık, farklılaştırıcılarımıza odaklanmamızı sağlıyor”

Alexandru Costin - Adobe'de Üretici Yapay Zeka ve Sensei Başkan Yardımcısı

Güney Koreli LG Group'un yapay zeka (AI) araştırma merkezi olan LG AI Research, gelecekteki büyümeyi yönlendirmek için dijital dönüşüm stratejisinin bir parçası olarak yapay zekayı tanıtmak için kuruldu. Araştırma enstitüsü, temel modeli EXAONE motorunu bir yıl içinde Amazon SageMaker ve Amazon FSx for Luster kullanarak geliştirdi. Temel model, büyük ölçekli veri eğitimi yoluyla kendi başına düşündüğü, öğrendiği ve harekete geçtiği için insanları taklit eder. Çok amaçlı temel modeli, çeşitli görevleri yerine getirmek için çeşitli endüstrilerde kullanılabilir.

Paige, önde gelen bir dijital patoloji sağlayıcısı, kanser teşhisi için AI ve ML modellerini geliştirmeye çalıştı, ancak şirket içi çözümlerle ilgili sınırlamalarla karşılaştı. Bunun üstesinden gelmek için Paige, Amazon EC2 P4d Bulut Sunucularını ve Amazon FSx for Lustre kullandı ve petabaytlarca ML giriş verilerinin verimli bir şekilde işlenmesi için ikincisini Amazon S3 klasörleriyle entegre etti. Bu AWS altyapısı, Paige'in yüksek performanslı dosya sistemlerinde manuel olarak hazırlama yapmadan verileri işlemesini sağladı. Sonuç olarak, Paige veri eğitimi kapasitesinde on kat artış ve %72 daha hızlı dahili iş akışları elde etti.

“Amazon FSx for Lustre'ı Amazon S3'e bağlayarak, şirket içi altyapıda şimdiye kadar denediğimiz veri miktarının 10 katı üzerinde sorunsuz bir şekilde eğitim alabiliyoruz. “

Alexander van Eck, Personel Yapay Zeka Mühendisi - Paige

Toyota Research Institute (TRI), otonom araçlarının (AV) test sürüşlerinden büyük miktarda sensör verisi topluyor ve işliyor. Her eğitim veri kümesi, güçlü bir GPU işlem kümesinde işlenmeden önce şirket içi bir NAS cihazında hazırlanır ve Amazon Basit Depolama Hizmetine (Amazon S3) aktarılır. TRI, bilgi işlem kaynaklarıyla eşleştirmek, ML modeli eğitimlerini hızlandırmak ve veri bilimcileri için öngörüleri hızla elde etmek için yüksek performanslı bir dosya sistemine ihtiyaç duyuyordu. Toyota Research Institute, nesne tanıma makine öğrenimi eğitim sürelerini azaltmak amacıyla Lustre İçin FSx'i seçti.

“ML eğitim veri setlerimiz için paralel bir dosya sistemine ihtiyacımız vardı ve eski dosya sistemi teklifimize kıyasla daha yüksek kullanılabilirliği ve dayanıklılığı nedeniyle Lustre için Amazon FSx seçtik. S3 dahil AWS hizmetleriyle entegrasyon, onu yüksek performanslı dosya depolamamız için tercih edilen seçenek haline getirdi. “

David Fluck - Yazılım Mühendisi, Toyota Research Institute

Shell, petrol, gaz ve petrokimyasallardan rüzgar, güneş enerjisi ve hidrojene kadar dinamik bir enerji seçenekleri portföyü sunar. Shell, müşterilerinin hayatlarına güç sağlamak için ihtiyaç duydukları enerjiyi sağlamaktan gurur duyar. Shell, model oluşturma, test etme ve doğrulama için HPC'ye güvenir. 2020'den 2022'ye kadar GPU kullanımı ortalama %90'dan az oldu, bu da proje gecikmelerine ve yeni algoritma deneylerinde sınırlamalara neden oldu. Shell, Amazon EC2 kümeleri ve Amazon FSx for Lustre ile buluta yayılarak şirket içi işlem kapasitesini artırıyor. Bu çözüm, Shell'e ölçeği hızlı bir şekilde artırıp azaltma ve yalnızca gerektiğinde ek işlem kapasitesi satın alma yeteneği sağlıyor. Shell'in GPU'ları artık tam olarak kullanılmakta, işlem maliyetini düşürerek makine öğrenimi modeli testini hızlandırmaktadır.

Netflix, medya ML modelleri için, prodüksiyon sonrası küçük resimler, görsel efektler ve binlerce video ve milyonlarca klip için fragman oluşturma için büyük ölçekli dağıtılmış eğitim kullanır. Netflix, düğümler arası çoğaltma ve %40 GPU boşta kalma süresi nedeniyle uzun beklemeler yaşıyordu.

Netflix, veri yükleme hattını yeniden tasarladı ve tüm video/ses kliplerini önceden hesaplayarak verimliliğini artırdı. Lustre İçin Amazon FSx performansı, Netflix'in GPU'ları tamamen doldurmasını ve GPU boşta kalma süresini neredeyse ortadan kaldırmasını sağlar. Netflix artık ön işlem ve Lustre İçin FSx kullanarak 3-4 kat iyileştirme yaşıyor ve model eğitim süresini bir haftadan 1-2 güne düşürüyor.

Netflix videosunu izleyin

Netflix'in olaylara dayalı drama dizisi "The Crown"un dördüncü sezonunun prodüksiyonu, post prodüksiyon görsel efekt çalışmasının başlaması planlandığı sırada dünya COVID-19 salgını nedeniyle karantinaya girdiğinden beklenmedik zorluklarla karşılaştı. Netflix'in 10 sanatçıdan oluşan şirket içi VFX ekibi, Amazon FSx Lustre dosya sunucusu da dahil olmak üzere AWS'de bulut tabanlı bir iş akışını benimseyerek, sezonun 10 bölümlük çekimi için sadece 8 ayda uzaktan çalışırken 600'den fazla VFX çekimini sorunsuz bir şekilde tamamladı.

ENGIE Group'un bir yan kuruluşu olan Storengy, lider bir doğal gaz tedarikçisidir. Şirket, dünya çapındaki işletmelere gaz depolama, jeotermal çözümler, karbonsuz enerji üretimi ve depolama teknolojileri sunmaktadır.

Storengy, ürünlerinin uygun şekilde depolanmasını sağlamak amacıyla, yüksek performanslı bilgi işlem (HPC) iş yüklerinin kapsamlı kullanımını gerektiren bir süreç olan yer altı gaz depolamasını değerlendirmek için yüksek teknolojili simülatörler kullanıyor. Şirket ayrıca doğal gaz keşif ve arama çalışmalarını yürütmek için de HPC teknolojisini kullanıyor.

“AWS sayesinde, aynı anda yüzlerce simülasyon gerçekleştirmek için ölçeklenebilirlik ve yüksek kullanılabilirliğe sahibiz. Ek olarak, çözüm, yoğun iş yükü dönemlerimizi desteklemek için otomatik olarak yukarı veya aşağı ölçeklenir, bu da HPC ortamımızda herhangi bir sürpriz yaşamayacağımız anlamına gelir. “

Jean-Frederic Thebault - Mühendis, Storengy

Smartronix, SAS Grid dağıtımları için güvenilir yüksek performans sunmak amacıyla Lustre İçin FSx'ten yararlanıyor.

Smartronix, dünyanın önde gelen birçok ticari ve federal kuruluşu için bulut çözümleri, siber güvenlik, sistem entegrasyonu, dünya çapında C5ISR, veri analizi ve görev odaklı mühendislik sağlıyor. Smartronix, eyalet çapında günlük COVID istatistiklerini analiz etmek ve sunmak için SAS Grid'e güvendi ve kendi kendini yöneten, paralel dosya sistemlerini yönetmeyi ve korumayı zor buldu.

“AWS ile işbirliği yapmak ve FSx for Lustre gibi yönetilen çözümlerinden yararlanmak, kendi kendini yöneten dosya sistemlerine kıyasla daha yüksek kullanılabilirlik ve %29 daha düşük maliyetle müşterilerimize daha iyi hizmet vermemizi sağladı. “

Rob Mounier - Kıdemli Çözüm Mimarı, Smartronix

200'den fazla ülkeye ihracat yapan küresel bir otomotiv üreticisi olan Hyundai Motor Company, görüntü piksellerini yollar, insanlar ve binalar gibi kategorilere ayırmak için otonom sürüş için anlamsal segmentasyon kullanıyor.

Hyundai, model doğruluğunu artırmak ve son teslim tarihlerini karşılamak için Amazon SageMaker'ı birden çok GPU'da otomatik eğitim ve veri paralelliği için Amazon SageMaker'ı ve verimli veri depolama ve işleme için Amazon FSx for Lustre ve S3 uyguladı. Bu çözümler, Hyundai'nin 64 GPU ile %93 ölçeklendirme verimliliği elde etmesine yardımcı olurken veri bekleme sürelerini ortadan kaldırdı.

Amazon FSx for Lustre, Rivian'ın bulut dönüşümünde önemli bir rol oynadı ve bilgisayar destekli mühendislik ve tasarım iş yükleri için gereken hızlı paylaşılan depolama erişimini sağladı. FSx for Lustre'ı AWS çözümünün bir parçası olarak kullanan Rivian, ürün yaşam döngüsü yönetimi etkileşim hızında %66 artış ve yedekleme senkronizasyon süresini bir günden bir saatin altına düşürmek dahil olmak üzere performans ölçümlerini önemli ölçüde geliştirdi.

Tam olarak yönetilen depolama hizmeti, Amazon EC2 ve Auto Scaling gibi diğer AWS hizmetleriyle birlikte uygulandı ve Rivian'ın şirket içi altyapı sınırlamalarının üstesinden gelmesine ve beklenen altı aylık zaman çizelgesine kıyasla sadece üç hafta içinde ölçeklenebilir, yüksek performanslı bilgi işlem yetenekleri elde etmesine yardımcı oldu.

Denso, sürücülere park etme ve şerit değiştirme gibi işlevlerde yardımcı olan gelişmiş sürücü yardım sistemleri (ADAS) için görüntü sensörleri geliştiriyor. DENSO, ADAS görüntü tanıma için gerekli ML modellerini geliştirmek için şirket içi ortamında GPU kümeleri oluşturmuştu. Bununla birlikte, birden fazla makine öğrenimi mühendisi, özellikle yeni bir ürün sürümünden önceki yoğun dönemde sınırlı GPU kaynaklarını paylaşmak zorunda kaldı. Bu da üretkenliği etkiledi.

Denso, Amazon SageMaker ve Amazon FSx for Lustre benimseyerek veri toplama, model geliştirme, öğrenme ve değerlendirme süresini azaltarak ADAS görüntü tanıma modellerinin oluşturulmasını hızlandırmayı başardı.

“Buluta geçiş uygulaması yapay zeka ve ML alanında hızlanmaya devam edecek. İşlev eklemeye devam ederken AWS'nin bize destek vermeye devam edeceğinden eminim."

Kensuke Yokoi, Genel Müdür - DENSO

T-Mobile, kendi kendini yöneten sistemleriyle performans sorunlarını ve yüksek yönetim yükünü ele almak için Amazon FSx for Lustre uygulamasını uygulayarak SAS Grid altyapısını dönüştürdü.

FSx for Luster'ın dağıtımı ve Amazon S3 ile entegrasyonu, T-Mobile'ın SAS Grid iş yükü hızlarını ikiye katlarken yıllık 1,5 milyon dolarlık tasarruf ve Toplam Sahip Olma Maliyetinde %83 azalma elde etmesini sağladı.

Çözüm, operasyonel yükleri ortadan kaldırdı ve T-Mobile'ın AWS'nin gelişmiş depolama yeteneklerinden yararlanırken yenilikçi müşteri ürünleri geliştirme gibi temel işlerine odaklanmasına olanak sağladı.

Dünya istihbaratı ve Uzay altyapısında güvenilir bir ortak ve yenilikçi olan Maxar Technologies, şirket içi süper bilgisayarına kıyasla hava durumu tahminlerini daha hızlı sunması gerekiyordu. Maxar, güvenli ve son derece güvenilir bilgi işlem kaynakları için AMAZON EC2, uygulamasının okuma/yazma çıkışını hızlandırmak için Amazon FSx for Lustre ve AWS üzerinde hızlı bir şekilde HPC bilgi işlem ortamlarını oluşturmak için AWS ParallelCluster gibi temel teknolojilerle bir HPC çözümü oluşturmak üzere AWS ile birlikte çalıştı.

“Maxar, NOAA'nın sayısal hava tahmini modelini çalıştırmak için AWS HPC çözümümüzde Amazon FSx for Lustre kullandı. Bu, çok daha uygun maliyetli bir fiyat noktası için yaklaşık 45 dakika içinde tahmin oluşturarak işlem süresini %58 azaltmamızı sağladı. AWS bilgi işlem kaynaklarımızı en üst düzeye çıkarmak bizim için inanılmaz bir performans artışı oldu. “

Stefan Cecelski - PhD, Kıdemli Veri Bilimcisi ve Mühendisi, Maxar Technologies

Manyetik rezonans görüntüleme (MRI) verilerinin standart DiY bulut dosya sistemleri kullanılarak işlenmesi kaynak ve zaman yoğunluydu. BlackThorn, veri bilimi ve makine öğrenimi iş akışlarını basitleştirmeye yardımcı olmak için yoğun bilgi işlem gerektiren, paylaşılan bir dosya depolama çözümüne ihtiyaç duyuyordu. Amazon FSx for Lustre, Amazon S3 ve Amazon SageMaker ile entegre olup, ML eğitim veri kümeleri için hızlı işleme ve Amazon EC2 bulut sunucularını kullanarak hesaplamaya sorunsuz erişim sağlar.

“FSx for Lustre, yüksek performanslı bir MRI veri işleme hattı oluşturmamızı sağladı. ML tabanlı iş akışlarımız için veri işleme süresi, günlere ve haftalara kıyasla dakikalara düşürüldü. “

Oscar Rodriguez - İnovasyon ve Teknoloji Kıdemli Direktörü, BlackThorn Therapeutics

Qubole, müşterileri için analitik ve AI/ML iş yüklerini işlemek için yüksek performanslı bir depolama çözümü arıyordu. Şirketin, EC2 Spot Filolarında tutulan ara verileri kolayca depolaması ve işlemesi gerekiyordu. Qubole, paralel, yüksek hızlı dosya sistemi aracılığıyla ara verileri depolamak ve işlemek için Amazon FSx for Lustre kullandı.

“Kullanıcılarımızın en büyük iki sorunu, yüksek maliyetler ve ara veri kaybı, Hive ve Spark gibi dağıtılmış işleme çerçeveleri tarafından oluşturulan ara verileri işlemek ve depolamak için boş EC2 bulut sunucuları ve EC2 Spot bulut sunucularının kullanılmasından kaynaklandı. Bu sorunu, ara verileri boşaltmak için yüksek performanslı bir dosya sistemi olan Lustre İçin Amazon FSx'i kullanarak çözebildik. Artık kullanıcılarımız, boş bulut sunucularını korumak için ödeme yapmak zorunda değil ve kesintiye uğrayan EC2 Spot düğümlerinden etkilenmiyorlar. Amazon FSx, kullanıcılarımızın toplam maliyetleri %30 oranında azaltmasına yardımcı oldu. “

Joydeep Sen Sarma - CTO, Qubole