Lustre İçin Amazon FSx müşterileri

40 yıl önce dünyayı değiştiren yenilikçi ürünler yaratma fikri üzerine kurulan Adobe, her yerde herkese herhangi bir dijital deneyimi hayal etme, yaratma ve hayata geçirme konusunda güç veren çığır açıcı bir teknoloji sunuyor.

Zorluk: Adobe, açık kaynak modellerine güvenmek yerine, yaratıcı kullanım durumları için özel olarak tasarlanmış kendi temel üretici yapay zeka modellerini eğitmeye karar verdi.

Çözüm: Adobe, modelleri hızla yinelemek için bir yapay zeka eğitim platformu ve veri kanalları oluşturmak için AWS'de bir yapay zeka otoyolu oluşturdu. Adobe çözümünü NVIDIA GPU'lar, Amazon Esnek Kubernetes Hizmeti (Amazon EKS), Amazon Esnek Blok Deposu (Amazon EBS) ve Amazon Esnek Yapı Bağdaştırıcısı (EFA) tarafından desteklenen Amazon Elastic Compute Cloud (Amazon EC2) P5 ve P4d bulut sunucuları ile geliştirdi. Adobe, ayrıca büyük veri yığınları için veri gölü ve birincil depo görevi görmesi için Amazon Simple Storage Service'ı (Amazon S3) kullandı. Adobe, verilere hızlı erişim ve GPU kaynaklarının asla boşta kalmamasını sağlamak adına yüksek performanslı dosya depolama çözümü Lustre İçin Amazon FSx'i kullandı.

LG AI Research Dünyanın önde gelen yapay zeka uzmanlarıyla birlikte LG AI Research, ideal araştırma ortamı sağlayarak ve en son yapay zeka teknolojilerinden yararlanarak umut veren geleceği gerçekleştirmek üzere yeni yapay zeka çağına öncülük etmeyi hedefliyor.

Görev: LG AI Research'ün, temel modeli EXAONE'ı bir yıl içinde üretime alması gerekiyordu. "Herkes için uzman yapay zeka" anlamına gelen EXAONE, hem görüntüleri hem de metin verilerini kullanan 300 milyar parametreli çok modlu bir modeldir.

Çözüm: LG AI Research, büyük ölçekli temel modelini eğitmek için Amazon SageMaker'ı ve model eğitimini hızlandırmak için verileri bulut sunuculara dağıtmak üzere Lustre İçin Amazon FSx'i kullandı. LG AI Research'ün, temel modeli EXAONE'ı bir yıl içinde üretime alması gerekiyordu. LG AI Research, EXAONE'ı bir yıl içinde başarıyla devreye aldı ve ayrı bir altyapı yönetim ekibine duyulan ihtiyacı ortadan kaldırarak maliyetleri yaklaşık yüzde 35 azalttı.

Paige, kanser teşhisine verimlilik ve güven getiren tam ölçekli, yapay zeka destekli, web tabanlı bir çözüm sunan lider dijital patoloji dönüşüm sağlayıcısıdır.

Görev: Paige'in şirket içi çözümlerinin kapasitesi tükenmişti. Amaçları, kanser patolojisine yardımcı olmak üzere yapay zeka ve makine öğrenimi modellerini eğitmekti. Paige, sahip oldukları işlem kapasitesi ne kadar fazlaysa modellerini o kadar hızlı eğitebileceklerini ve teşhis problemlerini çözmeye yardımcı olabileceklerini keşfetti.

Çözüm: Makine öğrenimi eğitim iş yüklerini çalıştırmak için Paige, bulutta makine öğrenimi eğitimi ve HPC uygulamalarına yönelik olarak yüksek performans sağlayan NVIDIA A100 Tensor Core GPU'larla desteklenen Amazon EC2 P4d Bulut Sunucularını seçti. Paige, popüler bir yüksek performanslı dosya sistemi üzerine kurulu, tam olarak yönetilen ve paylaşılan depolama alanı olan Lustre İçin Amazon FSx'i kullanıyor. Şirket bu hizmeti, geliştirme ekiplerinin yüksek performanslı dosya sistemleri üzerindeki verilere manuel olarak ön hazırlık yapmasına gerek kalmadan petabaytlarca makine öğrenimi girdi verisini işlemeye yardımcı olan bazı Amazon S3 bucket'larına bağladı. AWS çözümünün sonucu, Paige'in makine öğrenimi için AWS altyapısını kullanarak şirket içi veri miktarının 10 katını eğitebilmesidir.  Paige ayrıca Amazon EC2 ve Lustre İçin Amazon FSx ile %72 daha hızlı dahili iş akışları deneyimledi. 

Toyota Research Institute, nesne tanıma makine öğrenimi eğitim sürelerini azaltmak amacıyla Lustre İçin FSx'i seçti.

Toyota Research Institute (TRI), otonom araçlarının (AV) test sürüşlerinden büyük miktarda sensör verisi topluyor ve işliyor. Her eğitim veri kümesi, şirket içi bir NAS cihazında hazırlanıyor ve güçlü bir GPU işlem kümesinde işlenmeden önce Amazon Basit Depolama Hizmeti'ne (Amazon S3) aktarılıyor. TRI, bilgi işlem kaynaklarıyla eşleştirmek, ML modeli eğitimlerini hızlandırmak ve veri bilimcileri için öngörüleri hızla elde etmek için yüksek performanslı bir dosya sistemine ihtiyaç duyuyordu.

Shell; petrol, doğal gaz ve petrokimyasallardan rüzgar, güneş enerjisi ve hidrojene kadar dinamik bir enerji seçenekleri portföyü sunuyor. Shell, müşterilerinin hayatlarına güç sağlamak için ihtiyaç duydukları enerjiyi sağlamaktan gurur duyuyor. 

Görev: Shell, model oluşturma, test etme ve doğrulama için HPC'ye güveniyor. 2020'den 2022'ye kadar GPU kullanımı ortalama %90'dan az oldu, bu da proje gecikmelerine ve yeni algoritma deneylerinde sınırlamalara neden oldu.

Çözüm: Shell, Amazon EC2 kümeleri ve Lustre İçin Amazon FSx ile buluta ani işlem artışıyla şirket içi işlem kapasitesini artırıyor. Bu çözüm, Shell'e ölçeği hızlı bir şekilde artırıp azaltma ve yalnızca gerektiğinde ek işlem kapasitesi satın alma yeteneği sağlıyor. Shell'in GPU'ları artık tam olarak kullanılmakta, işlem maliyetini düşürerek makine öğrenimi modeli testini hızlandırmaktadır.

ENGIE Group'un bir yan kuruluşu olan Storengy, lider bir doğal gaz tedarikçisidir. Şirket, dünya çapındaki işletmelere gaz depolama, jeotermal çözümler, karbonsuz enerji üretimi ve depolama teknolojileri sunmaktadır.

Storengy, ürünlerinin uygun şekilde depolanmasını sağlamak amacıyla, yüksek performanslı bilgi işlem (HPC) iş yüklerinin kapsamlı kullanımını gerektiren bir süreç olan yer altı gaz depolamasını değerlendirmek için yüksek teknolojili simülatörler kullanıyor. Şirket ayrıca doğal gaz keşif ve arama çalışmalarını yürütmek için de HPC teknolojisini kullanıyor.

Smartronix, SAS Grid dağıtımları için güvenilir yüksek performans sunmak amacıyla Lustre İçin FSx'ten yararlanıyor.

Smartronix, dünyanın önde gelen birçok ticari ve federal kuruluşu için bulut çözümleri, siber güvenlik, sistem entegrasyonu, dünya çapında C5ISR, veri analizi ve görev odaklı mühendislik sağlıyor. Smartronix, eyalet çapında günlük COVID istatistiklerini analiz etmek ve sunmak için SAS Grid'e güvendi ve kendi kendini yöneten, paralel dosya sistemlerini yönetmeyi ve korumayı zor buldu.

Netflix, çok çeşitli ödüllü TV dizileri, filmler, anime, belgeseller ve daha fazlasını sunan bir akış hizmetidir.

Görev: Netflix; medya makine öğrenimi modelleri, prodüksiyon sonrası küçük resimler, VFX ve binlerce video ile milyonlarca klip için tanıtım oluşturma konularına yönelik olarak büyük ölçekli dağıtılmış eğitim kullanıyor. Netflix, düğümler arası çoğaltma ve %40 GPU boşta kalma süresi nedeniyle uzun beklemeler yaşıyordu.

Çözüm: Netflix, veri yükleme işlem hattını yeniden tasarladı ve tüm video/ses kliplerini önceden hesaplayarak verimliliğini artırdı. Netflix ayrıca işlem performansını hızlandırmak için Amazon UltraClusters'ı (EC2 P4d bulut sunucularını) seçti. Lustre İçin Amazon FSx performansı, Netflix'in GPU'ları tamamen doldurmasını ve GPU boşta kalma süresini neredeyse ortadan kaldırmasını sağlar. Netflix artık ön işlem ve Lustre İçin FSx kullanarak 3-4 kat iyileştirme yaşıyor ve model eğitim süresini bir haftadan 1-2 güne düşürüyor.

Hyundai Motor Company, markalı araçlarını 200'den fazla ülkeye ihraç eden, küresel olarak tanınan bir otomobil üreticisi olarak yükseldi.

Görev: Otonom sürüşte sıklıkla kullanılan algoritmalardan biri, bir görüntünün her pikseline bir nesne sınıfıyla açıklama eklenmesine yönelik bir görev olan semantik segmentasyondur. Bu sınıflar yol, kişi, araba, bina, bitki örtüsü, gökyüzü vb. öğeler olabilir. Hyundai, doğruluğu test eder ve belirli durumlarda yetersiz tahmin performansını düzeltmek için ek görüntüler toplar. Bununla birlikte, modeli eğitmek ve planlanan teslim tarihlerini karşılamak için yeterli zaman bırakırken aynı zamanda tüm yeni verileri hazırlamak için yeterli zaman genellikle olmadığından bu zor olabilir.

Çözüm: Hyundai, model eğitimini otomatikleştirmek için Amazon SageMaker'ı ve tek bir GPU'dan dağıtılmış eğitime geçmek üzere veri paralelliği için Amazon SageMaker kitaplığını seçti. Veri kopyalarını beklemeden modelleri eğitmek için Lustre İçin Amazon FSx'i seçtiler. Ayrıca kalıcı veri depolama alanı için Amazon S3'ü tercih ettiler. Hyundai, 8 GPU bulut sunucusu veya toplamda 64 GPU ile %93'e varan ölçeklendirme verimliliği elde etti. Lustre İçin FSx, Hyundai'ın aynı veriler için sıfır bekleme süresi ile birden fazla eğitim işi ve deneme yapmasını sağladı.

Rivian, dünyayı sonsuza dek maceracı tutmayı hedefliyor. Dünyayı keşfetmenin daha sorumlu bir yolu olduğuna inanıyoruz ve sürdürülebilir ulaşıma geçişi heyecan verici hale getirmeye kararlıyız..

Elektrikli araç üreticisi Rivian, hızlandırılmış mühendislik programlarını karşılamak ve fiziksel prototiplere olan ihtiyacı azaltmak için gelişmiş modelleme ve simülasyon tekniklerinden yararlanıyor. Yüksek bilgi işlem kapasitesini kullanan simülasyonlar, mühendislerin yeni kavramları test etmelerini ve tasarımlarını hızla pazara sunmalarını sağlar.

Denso, sürücülere park etme ve şerit değiştirme gibi işlevlerde yardımcı olan gelişmiş sürücü yardım sistemleri (ADAS) için görüntü sensörleri geliştiriyor.

Görev: ADAS görüntü tanıma için gerekli makine öğrenimi modellerini geliştirmek üzere DENSO, şirket içi ortamında GPU kümeleri oluşturdu. Bununla birlikte, birden fazla makine öğrenimi mühendisi, özellikle yeni bir ürün sürümünden önceki yoğun dönemde sınırlı GPU kaynaklarını paylaşmak zorunda kaldı. Bu da üretkenliği etkiledi.

Çözüm: Amazon SageMaker ve Lustre İçin Amazon FSx'i benimseyen Denso, veri toplama, model geliştirme, öğrenme ve değerlendirme süresini kısaltarak ADAS görüntü tanıma modellerinin oluşturulmasını hızlandırmayı başardı.

Joby Aviation, ulaşımda devrim yaratmak için AWS'yi kullanıyor.

Zorluk: Joby mühendisleri, her biri yüzlerce CPU çekirdeği kullanan ve tamamlanması saatler sürebilen binlerce karmaşık, bilgi işlem açısından yoğun Hesaplamalı Akışkanlar Dinamiği (CFD) simülasyonunu gerçekleştirmek için yüksek performanslı bilgi işlemden (HPC) yararlanıyor.

Çözüm: Amazon Esnek İşlem Bulutu (Amazon EC2) ve Lustre İçin Amazon FSx'i kullanmak, Joby'nin şirket içi yüksek performanslı bilgi işlem altyapısına kıyasla CFD iş yüklerinden daha hızlı sonuç almasını sağladı.

T-Mobile, Lustre İçin Amazon FSx'i kullanarak yıllık 1,5 milyon ABD doları tasarruf sağlıyor ve SAS Grid iş yüklerinin hızını iki katına çıkarıyor.

Zorluk: T-Mobile, kendi kendini yöneten SAS Grid iş yükü nedeniyle yüksek yönetim yükü ve performans zorlukları yaşıyordu.

Çözüm: T-Mobile, SAS Grid altyapısını taşımak ve ölçeklendirmek için tam olarak yönetilen yüksek performanslı bir dosya sistemi olan Lustre İçin Amazon FSx'i kullandı. T-Mobile, depolama yüklerini azaltmak ve işlemleri optimize etmek için Amazon FSx ve S3'ün sıkı entegrasyonunu kullandı.

Netflix'in olaylara dayalı drama dizisi "The Crown"un dördüncü sezonunun prodüksiyonu, post prodüksiyon görsel efekt çalışmasının başlaması planlandığı sırada dünya COVID-19 salgını nedeniyle karantinaya girdiğinden beklenmedik zorluklarla karşılaştı. AWS'de bulut tabanlı bir iş akışını benimseyen Netflix'in 10 sanatçıdan oluşan şirket içi görsel efekt ekibi, gelişmiş aktarım hızı için Lustre İçin Amazon FSx dosya sunucusu da dahil olmak üzere, sezonun 10 bölümlük çalışması için 600'den fazla görsel efekt çekimini yalnızca 8 ayda, herkes uzaktan çalışırken sorunsuz bir şekilde tamamlamayı başardı. 

Maxar, tahminleri hava durumu süper bilgisayarından %58 daha hızlı sunmak için AWS'yi kullanıyor.

Zorluk: Dünya istihbaratı ve Uzay altyapısında güvenilir bir iş ortağı ve yenilikçi olan Maxar Technologies'in, şirket içi süper bilgisayarına kıyasla hava durumu tahminlerini daha hızlı sunması gerekiyordu.

Çözüm: Maxar; güvenli, son derece güvenilir bilgi işlem kaynakları için Amazon Esnek İşlem Bulutu (Amazon EC2), uygulamasının okuma/yazma verimini hızlandırmak için Lustre İçin Amazon FSx ve AWS'de hızlı bir şekilde HPC işlem ortamları oluşturmak için AWS ParallelCluster gibi temel teknolojilerle bir HPC çözümü oluşturmak üzere AWS ile birlikte çalıştı.

INEOS TEAM UK, AWS'yi kullanarak Amerika Kupası için tekne tasarımını hızlandırıyor.

Zorluk: 2018 yılında kurulan INEOS TEAM UK, dünyanın en eski uluslararası spor kupası olan Amerika Kupası'nı Büyük Britanya'ya getirmeyi hedefliyor. Amerika Kupası, su üzerinde yapılan testleri etkinlikten en fazla 150 gün önceyle sınırlandırıyor ve böylece, tek gövdeli ve ince levhalıların yüksek performanslı hesaplamalı akışkanlar dinamiği (CFD) simülasyonları, kazanan bir tekne tasarımının anahtarı haline geliyor.  

Çözüm: INEOS TEAM UK, AWS'yi kullanarak Amerika Kupası teknesi için binlerce tasarım simülasyonunu şirket içi ortamda bir aydan uzun bir sürede işleyebilirken artık bir hafta içinde işleyebiliyor. INEOS TEAM UK, 2021'de 36. Amerika Kupası'nda yarıştı. Ekip, Amazon EC2 Spot Bulut Sunucuları üzerinde çalışan bir HPC ortamı kullanıyor.  Ekip, her hafta tamamlanan binlerce simülasyon için hızlı disk performansı sağlamak üzere Amazon Basit Depolama Hizmeti (S3) tabanlı hızlı, ölçeklenebilir ve güvenli, yüksek performanslı bir dosya sistemi sağlamak amacıyla Lustre İçin Amazon FSx kullandı.

Hive VFX, ön stüdyo maliyetlerini azaltıyor, AWS'de bulut görsel efekt stüdyosu olarak çalışıyor.

Zorluk: Hive, dünyanın dört bir yanındaki uzak sanatçıların kaliteli içerik oluşturması için küçük ve bağımsız bir bulut stüdyosu başlatmak için yüksek performanslı altyapıya ihtiyaç duyuyordu.

Çözüm: Amazon S3 ile entegre edilmiş, tam olarak yönetilen Lustre İçin Amazon FSx, büyük bir ön yatırım veya şirket içi BT ekibi uzmanlığı olmadan AWS bilgi işlem kaynaklarına hızlı erişim sağladı. Dosya verilerinin ve dosya izinlerinin FSx Lustre ve S3 arasındaki kesintisiz senkronizasyonu, Hive VFX'in büyük hacimli görüntüleri depolamasını ve proje verilerini kıtalar arasında paylaşmasını sağladı.

Lyell, Lustre İçin Amazon FSx ile hücre bazlı kanser tedavisi araştırmalarını hızlandırıyor.

Zorluk: Lyell, proteinlerin büyük ölçekli hesaplamalı tasarımını çalıştırmayı gerektiren iyileştirici, hücre tabanlı kanser tedavileri sunar. Bu iş yükleri geleneksel olarak şirket içinde çalıştırılıyordu ancak ayda yalnızca bir deneme yapmakla sınırlı olduklarından şirketin daha ölçeklenebilir, uygun maliyetli bir çözüme ihtiyacı vardı.

Çözüm: Veri bilimcileri, dosya sistemlerini Lustre için FSx'e taşıdıklarından beri, EC2 bulut sunucuları ve Amazon FSx dosya sistemlerinden oluşan binlerce HPC kümesini yavaşlatarak, işlem ağırlıklı deneyleri hızlı bir şekilde çalıştırmalarını ve yalnızca iş yükü süresince bilgi işlem ve depolama için ödeme yapmalarını sağlıyor.

BlackThorn Therapeutics, Lustre için FSx ile öngörü elde etme süresini hızlandırıyor.

Zorluk: Standart DiY bulut dosya sistemlerini kullanarak manyetik rezonans görüntüleme (MRI) verilerini işlemek büyük miktarda kaynak ve zaman gerektiriyordu. BlackThorn, veri bilimi ve makine öğrenimi iş akışlarını basitleştirmeye yardımcı olmak için yoğun bilgi işlem gerektiren, paylaşılan bir dosya depolama çözümüne ihtiyaç duyuyordu.

Çözüm: Lustre İçin Amazon FSx, Amazon S3 ve Amazon SageMaker ile entegredir ve ML eğitim veri kümeleri için hızlı işlemenin yanı sıra Amazon EC2 bulut sunucularını kullanarak bilgi işleme sorunsuz erişim sağlar.

Qubole, Lustre İçin Amazon FSx ile maliyetleri düşürürken veri dayanıklılığını artırıyor.

Zorluk: Qubole, müşterileri için analiz ve AI/ML iş yüklerini işlemek amacıyla yüksek performanslı bir depolama çözümü arıyordu. Şirketin, EC2 Spot Filolarında tutulan ara verileri kolayca depolaması ve işlemesi gerekiyordu.

Çözüm: Qubole, ara verileri paralel, yüksek hızlı dosya sistemi aracılığıyla depolamak ve işlemek için Lustre İçin Amazon FSx'i kullandı.