- Amazon FSx›
- FSx for Lustre›
- ลูกค้า FSx สำหรับ Lustre
ลูกค้า Amazon FSx สำหรับ Lustre
ดาโตโลจีใหญ่
DatologYai สร้างเครื่องมือที่เลือกข้อมูลที่ดีที่สุดโดยอัตโนมัติเพื่อฝึกโมเดลการเรียนรู้เชิงลึก
“เรารู้สึกตื่นเต้นที่จะใช้โซลูชันการสังเกตได้ด้วยคลิกเดียวของ Amazon SageMaker HyperPod พนักงานอาวุโสของเราต้องการข้อมูลเชิงลึกเกี่ยวกับวิธีที่เราใช้ทรัพยากร GPU แดชบอร์ด Grafana ที่สร้างไว้ล่วงหน้าจะให้สิ่งที่เราต้องการ โดยสามารถมองเห็นเมตริกที่สำคัญได้ทันที ตั้งแต่การใช้งาน GPU เฉพาะงานไปจนถึงประสิทธิภาพของระบบไฟล์ (fSx for Lustre) โดยไม่จำเป็นต้องดูแลโครงสร้างพื้นฐานการตรวจสอบใด ๆ ในฐานะคนที่ชื่นชมพลังของ Prometheus Query Language ฉันชอบความจริงที่ว่าฉันสามารถเขียนแบบสอบถามของตัวเองและวิเคราะห์เมตริกที่กำหนดเองได้โดยไม่ต้องกังวลเกี่ยวกับปัญหาโครงสร้างพื้นฐาน”
Josh Wills สมาชิกเจ้าหน้าที่ด้านเทคนิคของ DatologYai
กลุ่ม อะโพไอเดีย
Apoidea พัฒนาโซลูชันที่ขับเคลื่อนด้วย AI สำหรับธนาคารข้ามชาติโดยใช้ AI ที่ล้ำสมัยและเทคโนโลยีการเรียนรู้เชิงลึก ผลิตภัณฑ์เรือธงของพวกเขา SuperACC เป็นบริการประมวลผลเอกสารที่ซับซ้อนซึ่งใช้รูปแบบที่เป็นกรรมสิทธิ์ในการจัดการเอกสารทางการเงินที่หลากหลาย รวมถึงใบแจ้งยอดธนาคารและแบบฟอร์ม KYC เทคโนโลยีนี้ได้ปรับปรุงประสิทธิภาพอย่างมากในภาคการธนาคารลดเวลาในการประมวลผลการกระจายทางการเงินจาก 4-6 ชั่วโมงเป็นเพียง 10 นาที
เพื่อสนับสนุนการพัฒนานี้ Apoidea ใช้ Amazon SageMaker HyperPod ซึ่งให้สภาพแวดล้อมที่ปรับขนาดได้และยืดหยุ่นสำหรับการฝึกอบรมแบบจำลองขนาดใหญ่ SageMaker HyperPod มีคุณสมบัติการจัดการการฝึกอบรมแบบกระจาย การซิงโครไนซ์ข้อมูลที่ราบรื่นกับ FSx for Lustre และสภาพแวดล้อมที่ปรับแต่งได้ ซึ่งทั้งหมดนี้ช่วยเพิ่มประสิทธิภาพเวิร์กโฟลว์ของ ML
Adobe
Adobe ก่อตั้งขึ้นเมื่อ 40 ปีที่ผ่านมา โดยอาศัยแนวคิดง่ายๆในการสร้างผลิตภัณฑ์ที่เป็นนวัตกรรมใหม่ที่เปลี่ยนโลก Adobe นำเสนอเทคโนโลยีที่ก้าวหน้าซึ่งช่วยให้ทุกคนสามารถจินตนาการสร้างสรรค์และนำประสบการณ์ดิจิทัลมาสู่ชีวิตได้ แทนที่จะพึ่งพาโมเดลโอเพนซอร์ส Adobe ตัดสินใจที่จะฝึกโมเดล AI แบบสร้างสรรค์พื้นฐานของตัวเองที่ปรับให้เหมาะกับกรณีการใช้งานที่สร้างสรรค์ Adobe สร้างไฮเวย์ AI บน AWS เพื่อสร้างแพลตฟอร์มการฝึกอบรม AI และท่อส่งข้อมูลเพื่อทำซ้ำแบบจำลองอย่างรวดเร็ว Adobe ใช้ Amazon FSx สำหรับพื้นที่จัดเก็บไฟล์ประสิทธิภาพสูง Lustre เพื่อเข้าถึงข้อมูลได้อย่างรวดเร็วและเพื่อให้แน่ใจว่าทรัพยากร GPU จะไม่หยุดทำงานอยู่
“เป็นเรื่องง่ายที่จะคิดว่าฉันจะสร้างคลาวด์ AI ของตัวเอง แต่ความร่วมมือกับ AWS ช่วยให้เรามุ่งเน้นไปที่ตัวแตกต่างของเรา”
Alexandru Costin - รองประธานฝ่ายสร้างสรรค์ AI และ Sensei ที่ Adobe
LG AI รีเซิร์ช
LG AI Research ซึ่งเป็นศูนย์กลางการวิจัยปัญญาประดิษฐ์ (AI) ของกลุ่มบริษัทเกาหลีใต้ LG Group ก่อตั้งขึ้นเพื่อส่งเสริม AI ซึ่งเป็นส่วนหนึ่งของกลยุทธ์การเปลี่ยนแปลงทางดิจิทัลเพื่อขับเคลื่อนการเติบโตในอนาคต สถาบันวิจัยได้พัฒนาเครื่องยนต์ EXAONE รุ่นพื้นฐานภายในหนึ่งปีโดยใช้ Amazon SageMaker และ Amazon FSx for Lustre แบบจำลองพื้นฐานเลียนแบบมนุษย์ในขณะที่คิด เรียนรู้ และดำเนินการด้วยตัวเองผ่านการฝึกอบรมข้อมูลขนาดใหญ่ รูปแบบมูลนิธิอเนกประสงค์สามารถใช้ในอุตสาหกรรมต่างๆเพื่อดำเนินงานที่หลากหลาย
เพจ
Paige ผู้ให้บริการพยาธิวิทยาดิจิทัลชั้นนำพยายามปรับปรุงโมเดล AI และ ML สำหรับการวินิจฉัยโรคมะเร็ง แต่ต้องเผชิญกับข้อ จำกัด เกี่ยวกับโซลูชันในสถานที่ เพื่อเอาชนะสิ่งนี้ Paige ได้นำอินสแตนซ์ Amazon EC2 P4d และ Amazon FSx for Lustre ผสานรวมรุ่นหลังเข้ากับถัง Amazon S3 เพื่อการจัดการข้อมูลอินพุต ML เพตาไบต์อย่างมีประสิทธิภาพ โครงสร้างพื้นฐาน AWS นี้ทำให้ Paige ประมวลผลข้อมูลโดยไม่ต้องตั้งค่าด้วยตนเองบนระบบไฟล์ประสิทธิภาพสูง เป็นผลให้ Paige ประสบความสามารถในการฝึกอบรมข้อมูลเพิ่มขึ้นสิบเท่าและเวิร์กโฟลว์ภายในเร็วขึ้น 72%
“ด้วยการเชื่อมต่อ Amazon FSx for Lustre กับ Amazon S3 เราสามารถฝึกบนปริมาณข้อมูลที่เรากำลังลองใช้ในโครงสร้างพื้นฐานในสถานที่ได้ 10 เท่าโดยไม่มีปัญหาใด ๆ“
Alexander van Eck เจ้าหน้าที่วิศวกร AI - Paige
Toyota
Toyota Research Institute (TRI) เก็บรวบรวมและประมวลผลข้อมูลเซ็นเซอร์จำนวนมากจากการทดสอบรถยนต์ขับเคลื่อนอัตโนมัติ (AV) ชุดข้อมูลการฝึกอบรมแต่ละชุดจะถูกลงในอุปกรณ์ NAS ในสถานที่และถ่ายโอนไปยัง Amazon Simple Storage Service (Amazon S3) ก่อนประมวลผลบนคลัสเตอร์คำนวณ GPU ที่มีประสิทธิภาพ TRI ต้องการระบบไฟล์ที่มีประสิทธิภาพสูงเพื่อจับคู่กับทรัพยากรการคำนวณ เร่งการฝึกอบรมโมเดล ML และเร่งเวลาจัดทำข้อมูลเชิงลึกสำหรับนักวิทยาศาสตร์ข้อมูลของพวกเขา Toyota Research Institute เลือก FSx สำหรับ Lustre เพื่อลดเวลาการฝึกอบรมของแมชชีนเลิร์นนิงในการจดจำวัตถุ
“เราต้องการระบบไฟล์คู่ขนานสำหรับชุดข้อมูลการฝึกอบรม ML ของเราและเลือก Amazon FSx สำหรับ Lustre เพื่อความพร้อมใช้งานและความทนทานที่สูงขึ้นเมื่อเทียบกับข้อเสนอระบบไฟล์เดิมของเรา การบูรณาการกับบริการ AWS รวมถึง S3 ยังทำให้เป็นตัวเลือกที่ต้องการสำหรับการจัดเก็บไฟล์ประสิทธิภาพสูงของเรา“
David Fluck วิศวกรซอฟต์แวร์ - Toyota Research Institute
Shell
เชลล์นำเสนอตัวเลือกพลังงานที่หลากหลาย ตั้งแต่น้ำมัน ก๊าซ และปิโตรเคมี ไปจนถึงลม พลังงานแสงอาทิตย์ และไฮโดรเจน เชลล์ภูมิใจที่ได้จัดหาพลังงานที่ลูกค้าต้องการเพื่อขับเคลื่อนชีวิตของพวกเขา เชลล์อาศัย HPC สำหรับการสร้างแบบจำลอง การทดสอบ และการตรวจสอบความถูกต้อง ตั้งแต่ปี 2020 ถึง 2022 การใช้งาน GPU มีค่าเฉลี่ยน้อยกว่า 90% ส่งผลให้โครงการล่าช้าและเกิดข้อจำกัดในการทดลองอัลกอริทึมใหม่ เชลล์เพิ่มความสามารถในการคำนวณในสถานที่โดยการแพร่กระจายไปยังคลาวด์ด้วยคลัสเตอร์ Amazon EC2 และ Amazon FSx for Lustre โซลูชันนี้ช่วยให้ Shell สามารถขยายและลดขนาดได้อย่างรวดเร็ว และซื้อความจุในการประมวลผลเพิ่มเติมเมื่อจำเป็นเท่านั้น ขณะนี้ GPU ของ Shell ถูกนำมาใช้อย่างเต็มที่เพื่อลดต้นทุนการประมวลผล และเร่งการทดสอบโมเดลแมชชีนเลิร์นนิง
Netflix
Netflix ใช้การฝึกอบรมแบบกระจายขนาดใหญ่สำหรับโมเดล ML สื่อ สำหรับภาพขนาดย่อหลังการผลิต VFX และการสร้างตัวอย่างสำหรับวิดีโอหลายพันรายการและคลิปหลายล้านคลิป Netflix ประสบกับเวลารอที่นานเนื่องจากการจำลองแบบข้ามโหนด และเวลาไม่ใช้งานของ GPU ที่ 40%
Netflix ได้สร้างระบบการโหลดข้อมูลใหม่และปรับปรุงประสิทธิภาพโดยการคำนวณคลิปวิดีโอ/เสียงทั้งหมดล่วงหน้า ประสิทธิภาพของ Amazon FSx สำหรับ Lustre ช่วยให้ Netflix สามารถซึมซับข้อมูลไปยัง GPU และกำจัดเวลาที่ GPU ไม่ได้ใช้งาน ปัจจุบัน Netflix ได้รับการปรับปรุง 3-4 เท่า โดยใช้การประมวลผลล่วงหน้าและ FSx สำหรับ Lustre ซึ่งลดเวลาการฝึกโมเดลจากหนึ่งสัปดาห์เหลือ 1-2 วัน
การสร้างซีซั่นที่สี่ของซีรีส์เรื่อง “The Crown” ของ Netflix ต้องเผชิญกับความท้าทายที่ไม่คาดคิด เพราะโลกต้องปิดตายจากการระบาดของ COVID-19 หลังจากที่งานจัดการหลังการถ่ายทำของ VFX เพิ่งจะเริ่มขึ้น ด้วยการนำเวิร์กโฟลว์บนคลาวด์บน AWS รวมถึงเซิร์ฟเวอร์ไฟล์ Amazon fSx Lustre เพื่อเพิ่มปริมาณงานที่เพิ่มขึ้น ทีมงาน VFX ภายในองค์กรของ Netflix ซึ่งประกอบด้วยศิลปิน 10 คนสามารถถ่ายภาพ VFX มากกว่า 600 ภาพได้อย่างราบรื่นสำหรับ 10 ตอนของฤดูกาลในเวลาเพียง 8 เดือน ทั้งหมดนี้ในขณะที่ทำงานจากระยะไกล
Storengy
Storengy ซึ่งเป็นบริษัทย่อยของ ENGIE Group เป็นผู้จัดจำหน่ายก๊าซธรรมชาติชั้นนำ บริษัทให้บริการการจัดเก็บก๊าซ โซลูชันความร้อนใต้พิภพ การผลิตพลังงานที่ปราศจากคาร์บอน และเทคโนโลยีการจัดเก็บให้กับองค์กรทั่วโลก
เพื่อให้มั่นใจว่าผลิตภัณฑ์ของบริษัทได้รับการจัดเก็บอย่างเหมาะสม Storengy ใช้เครื่องจำลองเทคโนโลยีชั้นสูงเพื่อประเมินการจัดเก็บก๊าซใต้ดิน ซึ่งเป็นกระบวนการที่ต้องใช้เวิร์กโหลดการประมวลผลประสิทธิภาพสูง (HPC) อย่างครอบคลุม นอกจากนี้ บริษัทยังใช้เทคโนโลยี HPC เพื่อดำเนินการค้นหาก๊าซธรรมชาติและงานสำรวจอีกด้วย
“เนื่องจาก AWS เราจึงมีความสามารถในการปรับขนาดและความพร้อมใช้งานสูงในการจำลองหลายร้อยรายการในแต่ละครั้ง นอกจากนี้ โซลูชันยังปรับขนาดขึ้นหรือลงโดยอัตโนมัติเพื่อรองรับช่วงเวลาภาระงานสูงสุดของเรา ซึ่งหมายความว่าเราไม่มีความประหลาดใจใด ๆ กับสภาพแวดล้อม HPC ของเรา“
Jean-Frederic Thebault — วิศวกร Storengy
Smartronix
Smartronix ใช้ FSx สำหรับ Lustre เพื่อส่งมอบประสิทธิภาพสูงที่เชื่อถือได้สำหรับการนำไปใช้จริงของ SAS Grid
Smartronix ให้บริการโซลูชันระบบคลาวด์ การรักษาความปลอดภัยในโลกไซเบอร์ การรวมระบบ C5ISR ทั่วโลก และการวิเคราะห์ข้อมูล และวิศวกรรมที่มุ่งเน้นภารกิจสำหรับองค์กรการค้าและรัฐบาลกลางชั้นนำของโลก Smartronix อาศัย SAS Grid ในการวิเคราะห์และส่งมอบสถิติรายวันเกี่ยวกับ COVID ในระดับรัฐ และพบว่าระบบไฟล์คู่ขนานแบบจัดการเองนั้นบริหารและป้องกันได้ยาก
“การร่วมมือกับ AWS และการใช้ประโยชน์จากโซลูชันที่มีการจัดการ เช่น FSx for Lustre ทำให้เราสามารถให้บริการลูกค้าของเราได้ดีขึ้น ด้วยความพร้อมใช้งานที่สูงขึ้นและต้นทุนต่ำกว่าระบบไฟล์ที่จัดการด้วยตนเอง 29%“
Rob Mounier — สถาปนิกโซลูชันอาวุโส Smartronix
Hyundai
Hyundai Motor Company ผู้ผลิตยานยนต์ระดับโลกที่ส่งออกไปยังกว่า 200 ประเทศ ใช้การแบ่งส่วนความหมายสำหรับการขับขี่แบบอิสระเพื่อจำแนกพิกเซลภาพออกเป็นหมวดหมู่ เช่น ถนน ผู้คน และอาคาร
เพื่อปรับปรุงความแม่นยำของโมเดลและปฏิบัติตามกำหนดเวลา Hyundai ได้ใช้ Amazon SageMaker สำหรับการฝึกอบรมอัตโนมัติและการขนานข้อมูลใน GPU หลายตัว พร้อมกับ Amazon FSx for Lustre และ S3 เพื่อการจัดเก็บและการประมวลผลข้อมูลที่มีประสิทธิภาพ โซลูชันเหล่านี้ช่วยให้ฮุนไดมีประสิทธิภาพในการปรับขนาด 93% ด้วย GPU 64 ตัวในขณะที่ลดระยะเวลาการรอข้อมูล
Rivian
Amazon fSx for Lustre มีบทบาทสำคัญในการเปลี่ยนแปลงระบบคลาวด์ของ Rivian โดยให้การเข้าถึงพื้นที่เก็บข้อมูลที่ใช้ร่วมกันได้อย่างรวดเร็วที่จำเป็นสำหรับงานวิศวกรรมและการออกแบบที่ช่วยเหลือคอมพิวเตอร์ การใช้ FSx for Lustre เป็นส่วนหนึ่งของโซลูชัน AWS Rivian ปรับปรุงเมตริกประสิทธิภาพอย่างมาก รวมถึงความเร็วในการโต้ตอบการจัดการวงจรชีวิตผลิตภัณฑ์เพิ่มขึ้น 66% และลดเวลาการซิงโครไนซ์การสำรองข้อมูลจากหนึ่งวันเป็นน้อยกว่าหนึ่งชั่วโมง
บริการจัดเก็บข้อมูลที่มีการจัดการอย่างเต็มรูปแบบถูกนำมาใช้ร่วมกับบริการ AWS อื่น ๆ เช่น Amazon EC2 และ Auto Scaling ช่วยให้ Rivian เอาชนะข้อ จำกัด โครงสร้างพื้นฐานในสถานที่และบรรลุความสามารถในการคำนวณประสิทธิภาพสูงที่ปรับขนาดได้ในเวลาเพียงสามสัปดาห์เมื่อเทียบกับไทม์ไลน์หกเดือนที่คาดไว้
เดนโซ
Denso พัฒนาเซ็นเซอร์ภาพสำหรับระบบช่วยเหลือผู้ขับขี่ขั้นสูง (ADAS) ซึ่งช่วยผู้ขับขี่ด้วยฟังก์ชั่นต่างๆ เช่น การจอดรถและการเปลี่ยนเลน เพื่อพัฒนาโมเดล ML ที่จำเป็นสำหรับการจดจำภาพ ADAS DENSO ได้สร้างคลัสเตอร์ GPU ในสภาพแวดล้อมในสถานที่ อย่างไรก็ตาม วิศวกร ML หลายคนต้องแบ่งปันทรัพยากร GPU ที่ จำกัด ซึ่งส่งผลกระทบต่อประสิทธิภาพ โดยเฉพาะในช่วงเวลายุ่งก่อนการเปิดตัวผลิตภัณฑ์ใหม่
ด้วยการนำมาใช้ Amazon SageMaker และ Amazon FSx สำหรับ Lustre Denso สามารถเร่งการสร้างแบบจำลองการจดจำภาพ ADAS โดยการลดการเก็บรวบรวมข้อมูล การพัฒนาแบบจำลอง การเรียนรู้ และเวลาการประเมินผล
“การปฏิบัติในการเปลี่ยนไปสู่ระบบคลาวด์จะเร่งเร่งในด้านปัญญาประดิษฐ์และ ML ผมมั่นใจว่า AWS จะยังคงให้การสนับสนุนแก่เราในขณะที่เราเพิ่มฟังก์ชันต่อไป”
Kensuke Yokoi ผู้จัดการทั่วไป - DENSO
T-Mobile
T-Mobile เปลี่ยนโครงสร้างพื้นฐาน SAS Grid โดยใช้ Amazon FSx for Lustre เพื่อแก้ไขปัญหาประสิทธิภาพและค่าใช้จ่ายในการจัดการสูงด้วยระบบที่จัดการด้วยตนเอง
การปรับใช้ FSx for Lustre พร้อมกับการผสานรวมกับ Amazon S3 ทำให้T-Mobile สามารถเพิ่มความเร็วในการทำงานของ SAS Grid เป็นสองเท่าในขณะที่ประหยัดรายปี 1.5 ล้านดอลลาร์และลดต้นทุนการเป็นเจ้าของทั้งหมด 83%
โซลูชันนี้ขจัดภาระในการดำเนินงานและทำให้ T-Mobile มุ่งเน้นไปที่ธุรกิจหลักในการพัฒนาผลิตภัณฑ์ของลูกค้าที่เป็นนวัตกรรมใหม่ในขณะที่ใช้ประโยชน์จากความสามารถในการจัดเก็บข้อมูลขั้นสูงของ AWS
Maxar
Maxar Technologies ซึ่งเป็นพันธมิตรที่เชื่อถือได้และผู้คิดค้นด้านระบบอัจฉริยะโลกและโครงสร้างพื้นฐานอวกาศ จำเป็นต้องส่งมอบการคาดการณ์สภาพอากาศได้เร็วขึ้นเมื่อเทียบกับซูเปอร์คอมพิวเตอร์ในสถานที่ Maxar ทำงานร่วมกับ AWS เพื่อสร้างโซลูชัน HPC ด้วยเทคโนโลยีที่สำคัญ ได้แก่ AMAZON EC2 สำหรับทรัพยากรการประมวลผลที่ปลอดภัยและเชื่อถือได้สูง Amazon FSx for Lustre เพื่อเร่งความเร็วในการอ่าน/เขียนของแอปพลิเคชัน และ AWS ParallelCluster เพื่อสร้างสภาพแวดล้อมการคำนวณ HPC บน AWS อย่างรวดเร็ว
“Maxar ใช้ Amazon FSx for Lustre ในโซลูชัน AWS HPC ของเราสำหรับการใช้งานแบบจำลองการพยากรณ์อากาศเชิงตัวเลขของ NOAA ซึ่งช่วยให้เราลดเวลาในการคำนวณได้ 58% สร้างการพยากรณ์ได้ใน 45 นาที สำหรับจุดราคาที่มีประสิทธิภาพมากขึ้น การเพิ่มทรัพยากรการคำนวณ AWS ของเราให้สูงสุดเป็นการเพิ่มประสิทธิภาพอย่างเหลือเชื่อสำหรับเรา“
ดร. Stefan Cecelski นักวิทยาศาสตร์และวิศวกรอาวุโสด้านข้อมูล - Maxar Technologies
แบล็คทอร์น ทรีเปอติคส์ (นีมอร่า)
การประมวลผลข้อมูลการถ่ายภาพด้วยคลื่นสนามแม่เหล็ก (MRI) โดยใช้ระบบไฟล์คลาวด์ DIY มาตรฐานนั้นใช้ทรัพยากรและเวลามาก BlackThorn ต้องการโซลูชันการจัดเก็บไฟล์ที่ใช้ร่วมกันที่มีการคำนวณอย่างเข้มข้น เพื่อช่วยลดความซับซ้อนของวิทยาศาสตร์ข้อมูลและเวิร์กโฟลว์ของแมชชีนเลิร์นนิง Amazon FSx for Lustre ถูกรวมเข้ากับ Amazon S3 และ Amazon SageMaker ซึ่งให้การประมวลผลที่รวดเร็วสำหรับชุดข้อมูลการฝึกอบรม ML รวมถึงการเข้าถึงการประมวลผลอย่างราบรื่นโดยใช้อินสแตนซ์ Amazon EC2
“FSx for Lustre ช่วยให้เราสามารถสร้างท่อประมวลผลข้อมูล MRI ประสิทธิภาพสูง เวลาการประมวลผลข้อมูลสำหรับเวิร์กโฟลว์ที่ใช้ ML ของเราลดลงเหลือนาทีเมื่อเทียบกับวันและสัปดาห์“
Oscar Rodriguez ผู้อำนวยการอาวุโสฝ่ายนวัตกรรมและเทคโนโลยี - BlackThorn Therapeutics
Qubole
Qubole กำลังมองหาโซลูชันการจัดเก็บข้อมูลประสิทธิภาพสูงเพื่อประมวลผลงานเชิงวิเคราะห์และ AI/ML สำหรับลูกค้า พวกเขาต้องการที่ให้มีการจัดเก็บและประมวลผลข้อมูลระดับกลางที่ง่ายดายใน EC2 กลุ่ม Spot Instance ของพวกเขา Qubole ใช้ Amazon FSx for Lustre เพื่อจัดเก็บและประมวลผลข้อมูลระดับกลางผ่านระบบไฟล์ความเร็วสูงแบบขนานกัน
“ปัญหาที่ใหญ่ที่สุดสองประการของผู้ใช้ของเรา ค่าใช้จ่ายสูงและการสูญเสียข้อมูลระดับกลาง เกิดจากการใช้อินสแตนซ์ EC2 ที่ไม่ใช้งานและอินสแตนซ์ EC2 Spot เพื่อประมวลผลและจัดเก็บข้อมูลระดับกลางที่สร้างโดยกรอบการประมวลผลแบบกระจาย เช่น Hive และ Spark เราแก้ปัญหานี้ได้โดยใช้ Amazon FSx สำหรับ Lustre ซึ่งเป็นระบบไฟล์ที่มีประสิทธิภาพสูงเพื่อถ่ายข้อมูลระดับกลาง ตอนนี้ผู้ใช้ของเราไม่ต้องจ่ายเงินเพื่อรักษาอินสแตนซ์ที่ไม่ได้ใช้งานและไม่ได้รับผลกระทบจากโหนด EC2 Spot Amazon FSx ช่วยให้ผู้ใช้ของเราลดต้นทุนรวมลง 30%“
Joydeep Sen Sarma ประธานเจ้าหน้าที่บริหารฝ่ายเทคโนโลยี - Qubole