Amazon FSx dành cho khách hàng sử dụng Lustre

LG AI Research Cùng với các chuyên gia AI hàng đầu thế giới, LG AI Research hướng đến mục tiêu dẫn đầu kỷ nguyên AI tiếp theo nhằm hiện thực hóa tương lai đầy hứa hẹn khi cung cấp môi trường nghiên cứu tối ưu và tận dụng công nghệ AI tiên tiến.

Thử thách: LG AI Research cần đưa mô hình nền tảng EXAONE của mình sang giai đoạn sản xuất trong một năm. EXAONE, viết tắt của “expert AI for everyone” (chuyên gia AI cho mọi người), là mô hình đa phương thức gồn 300 tỷ thông số sử dụng cả hình ảnh và dữ liệu văn bản.

Giải pháp: LG AI Research đã sử dụng Amazon SageMaker để đào tạo mô hình nền tảng quy mô lớn và Amazon FSx dành cho Lustre để phân bổ dữ liệu vào phiên bản nhằm tăng tốc quá trình đào tạo mô hình. LG AI Research cần triển khai mô hình nền tảng của họ là EXAONE sang giai đoạn sản xuất trong một năm. LG AI Research đã thành công triển khai EXAONE trong một năm và giảm được khoảng 35% chi phí nhờ loại bỏ nhu cầu sử dụng nhóm quản lý cơ sở hạ tầng riêng biệt.

Paige là nhà cung cấp chuyển đổi bệnh lý kỹ thuật số đầu ngành, cung cấp giải pháp dựa trên web, hỗ trợ AI và toàn diện cho phép chẩn đoán ung thư hiệu quả và có độ tin cậy cao.

Thử thách: Các giải pháp tại chỗ của Paige luôn phải làm việc hết công suất với mục tiêu đào tạo mô hình AI và ML nhằm hỗ trợ hoạt động nghiên cứu bệnh lý ung thư. Paige phát hiện ra rằng công suất điện toán càng nhiều thì đào tạo mô hình càng nhanh, từ đó giúp giải quyết vấn đề về chẩn đoán.

Giải pháp: Để chạy khối lượng công việc đào tạo ML, Paige đã chọn Phiên bản Amazon EC2 P4d sử dụng GPU NVIDIA A100 Tensor Core, mang lại hiệu năng cao cho hoạt động đào tạo ML và ứng dụng HPC trên đám mây. Paige sử dụng Amazon FSx dành cho Lustre, kho lưu trữ dùng chung được quản lý toàn phần, xây dựng trên hệ thống tệp hiệu năng cao phổ biến. Công ty đã kết nối dịch vụ này với một số vùng lưu trữ Amazon S3 nhằm giúp đội ngũ phát triển giải quyết hàng petabyte dữ liệu đầu vào ML mà không cần sắp xếp trước dữ liệu theo cách thủ công trên hệ thống tệp hiệu năng cao. Nhờ giải pháp AWS, Paige có thể đào tạo gấp 10 lần lượng dữ liệu tại chỗ bằng cơ sở hạ tầng AWS cho ML.  Paige cũng ghi nhận quy trình làm việc nội bộ nhanh hơn 72% khi dùng Amazon EC2 và Amazon FSx dành cho Lustre. 

Toyota Research Institute chọn FSx dành cho Lustre nhằm giảm thời gian đào tạo máy học để nhận dạng đối tượng.

Toyota Research Institute (TRI) thu thập và xử lý một lượng lớn dữ liệu cảm biến từ các buổi chạy thử phương tiện tự hành (AV) của mình. Mỗi tập dữ liệu đào tạo được bố trí trong một thiết bị NAS tại chỗ và được chuyển sang Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) trước khi xử lý trên một cụm điện toán GPU mạnh mẽ. TRI cần một hệ thống tệp hiệu năng cao để ghép nối với tài nguyên điện toán của mình, tăng tốc độ đào tạo mô hình ML và đẩy nhanh thời gian cung cấp thông tin chuyên sâu cho các nhà khoa học dữ liệu của mình.

Shell sở hữu danh mục tùy chọn năng lượng linh hoạt, từ dầu khí và hóa dầu cho đến năng lượng gió, mặt trời và khí hydro. Shell tự hào cung cấp năng lượng khách hàng cần cho cuộc sống. 

Thử thách: Shell dựa vào HPC để tiến hành xây dựng mô hình, kiểm thử và xác nhận. Mức sử dụng GPU trung bình từ năm 2020 đến năm 2022 dưới 90%, dẫn đến hệ quả là chậm trễ dự án và hạn chế trong công tác thử nghiệm thuật toán mới.

Giải pháp: Shell nâng cao khả năng điện toán tại chỗ bằng cách mở rộng đám mây với cụm Amazon EC2 và Amazon FSx dành cho Lustre. Giải pháp này mang đến cho Shell khả năng tăng và giảm quy mô theo tài nguyên một cách nhanh chóng và chỉ mua thêm dung lượng điện toán khi cần. GPU của Shell hiện đã được sử dụng hết hiệu năng để giảm chi phí điện toán và tăng tốc quá trình kiểm thử mô hình máy học.

Storengy, một công ty con của Tập đoàn ENGIE, là công ty hàng đầu về cung cấp khí thiên nhiên. Công ty chúng tôi cung cấp kho chứa khí, giải pháp địa nhiệt, công nghệ lưu trữ và sản xuất năng lượng không chứa carbon cho các doanh nghiệp trên toàn thế giới.

Để đảm bảo các sản phẩm của mình được lưu trữ đúng cách, Storengy sử dụng trình mô phỏng công nghệ cao để đánh giá kho chứa khí ngầm, quá trình này đòi hỏi phải sử dụng nhiều khối lượng công việc điện toán hiệu năng cao (HPC). Công ty chúng tôi cũng sử dụng công nghệ HPC để chạy các công việc khám phá và thăm dò khí thiên nhiên.

Smartronix tận dụng FSx dành cho Lustre để mang lại hiệu năng cao đáng tin cậy cho việc triển khai SAS Grid của mình.

Smartronix cung cấp các giải pháp đám mây, an ninh mạng, khả năng tích hợp hệ thống, phân tích dữ liệu và C5ISR trên toàn thế giới, cũng như kỹ thuật tập trung vào nhiệm vụ cho nhiều tổ chức liên bang và tổ chức thương mại hàng đầu thế giới. Smartronix dùng SAS Grid để phân tích và cung cấp số liệu thống kê hàng ngày về COVID trên toàn tiểu bang, đồng thời nhận thấy hệ thống tệp song song tự quản lý của họ khó quản lý và bảo vệ.

Netflix là dịch vụ phát trực tuyến cung cấp đa dạng nội dung giải trí từng đạt giải thưởng như chương trình truyền hình, phim ảnh, phim hoạt hình, phim tài liệu, v.v.

Thử thách: Netflix áp dụng đào tạo phân tán quy mô lớn cho các mô hình ML truyền thông, để tạo hình thu nhỏ hậu kỳ, VFX và trailer cho hàng nghìn video cũng như hàng triệu clip. Netflix đã từng phải chịu thời gian chờ lâu do hoạt động sao chép nút chéo và 40% thời gian nhàn rỗi của GPU.

Giải pháp: Netflix đã tái cấu trúc quy trình tải dữ liệu và cải thiện hiệu quả quy trình bằng cách tính toán trước tất cả clip video/âm thanh. Netflix cũng chọn Amazon UltraClusters (phiên bản EC2 P4d) để tăng hiệu năng điện toán. Hiệu năng Amazon FSx dành cho Lustre cho phép Netflix bão hòa hiệu năng GPU và gần như loại bỏ thời gian nhàn rỗi của GPU. Hiện tại, Netflix đã rút ngắn thời gian chờ 3-4 lần nhờ sử dụng tính toán trước và FSx dành cho Lustre, giảm thời gian đào tạo mô hình từ một tuần xuống còn 1-2 ngày.

Hyundai Motor Company đã vươn lên trở thành nhà sản xuất ô tô toàn cầu và xuất khẩu xe tới hơn 200 quốc gia.

Thử thách: Một trong những thuật toán thường được sử dụng trong lái xe tự hành là phân đoạn ngữ nghĩa, một tác vụ chú thích từng pixel trong hình ảnh với lớp đối tượng, chẳng hạn như đường xá, người, xe, tòa nhà, thực vật, bầu trời, v.v. Hyundai kiểm thử độ chính xác và thu thập thêm hình ảnh để điều chỉnh hiệu năng dự đoán chưa hoàn hảo trong các tình huống cụ thể. Tuy nhiên, công việc này có thể là một thách thức, bởi thông thường không có đủ thời gian để vừa chuẩn bị tất cả dữ liệu mới vừa đào tạo mô hình mà vẫn đáp ứng thời hạn theo lịch.

Giải pháp: Hyundai đã chọn Amazon SageMaker để tự động hóa hoạt động đào tạo mô hình và thư viện Amazon SageMaker để hỗ trợ tùy chọn song song dữ liệu, nhằm chuyển từ đào tạo trên một GPU sang đào tạo phân tán. Hyundai đã chọn Amazon FSx dành cho Lustre để đào tạo mô hình mà không cần chờ bản sao dữ liệu. Đồng thời cũng chọn Amazon S3 cho kho lưu trữ dữ liệu vĩnh viễn. Hyundai đạt hiệu quả điều chỉnh quy mô lên đến 93% với 8 phiên bản GPU hoặc tổng cộng 64 GPU. FSx dành cho Lustre cho phép Hyundai chạy nhiều tác vụ đào tạo và thử nghiệm đối với cùng một dữ liệu mà không mất thời gian chờ.

Rivian hiện đang thực hiện sứ mệnh kéo dài mãi chuyến phiêu lưu trên khắp thế giới. Chúng tôi tin rằng chúng ta có thể khám phá thế giới theo cách có trách nhiệm hơn và chúng tôi cũng quyết tâm giúp quá trình chuyển đổi sang giao thông bền vững trở nên thú vị hơn.

Để đáp ứng lịch trình kỹ thuật được đẩy nhanh tốc độ và giảm nhu cầu về nguyên mẫu hữu hình, nhà sản xuất xe điện Rivian sử dụng các kỹ thuật lập mô hình và mô phỏng tiên tiến. Nhờ sử dụng năng suất điện toán cao, mô phỏng giúp các kỹ sư kiểm tra các khái niệm mới và đưa thiết kế của mình ra thị trường nhanh chóng.

Denso phát triển cảm biến hình ảnh cho hệ thống hỗ trợ lái xe nâng cao (ADAS), cung cấp cho tài xế các tính năng như đỗ xe và chuyển làn.

Thử thách: Để phát triển mô hình ML cần thiết cho nhận dạng hình ảnh ADAS, DENSO đã xây dựng các cụm GPU trong môi trường tại chỗ của họ. Tuy nhiên, nhiều kỹ sư ML dùng chung tài nguyên GPU hạn chế dẫn đến ảnh hưởng tới năng suất, đặc biệt là trong giai đoạn bận rộn trước khi phát hành sản phẩm mới.

Giải pháp: Nhờ áp dụng Amazon SageMaker và Amazon FSx dành cho Lustre, Denso đã có thể đẩy nhanh quá trình tạo mô hình nhận dạng hình ảnh ADAS bằng cách giảm thời gian thu nhận dữ liệu, phát triển mô hình, học tập và đánh giá.

Joby Aviation sử dụng AWS để cách mạng hóa lĩnh vực giao thông vận tải.

Thử thách: Các kỹ sư của Joby dựa vào điện toán hiệu năng cao (HPC) để tiến hành hàng nghìn mô phỏng Điện toán động lực học chất lưu (CFD) phức tạp thiên về điện toán sử dụng hàng trăm lõi CPU và có thể mất nhiều giờ để hoàn thành.

Giải pháp: Việc sử dụng Đám mây điện toán linh hoạt của Amazon (Amazon EC2) và Amazon FSx dành cho Lustre giúp Joby nhận được kết quả nhanh hơn từ khối lượng công việc CFD của họ so với cơ sở hạ tầng điện toán hiệu năng cao tại chỗ.

T-Mobile tiết kiệm được 1,5 triệu USD hàng năm và tăng gấp đôi tốc độ thực hiện khối lượng công việc trên SAS Grid nhờ vào việc sử dụng Amazon FSx dành cho Lustre.

Thử thách: T-Mobile đang gặp khó khăn về hiệu năng và chi phí quản lý cao với khối lượng công việc tự quản lý trên SAS Grid của mình.

Giải pháp: T-Mobile đã triển khai Amazon FSx dành cho Lustre, một hệ thống tệp hiệu năng cao được quản lý toàn phần, để di chuyển và mở rộng cơ sở hạ tầng SAS Grid của mình. T-Mobile đã sử dụng khả năng tích hợp chặt chẽ của Amazon FSx và S3 để giảm chi phí lưu trữ và tối ưu hóa hoạt động của công ty.

Việc sản xuất mùa thứ tư của bộ phim truyền hình nhiều tập “The Crown” (Hoàng quyền) của Netflix đã gặp phải những khó khăn không ngờ tới khi cả thế giới rơi vào tình trạng phong tỏa do đại dịch COVID-19, ngay khi buộc phải bắt đầu công việc hiệu ứng hình ảnh hậu kỳ. Thông qua áp dụng quy trình làm việc trên nền tảng đám mây trên AWS, bao gồm cả máy chủ quản lý tệpAmazon FSx Lustre để nâng cao thông lượng, đội ngũ Hiệu ứng hình ảnh nội bộ của Netflix gồm 10 nghệ sĩ đã có thể hoàn thành liền mạch hơn 600 cảnh quay với Hiệu ứng hình ảnh cho 10 tập phim của mùa chỉ trong 8 tháng, trong đó toàn bộ công việc được thực hiện từ xa. 

Maxar sử dụng AWS để cung cấp dự báo nhanh hơn 58% so với siêu máy tính thời tiết của mình.

Thử thách: Maxar Technologies, một công ty sáng tạo và là đối tác đáng tin cậy trong lĩnh vực thông tin về Trái đất và cơ sở hạ tầng Không gian, cần cung cấp dự báo thời tiết nhanh hơn so với siêu máy tính tại chỗ của công ty này.

Giải pháp: Maxar đã hợp tác với AWS để xây dựng giải pháp HPC với các công nghệ chính bao gồm Đám mây điện toán linh hoạt của Amazon (Amazon EC2) cho các tài nguyên điện toán an toàn, có độ đáng tin cậy cao, Amazon FSx dành cho Lustre để tăng tốc thông lượng đọc/ghi cho ứng dụng của công ty và AWS ParallelCluster để nhanh chóng xây dựng môi trường điện toán HPC trên AWS.

INEOS TEAM UK tăng tốc độ thiết kế thuyền tham gia America's Cup thông qua AWS.

Thử thách: Được thành lập vào năm 2018, INEOS TEAM UK nhắm đến mục tiêu mang về Đảo Anh chiếc cúp thể thao quốc tế lâu đời nhất trên thế giới là America’s Cup. America's Cup chỉ cho phép thử nghiệm trên mặt nước trong vòng 150 ngày trước khi sự kiện diễn ra, do đó, việc mô phỏng điện toán động lực học chất lưu (CFD) hiệu năng cao của thuyền một thân và ván lướt sóng trở thành yếu tố then chốt để có thể thiết kế thuyền giành chiến thắng.  

Giải pháp: Thông qua AWS, INEOS TEAM UK có thể xử lý hàng nghìn mô phỏng thiết kế cho chiếc thuyền tham gia America's Cup của đội trong một tuần thay vì trong hơn một tháng nếu sử dụng môi trường tại chỗ. INEOS TEAM UK thi đấu tại kỳ America's Cup thứ 36 vào năm 2021. Đội ngũ đang sử dụng môi trường HPC chạy trên Phiên bản dùng ngay củaAmazon EC2.  Để đảm bảo hiệu năng ổ đĩa nhanh cho hàng nghìn mô phỏng được hoàn thành mỗi tuần, đội ngũ cũng sử dụng Amazon FSx dành cho Lustre để cung cấp một hệ thống tệp hiệu năng cao an toàn, nhanh chóng và có khả năng điều chỉnh quy mô trên Dịch vụ lưu trữ đơn giản của Amazon (S3).

Hive VFX cắt giảm được chi phí phòng làm việc trả trước và hoạt động như một phòng làm việc Hiệu ứng hình ảnh đám mây trên AWS.

Thử thách: Hive cần cơ sở hạ tầng hiệu năng cao nhằm triển khai một phòng làm việc đám mây nhỏ, độc lập cho các nghệ sĩ làm việc từ xa trên khắp thế giới để họ có thể tạo ra những nội dung chất lượng.

Giải pháp: Amazon FSx dành cho Lustre được quản lý toàn phần, tích hợp với Amazon S3, đã đem lại khả năng truy cập nhanh vào các tài nguyên điện toán AWS mà không cần khoản đầu tư lớn từ trước hoặc chuyên môn của đội ngũ CNTT nội bộ. Việc đồng bộ hóa liền mạch dữ liệu tệp và các quyền trên tệp giữa FSx Lustre và S3 giúp Hive VFX lưu trữ một lượng lớn hình ảnh và chia sẻ dữ liệu dự án trên khắp các lục địa.

Lyell đẩy nhanh tiến độ nghiên cứu điều trị ung thư dựa trên tế bào nhờ Amazon FSx dành cho Lustre.

Thử thách: Các phương pháp điều trị ung thư dựa trên tế bào do Lyell thực hiện đòi hỏi phải chạy thiết kế protein bằng điện toán trên quy mô lớn. Những khối lượng công việc này thường sẽ được chạy tại chỗ, song công ty cần một giải pháp có quy mô linh hoạt và chi phí hợp lý hơn, vì giới hạn chỉ có thể chạy một thử nghiệm mỗi tháng.

Giải pháp: Kể từ khi di chuyển hệ thống tệp của công ty sang FSx dành cho Lustre, các nhà khoa học dữ liệu có thể tăng và giảm tốc hàng nghìn cụm HPC bao gồm các phiên bản EC2 và hệ thống tệp Amazon FSx, từ đó họ có thể chạy các thử nghiệm có khối lượng xử lý lớn một cách nhanh chóng và chỉ phải trả phí điện toán và lưu trữ trong suốt thời gian thực hiện khối lượng công việc.

BlackThorn Therapeutics tăng tốc chuyển đổi dữ liệu thành thông tin chuyên sâu nhờ FSx dành cho Lustre.

Thử thách: Việc xử lý dữ liệu ảnh chụp cộng hưởng từ (MRI) thông qua hệ thống tệp đám mây DiY tiêu chuẩn tiêu tốn nhiều tài nguyên và thời gian. BlackThorn cần một giải pháp lưu trữ tệp chung, thiên về điện toán, để góp phần đơn giản hóa quy trình làm việc khoa học dữ liệu và máy học của công ty.

Giải pháp: Amazon FSx dành cho Lustre được tích hợp với Amazon S3 và Amazon SageMaker, đem lại khả năng xử lý nhanh chóng các tập dữ liệu đào tạo ML của công ty, cũng như khả năng truy cập liền mạch để điện toán thông qua các phiên bản Amazon EC2.

Qubole cải thiện được độ bền dữ liệu trong khi giảm chi phí nhờ Amazon FSx dành cho Lustre.

Thử thách: Qubole đang tìm kiếm một giải pháp lưu trữ hiệu năng cao để xử lý khối lượng công việc phân tích và AI/ML cho khách hàng của mình. Họ cần dễ dàng lưu trữ và xử lý dữ liệu trung gian được lưu trong EC2 nhóm dùng ngay của mình.

Giải pháp: Qubole đã sử dụng Amazon FSx dành cho Lustre để lưu trữ và xử lý dữ liệu trung gian thông qua hệ thống tệp tốc độ cao, song song của mình.