Khách hàng sử dụng Amazon FSx dành cho Lustre

DatologyAI xây dựng các công cụ tự động chọn dữ liệu tốt nhất để đào tạo các mô hình học sâu.

“Chúng tôi rất vui khi sử dụng giải pháp quan sát bằng một cú nhấp chuột của Amazon SageMaker HyperPod. Các nhân viên cấp cao của chúng tôi cần những hiểu biết sâu sắc về cách chúng tôi đang sử dụng tài nguyên GPU. Bảng điều khiển Grafana được xây dựng sẵn sẽ cung cấp cho chúng tôi chính xác những gì chúng tôi cần, với khả năng hiển thị ngay lập tức về các chỉ số quan trọng — từ việc sử dụng GPU cụ thể cho nhiệm vụ đến hiệu suất hệ thống tệp (FSx for Lustre) — mà không yêu cầu chúng tôi duy trì bất kỳ cơ sở hạ tầng giám sát nào. Là một người đánh giá cao sức mạnh của Ngôn ngữ truy vấn Prometheus, tôi thích thực tế là tôi có thể viết các truy vấn của riêng mình và phân tích các số liệu tùy chỉnh mà không phải lo lắng về các vấn đề về cơ sở hạ tầng.”

Josh Wills, Thành viên Nhân viên Kỹ thuật tại DatologyAI

Apoidea phát triển các giải pháp hỗ trợ AI cho các ngân hàng đa quốc gia bằng cách sử dụng AI tổng hợp tiên tiến và công nghệ học sâu. Sản phẩm hàng đầu của họ, SuperACC, là một dịch vụ xử lý tài liệu tinh vi sử dụng các mô hình độc quyền để xử lý các tài liệu tài chính đa dạng, bao gồm báo cáo ngân hàng và biểu mẫu KYC. Công nghệ này đã cải thiện đáng kể hiệu quả trong lĩnh vực ngân hàng, giảm thời gian xử lý chênh lệch tài chính từ 4-6 giờ xuống chỉ còn 10 phút.

Để hỗ trợ sự phát triển này, Apoidea sử dụng Amazon SageMaker HyperPod, cung cấp một môi trường có thể mở rộng và linh hoạt để đào tạo mô hình quy mô lớn. SageMaker HyperPod có tính năng quản lý đào tạo phân tán, đồng bộ hóa dữ liệu liền mạch với FSx for Lustre và môi trường tùy chỉnh, tất cả đều nâng cao hiệu quả quy trình làm việc ML.

Adobe được thành lập cách đây 40 năm với ý tưởng đơn giản là tạo ra các sản phẩm sáng tạo thay đổi thế giới, Adobe cung cấp công nghệ đột phá cho phép mọi người, ở mọi nơi, mọi nơi có thể tưởng tượng, sáng tạo và mang bất kỳ trải nghiệm kỹ thuật số nào vào cuộc sống. Thay vì dựa vào các mô hình nguồn mở, Adobe quyết định đào tạo các mô hình AI thế hệ nền tảng của riêng mình được thiết kế riêng cho các trường hợp sử dụng sáng tạo. Adobe đã tạo ra một siêu xa lộ AI trên AWS để xây dựng nền tảng đào tạo AI và đường ống dữ liệu để lặp lại các mô hình nhanh chóng. Adobe đã sử dụng Amazon FSx cho lưu trữ tệp hiệu suất cao Lustre, để truy cập nhanh vào dữ liệu và đảm bảo tài nguyên GPU không bao giờ bị bỏ trống.

“Thật dễ dàng để nghĩ rằng tôi sẽ tạo ra đám mây AI của riêng mình, nhưng quan hệ đối tác với AWS cho phép chúng tôi tập trung vào các yếu tố khác biệt của mình”

Alexandru Costin – Phó chủ tịch, AI tạo sinh và Sensei tại Adobe

LG AI Research, trung tâm nghiên cứu trí tuệ nhân tạo (AI) của tập đoàn LG Group Hàn Quốc, được thành lập để thúc đẩy AI như một phần của chiến lược chuyển đổi kỹ thuật số nhằm thúc đẩy tăng trưởng trong tương lai. Viện nghiên cứu đã phát triển mô hình nền tảng của công cụ EXAONE trong vòng một năm bằng cách sử dụng Amazon SageMaker và Amazon FSx for Lustre. Mô hình nền tảng bắt chước con người khi nó tự suy nghĩ, học hỏi và thực hiện hành động thông qua đào tạo dữ liệu quy mô lớn. Mô hình nền tảng đa mục đích có thể được sử dụng trong các ngành công nghiệp khác nhau để thực hiện một loạt các nhiệm vụ.

Paige, nhà cung cấp bệnh lý kỹ thuật số hàng đầu, đã tìm cách nâng cao các mô hình AI và ML để chẩn đoán ung thư nhưng phải đối mặt với những hạn chế với các giải pháp tại chỗ. Để khắc phục điều này, Paige đã áp dụng Phiên bản Amazon EC2 P4d và Amazon FSx cho Lustre, tích hợp phiên bản sau với các thùng Amazon S3 để xử lý hiệu quả petabyte dữ liệu đầu vào ML. Cơ sở hạ tầng AWS này cho phép Paige xử lý dữ liệu mà không cần xử lý thủ công trên các hệ thống tệp hiệu suất cao. Kết quả là, Paige đã đạt được khả năng đào tạo dữ liệu tăng gấp mười lần và quy trình làm việc nội bộ nhanh hơn 72%.

“Bằng cách kết nối Amazon FSx for Lustre với Amazon S3, chúng tôi có thể đào tạo với lượng dữ liệu gấp 10 lần chúng tôi từng thử trong cơ sở hạ tầng tại chỗ mà không gặp bất kỳ rắc rối nào. “

Alexander van Eck, kỹ sư AI tại Paige

Toyota Research Institute (TRI) thu thập và xử lý một lượng lớn dữ liệu cảm biến từ các buổi chạy thử phương tiện tự hành (AV) của mình. Mỗi tập dữ liệu đào tạo được dàn dựng trong một thiết bị NAS tại chỗ và được chuyển sang Amazon Simple Storage Service (Amazon S3) trước khi xử lý trên cụm tính toán GPU mạnh mẽ. TRI cần một hệ thống tệp hiệu năng cao để ghép nối với tài nguyên điện toán của mình, tăng tốc độ đào tạo mô hình ML và đẩy nhanh thời gian cung cấp thông tin chuyên sâu cho các nhà khoa học dữ liệu của mình. Toyota Research Institute chọn FSx dành cho Lustre nhằm giảm thời gian đào tạo máy học để nhận dạng đối tượng.

“Chúng tôi cần một hệ thống tệp song song cho các bộ dữ liệu đào tạo ML của mình và chọn Amazon FSx for Lustre vì tính khả dụng và độ bền cao hơn so với dịch vụ hệ thống tệp cũ của chúng tôi. Việc tích hợp với các dịch vụ AWS, bao gồm S3, cũng khiến nó trở thành tùy chọn ưa thích cho lưu trữ tệp hiệu suất cao của chúng tôi. “

David Fluck, Kỹ sư phần mềm tại Toyota Research Institute

Shell cung cấp một danh mục năng lượng năng lượng năng lượng năng lượng - từ dầu, khí đốt và hóa dầu, đến gió, năng lượng mặt trời và hydro - Shell tự hào cung cấp năng lượng mà khách hàng của họ cần để cung cấp năng lượng cho cuộc sống của họ. Shell dựa vào HPC để xây dựng mô hình, thử nghiệm và xác nhận. Mức sử dụng GPU trung bình từ năm 2020 đến năm 2022 dưới 90%, dẫn đến hệ quả là chậm trễ dự án và hạn chế trong công tác thử nghiệm thuật toán mới. Shell tăng cường khả năng tính toán tại chỗ của họ bằng cách bùng nổ lên đám mây với các cụm Amazon EC2 và Amazon FSx for Lustre. Giải pháp này mang đến cho Shell khả năng tăng và giảm quy mô theo tài nguyên một cách nhanh chóng và chỉ mua thêm dung lượng điện toán khi cần. GPU của Shell hiện đã được sử dụng hết hiệu năng để giảm chi phí điện toán và tăng tốc quá trình kiểm thử mô hình máy học.

Netflix sử dụng đào tạo phân tán quy mô lớn cho các mô hình ML truyền thông, để tạo hình thu nhỏ hậu kỳ, VFX và tạo đoạn giới thiệu cho hàng nghìn video và hàng triệu clip. Netflix đã từng phải chịu thời gian chờ lâu do hoạt động sao chép nút chéo và 40% thời gian nhàn rỗi của GPU.

Netflix đã tái cấu trúc đường ống tải dữ liệu của họ và cải thiện hiệu quả của nó bằng cách tính toán trước tất cả các clip video/âm thanh. Hiệu năng Amazon FSx dành cho Lustre cho phép Netflix bão hòa hiệu năng GPU và gần như loại bỏ thời gian nhàn rỗi của GPU. Hiện tại, Netflix đã rút ngắn thời gian chờ 3-4 lần nhờ sử dụng tính toán trước và FSx dành cho Lustre, giảm thời gian đào tạo mô hình từ một tuần xuống còn 1-2 ngày.

Xem video Netflix

Việc sản xuất mùa thứ tư của bộ phim truyền hình nhiều tập “The Crown” (Hoàng quyền) của Netflix đã gặp phải những khó khăn không ngờ tới khi cả thế giới rơi vào tình trạng phong tỏa do đại dịch COVID-19, ngay khi buộc phải bắt đầu công việc hiệu ứng hình ảnh hậu kỳ. Bằng cách áp dụng quy trình làm việc dựa trên đám mây trên AWS, bao gồm máy chủ tệp Amazon FSx Lustre để nâng cao thông lượng, nhóm VFX nội bộ gồm 10 nghệ sĩ của Netflix đã có thể hoàn thành liền mạch hơn 600 bức ảnh VFX cho 10 tập của mùa giải chỉ trong 8 tháng, tất cả trong khi làm việc từ xa.

Storengy, một công ty con của Tập đoàn ENGIE, là công ty hàng đầu về cung cấp khí thiên nhiên. Công ty chúng tôi cung cấp kho chứa khí, giải pháp địa nhiệt, công nghệ lưu trữ và sản xuất năng lượng không chứa carbon cho các doanh nghiệp trên toàn thế giới.

Để đảm bảo các sản phẩm của mình được lưu trữ đúng cách, Storengy sử dụng trình mô phỏng công nghệ cao để đánh giá kho chứa khí ngầm, quá trình này đòi hỏi phải sử dụng nhiều khối lượng công việc điện toán hiệu năng cao (HPC). Công ty chúng tôi cũng sử dụng công nghệ HPC để chạy các công việc khám phá và thăm dò khí thiên nhiên.

“Nhờ AWS, chúng tôi có khả năng mở rộng và tính khả dụng cao để thực hiện hàng trăm mô phỏng cùng một lúc. Ngoài ra, giải pháp tự động tăng hoặc giảm quy mô để hỗ trợ thời gian khối lượng công việc cao điểm của chúng tôi, điều đó có nghĩa là chúng tôi không gặp bất kỳ bất ngờ nào với môi trường HPC của mình. “

Jean-Frederic Thebault – Kỹ sư tại Storengy

Smartronix tận dụng FSx dành cho Lustre để mang lại hiệu năng cao đáng tin cậy cho việc triển khai SAS Grid của mình.

Smartronix cung cấp các giải pháp đám mây, an ninh mạng, khả năng tích hợp hệ thống, phân tích dữ liệu và C5ISR trên toàn thế giới, cũng như kỹ thuật tập trung vào nhiệm vụ cho nhiều tổ chức liên bang và tổ chức thương mại hàng đầu thế giới. Smartronix dùng SAS Grid để phân tích và cung cấp số liệu thống kê hàng ngày về COVID trên toàn tiểu bang, đồng thời nhận thấy hệ thống tệp song song tự quản lý của họ khó quản lý và bảo vệ.

“Hợp tác với AWS và tận dụng các giải pháp được quản lý của họ như FSx for Lustre đã cho phép chúng tôi phục vụ khách hàng tốt hơn - với tính khả dụng cao hơn và chi phí thấp hơn 29% so với các hệ thống tệp tự quản lý. “

Rob Mounier – Kiến trúc sư giải pháp cấp cao tại Smartronix

Hyundai Motor Company, một nhà sản xuất ô tô toàn cầu xuất khẩu sang hơn 200 quốc gia, sử dụng phân đoạn ngữ nghĩa cho lái xe tự lái để phân loại pixel hình ảnh thành các danh mục như đường xá, con người và tòa nhà.

Để cải thiện độ chính xác của mô hình và đáp ứng thời hạn, Hyundai đã triển khai Amazon SageMaker để đào tạo tự động và song song dữ liệu trên nhiều GPU, cùng với Amazon FSx cho Lustre và S3 để lưu trữ và xử lý dữ liệu hiệu quả. Những giải pháp này đã giúp Hyundai đạt được hiệu suất mở rộng 93% với 64 GPU trong khi loại bỏ thời gian chờ dữ liệu.

Amazon FSx for Lustre đóng một vai trò quan trọng trong quá trình chuyển đổi đám mây của Rivian, cung cấp quyền truy cập lưu trữ chia sẻ nhanh chóng cần thiết cho khối lượng công việc thiết kế và kỹ thuật được hỗ trợ máy tính của họ. Sử dụng FSx for Lustre như một phần của giải pháp AWS của họ, Rivian đã cải thiện đáng kể các chỉ số hiệu suất của họ, bao gồm tăng 66% tốc độ tương tác quản lý vòng đời sản phẩm và giảm thời gian đồng bộ hóa sao lưu từ một ngày xuống dưới một giờ.

Dịch vụ lưu trữ được quản lý hoàn toàn được triển khai cùng với các dịch vụ AWS khác như Amazon EC2 và Auto Scaling, giúp Rivian vượt qua những hạn chế về cơ sở hạ tầng tại chỗ và đạt được khả năng tính toán hiệu suất cao, có thể mở rộng chỉ trong ba tuần so với thời gian sáu tháng dự kiến của họ.

Denso phát triển cảm biến hình ảnh cho các hệ thống hỗ trợ người lái tiên tiến (ADAS), giúp người lái có các chức năng như đỗ xe và thay đổi làn đường. Để phát triển các mô hình ML cần thiết cho nhận dạng hình ảnh ADAS, DENSO đã xây dựng các cụm GPU trong môi trường tại chỗ của nó. Tuy nhiên, nhiều kỹ sư ML dùng chung tài nguyên GPU hạn chế dẫn đến ảnh hưởng tới năng suất, đặc biệt là trong giai đoạn bận rộn trước khi phát hành sản phẩm mới.

Bằng cách áp dụng Amazon SageMaker và Amazon FSx cho Lustre, Denso đã có thể đẩy nhanh việc tạo ra các mô hình nhận dạng hình ảnh ADAS bằng cách giảm thời gian thu thập dữ liệu, phát triển mô hình, học tập và đánh giá.

“Việc thực hành chuyển sang đám mây sẽ tiếp tục tăng tốc trong lĩnh vực trí tuệ nhân tạo và ML. Tôi tin chắc rằng AWS sẽ tiếp tục hỗ trợ chúng tôi trong quá trình bổ sung tính năng.”

Kensuke Yokoi, Tổng giám đốc tại DENSO

T-Mobile đã chuyển đổi cơ sở hạ tầng SAS Grid của họ bằng cách triển khai Amazon FSx for Lustre để giải quyết các vấn đề về hiệu suất và chi phí quản lý cao với hệ thống tự quản lý của họ.

Việc triển khai FSx for Lustre, cùng với việc tích hợp với Amazon S3, cho phép T-Mobile tăng gấp đôi tốc độ khối lượng công việc SAS Grid của họ trong khi đạt được khoản tiết kiệm 1,5 triệu đô la hàng năm và giảm 83% tổng chi phí sở hữu.

Giải pháp này đã loại bỏ gánh nặng hoạt động và cho phép T-Mobile tập trung vào hoạt động kinh doanh cốt lõi của họ là phát triển các sản phẩm khách hàng sáng tạo trong khi tận dụng khả năng lưu trữ tiên tiến của AWS.

Maxar Technologies, một đối tác đáng tin cậy và nhà đổi mới trong cơ sở hạ tầng không gian và trí tuệ Trái đất, cần cung cấp dự báo thời tiết nhanh hơn so với siêu máy tính tại chỗ của mình. Maxar đã làm việc với AWS để tạo ra giải pháp HPC với các công nghệ chính bao gồm AMAZON EC2 cho các tài nguyên tính toán an toàn, đáng tin cậy cao, Amazon FSx cho Lustre để tăng tốc thông lượng đọc/ghi của ứng dụng và AWS ParallelCluster để nhanh chóng xây dựng môi trường tính toán HPC trên AWS.

“Maxar đã sử dụng Amazon FSx for Lustre trong giải pháp AWS HPC của chúng tôi để chạy mô hình dự báo thời tiết số của NOAA. Nhờ đó, chúng tôi giảm được 58% thời gian điện toán và tạo dự báo trong khoảng 45 phút với một mức giá hợp lý hơn nhiều. Tối đa hóa tài nguyên điện toán AWS của chúng tôi là một sự tăng cường hiệu suất đáng kinh ngạc đối với chúng tôi. “

Tiến sĩ Stefan Cecelski, Nhà khoa học dữ liệu cấp cao kiêm Kỹ sư tại Maxar Technologies

Xử lý dữ liệu hình ảnh cộng hưởng từ (MRI) bằng hệ thống tệp đám mây DIY tiêu chuẩn rất tốn tài nguyên và thời gian. BlackThorn cần một giải pháp lưu trữ tệp chung, thiên về điện toán, để góp phần đơn giản hóa quy trình làm việc khoa học dữ liệu và máy học của công ty. Amazon FSx for Lustre được tích hợp với Amazon S3 và Amazon SageMaker, cung cấp khả năng xử lý nhanh cho bộ dữ liệu đào tạo ML của họ cũng như truy cập liền mạch vào tính toán bằng phiên bản Amazon EC2.

“FSx for Lustre đã cho phép chúng tôi tạo ra một đường ống xử lý dữ liệu MRI hiệu suất cao. Thời gian xử lý dữ liệu cho quy trình làm việc dựa trên ML của chúng tôi đã giảm xuống còn vài phút so với ngày và tuần. “

Oscar Rodriguez, Giám đốc cấp cao của bộ phận Đổi mới và công nghệ tại BlackThorn Therapeutics

Qubole đang tìm kiếm một giải pháp lưu trữ hiệu suất cao để xử lý khối lượng công việc phân tích và AI/ML cho khách hàng của họ. Họ cần dễ dàng lưu trữ và xử lý dữ liệu trung gian được lưu trong EC2 nhóm dùng ngay của mình. Qubole đã sử dụng Amazon FSx for Lustre để lưu trữ và xử lý dữ liệu trung gian thông qua hệ thống tệp tốc độ cao song song của nó.

“Hai vấn đề lớn nhất của người dùng của chúng tôi, chi phí cao và mất dữ liệu trung gian, xuất phát từ việc sử dụng các phiên bản EC2 không hoạt động và phiên bản EC2 Spot để xử lý và lưu trữ dữ liệu trung gian được tạo bởi các khung xử lý phân tán như Hive và Spark. Chúng tôi có thể giải quyết vấn đề này thông qua Amazon FSx dành cho Lustre, một hệ thống tệp hiệu năng cao, để giảm tải dữ liệu trung gian. Giờ đây, người dùng của chúng tôi không cần phải trả tiền để duy trì các phiên bản nhàn rỗi và không chịu ảnh hưởng khi các nút EC2 dùng ngay bị gián đoạn. Amazon FSx đã giúp người dùng của chúng tôi giảm 30% tổng chi phí. “

Joydeep Sen Sarma, Giám đốc công nghệ tại Qubole