Khách hàng sử dụng AWS Trainium

Xem cách khách hàng sử dụng AWS Trainium để xây dựng, đào tạo và tinh chỉnh các mô hình học sâu.

  • Anthropic

    Tại Anthropic, hàng triệu người dựa vào Claude hàng ngày để thực hiện công việc của họ. Chúng tôi sẽ công bố hai tiến bộ lớn với AWS: Thứ nhất, “chế độ tối ưu hóa độ trễ” mới cho Claude 3.5 Haiku chạy nhanh hơn 60% trên Trainium2 thông qua Amazon Bedrock. Và thứ hai, Project Rainier — một cụm mới với hàng trăm ngàn chip Trainium2 cung cấp hàng trăm exaflop, gấp hơn năm lần kích thước của cụm trước đó của chúng tôi. Dự án Rainier sẽ giúp thúc đẩy cả nghiên cứu và thế hệ mở rộng quy mô tiếp theo của chúng tôi. Đối với khách hàng của chúng tôi, điều này có nghĩa là thông minh hơn, giá thấp hơn và tốc độ nhanh hơn. Chúng tôi không chỉ xây dựng AI có tốc độ nhanh hơn, chúng tôi còn xây dựng AI đáng tin cậy có khả năng mở rộng quy mô.

    Tom Brown, Giám đốc máy tính tại Anthropic
  • Databricks

    Mosaic AI của Databricks cho phép các tổ chức xây dựng và triển khai Hệ thống đại lý chất lượng. Nó được xây dựng nguyên bản trên hồ dữ liệu, cho phép khách hàng tùy chỉnh dễ dàng và an toàn mô hình của họ với dữ liệu doanh nghiệp và cung cấp đầu ra chính xác hơn và cụ thể theo miền. Nhờ hiệu suất cao và hiệu quả chi phí của Trainium, khách hàng có thể mở rộng đào tạo mô hình về Mosaic AI với chi phí thấp. Tính khả dụng của Trainium2 sẽ là một lợi ích lớn cho Databricks và khách hàng của nó khi nhu cầu về Mosaic AI tiếp tục mở rộng trên tất cả các phân khúc khách hàng và trên toàn thế giới. Databricks, một trong những công ty dữ liệu và AI lớn nhất thế giới, có kế hoạch sử dụng TRN2 để mang lại kết quả tốt hơn và giảm TCO lên đến 30% cho khách hàng của mình.

    Naveen Rao, Phó chủ tịch phụ trách AI tạo sinh, Databricks
  • poolside

    Tại poolside, chúng tôi sẵn sàng xây dựng một thế giới nơi AI thúc đẩy phần lớn công việc có giá trị kinh tế và tiến bộ khoa học. Chúng tôi tin rằng khả năng chính đầu tiên của các mạng nơ-ron đạt đến trí thông minh ở cấp độ con người là phát triển phần mềm do đây là lĩnh vực chúng tôi có thể kết hợp các phương pháp Tìm kiếm và Học tập tốt nhất. Để kích hoạt điều đó, chúng tôi đang xây dựng các mô hình nền tảng, API và Trợ lý để mang sức mạnh của AI tạo sinh đến tay (hoặc bàn phím) các nhà phát triển của bạn. Cơ sở hạ tầng chúng tôi đang sử dụng để xây dựng và chạy các sản phẩm của mình là chìa khóa chính để kích hoạt công nghệ này. Với AWS Trainium2, khách hàng của chúng tôi có thể mở rộng quy mô sử dụng poolside với tỷ lệ hiệu suất giá không giống như các bộ tăng tốc AI khác. Ngoài ra, chúng tôi có kế hoạch đào tạo các mô hình tương lai với Trainium2 UltraServer với mức tiết kiệm dự kiến là 40% so với phiên bản EC2 P5.

    Eiso Kant, CTO & Đồng sáng lập, poolside
  • Itaú Unibanco

    Mục đích của Itaú Unibanco là cải thiện mối quan hệ của mọi người với tiền bạc, tạo ra tác động tích cực đến cuộc sống của họ đồng thời mở rộng cơ hội chuyển đổi của họ. Tại Itaú Unibanco, chúng tôi tin rằng mỗi khách hàng là duy nhất và chúng tôi tập trung vào việc đáp ứng nhu cầu của họ thông qua hành trình kỹ thuật số trực quan, tận dụng sức mạnh của AI để liên tục thích ứng với thói quen tiêu dùng của họ.

    Chúng tôi đã thử nghiệm AWS Trainium và Inferentia trên nhiều nhiệm vụ khác nhau, từ suy luận tiêu chuẩn đến các ứng dụng tinh chỉnh. Hiệu suất của các chip AI này đã cho phép chúng tôi đạt được các cột mốc quan trọng trong nghiên cứu và phát triển của mình. Đối với cả tác vụ suy luận hàng loạt và trực tuyến, chúng tôi đã chứng kiến thông lượng tăng 7 lần so với GPU. Hiệu suất nâng cao này đang thúc đẩy việc mở rộng nhiều trường hợp sử dụng hơn trong toàn tổ chức. Thế hệ chip Trainium2 mới nhất mở ra các tính năng đột phá cho GenAI và mở ra cánh cửa cho sự đổi mới tại Itau.

    Vitor Azeka, Trưởng bộ phận khoa học dữ liệu tại Itaú Unibanco
  • NinjaTech AI

    Ninja là một Tác tử AI tất cả trong một cho năng suất không giới hạn: một đăng ký đơn giản, truy cập không giới hạn vào các mô hình AI tốt nhất thế giới cùng với các kỹ năng AI hàng đầu như: viết, mã hóa, động não, tạo hình ảnh, nghiên cứu trực tuyến. Ninja là một nền tảng tác tử và cung cấp “SuperAgent” sử dụng hỗn hợp các tác tử với độ chính xác đẳng cấp thế giới tương đương với (và trong một số danh mục, nó đánh bại) các mô hình nền tảng tuyến đầu. Công nghệ Tác tử của Ninja đòi hỏi các bộ tăng tốc hiệu suất cao nhất, để mang lại trải nghiệm thời gian thực độc đáo mà khách hàng của chúng tôi mong đợi. 

    Chúng tôi vô cùng hào hứng với sự ra mắt của AWS TRN2 vì chúng tôi tin rằng nó sẽ mang lại hiệu suất chi phí tốt nhất cho mỗi token và tốc độ nhanh nhất hiện tại cho mẫu Ninja LLM cốt lõi của chúng tôi dựa trên Llama 3.1 405B. Thật tuyệt vời khi thấy độ trễ thấp của Trn2 cùng với giá cả cạnh tranh và tính khả dụng theo yêu cầu; chúng tôi không thể hào hứng hơn về sự xuất hiện của Trn2!

    Babak Pahlavan, Nhà sáng lập & Giám đốc điều hành, NinjaTech AI
  • Ricoh

    Nhóm máy học RICOH phát triển các giải pháp không gian làm việc và dịch vụ chuyển đổi kỹ thuật số được thiết kế để quản lý và tối ưu hóa luồng thông tin giữa các giải pháp doanh nghiệp của chúng tôi.

    Việc di chuyển sang các phiên bản Trn1 rất dễ dàng và đơn giản. Chúng tôi có thể đào tạo trước LLM tham số 13B của mình chỉ trong 8 ngày, sử dụng một cụm 4.096 chip Trainium! Sau thành công chúng tôi chứng kiến với mô hình nhỏ hơn của mình, chúng tôi đã tinh chỉnh một LLM mới, lớn hơn dựa trên Llama-3-Swallow-70B và tận dụng Trainium, chúng tôi có thể giảm 50% chi phí đào tạo và cải thiện hiệu quả năng lượng lên 25% so với việc sử dụng các máy GPU mới nhất trong AWS. Chúng tôi rất vui mừng được tận dụng thế hệ Chip AI AWS mới nhất, Trainium2, để tiếp tục cung cấp cho khách hàng hiệu năng tốt nhất với chi phí thấp nhất.

    Yoshiaki Umetsu, Giám đốc Trung tâm Phát triển Công nghệ Kỹ thuật số, Ricoh
  • PyTorch

    Điều tôi thích nhất về thư viện AWS Neuron NxD Inference là cách nó tích hợp liền mạch với các mô hình PyTorch. Cách tiếp cận của NxD rất đơn giản và thân thiện với người dùng. Nhóm của chúng tôi đã có thể tích hợp các mô hình HuggingFace PyTorch với những thay đổi mã tối thiểu trong một khung thời gian ngắn. Việc kích hoạt các tính năng nâng cao như Phân nhóm liên tục và Giải mã suy đoán rất đơn giản. Tính dễ sử dụng này giúp nâng cao năng suất của nhà phát triển, cho phép các nhóm tập trung nhiều hơn vào đổi mới và ít hơn vào các thách thức tích hợp.

    Hamid Shojanazeri, Trưởng phòng Kỹ thuật Đối tác PyTorch, Meta
  • Refact.ai

    Refact.ai cung cấp các công cụ AI toàn diện như tự động hoàn thành mã được hỗ trợ bởi Retrieval-Augmented Generation (RAG), cung cấp các đề xuất chính xác hơn và trò chuyện nhận thức ngữ cảnh sử dụng cả mô hình độc quyền và mã nguồn mở.

    Khách hàng đã chứng kiến hiệu năng cao hơn tới 20% và mã thông báo trên mỗi đô la cao hơn 1,5 lần với các phiên bản EC2 Inf2 so với phiên bản EC2 G5. Tính năng tinh chỉnh của Refact.ai nâng cao hơn nữa khả năng hiểu và thích ứng với cơ sở mã và môi trường độc đáo của tổ chức của họ. Chúng tôi cũng rất vui mừng được cung cấp các tính năng của Trainium2, điều này sẽ mang lại quá trình xử lý nhanh hơn, hiệu quả hơn cho quy trình làm việc của chúng tôi. Công nghệ tiên tiến này sẽ cho phép khách hàng của chúng tôi đẩy nhanh quy trình phát triển phần mềm của họ, bằng cách tăng năng suất của nhà phát triển trong khi vẫn duy trì các tiêu chuẩn bảo mật nghiêm ngặt cho cơ sở mã của họ.

    Oleg Klimov, Giám đốc điều hành & Nhà sáng lập, Refact.ai
  • Karakuri Inc.

    KARAKURI, xây dựng các công cụ AI để cải thiện hiệu quả hỗ trợ khách hàng dựa trên web và đơn giản hóa trải nghiệm của khách hàng. Các công cụ này bao gồm chatbot AI được trang bị các chức năng AI tạo sinh, công cụ tập trung Câu hỏi thường gặp và công cụ phản hồi email, tất cả đều cải thiện hiệu quả và chất lượng hỗ trợ khách hàng. Sử dụng AWS Trainium, chúng tôi đã thành công trong việc đào tạo KARAKURI LM 8x7B Chat v0.1. Đối với các công ty khởi nghiệp như chúng tôi, chúng tôi cần tối ưu hóa thời gian xây dựng và tối ưu chi phí cần thiết để đào tạo LLM. Với sự hỗ trợ của AWS Trainium và AWS Team, chúng tôi đã có thể phát triển LLM cấp độ thực tế trong một khoảng thời gian ngắn. Ngoài ra, bằng cách áp dụng AWS Inferentia, chúng tôi đã có thể xây dựng một dịch vụ suy luận nhanh chóng và tiết kiệm chi phí. Chúng tôi được tiếp thêm sức mạnh với Trainium2 vì nó sẽ cách mạng hóa quá trình đào tạo của chúng tôi, giảm gấp đôi thời gian đào tạo và nâng hiệu quả lên một tầm cao mới!

    Tomofumi Nakayama, Nhà đồng sáng lập, Karakuri Inc.
  • Stockmark Inc.

    Với sứ mệnh “đổi mới cơ chế tạo giá trị và thúc đẩy nhân loại”, Stockmark giúp nhiều công ty tạo ra và xây dựng các doanh nghiệp sáng tạo bằng cách cung cấp công nghệ xử lý ngôn ngữ tự nhiên tiên tiến. Dịch vụ phân tích và thu thập dữ liệu mới của Stockmark có tên Anews và SAT, một dịch vụ cấu trúc dữ liệu giúp cải thiện đáng kể việc sử dụng AI tạo sinh bằng cách tổ chức tất cả các dạng thông tin được lưu trữ trong một tổ chức, yêu cầu chúng tôi phải suy nghĩ lại về cách chúng tôi xây dựng và triển khai các mô hình để hỗ trợ các sản phẩm này. Với 256 bộ tăng tốc Trainium, chúng tôi đã phát triển và phát hành stockmark-13b, một mô hình ngôn ngữ lớn với 13 tỷ tham số, được đào tạo trước từ đầu trên một tập dữ liệu kho dữ liệu Nhật Bản gồm 220B token. Các phiên bản Trn1 đã giúp chúng tôi giảm 20% chi phí đào tạo. Tận dụng Trainium, chúng tôi đã phát triển thành công một LLM có thể trả lời các câu hỏi kinh doanh quan trọng cho các chuyên gia với độ chính xác và tốc độ chưa từng có. Thành tựu này đặc biệt đáng chú ý do thách thức rộng rãi mà các công ty phải đối mặt trong việc đảm bảo nguồn lực tính toán đầy đủ để phát triển mô hình. Với tốc độ ấn tượng và giảm chi phí của phiên bản Trn1, chúng tôi rất vui mừng khi thấy những lợi ích bổ sung mà Trainium2 sẽ mang lại cho quy trình làm việc và khách hàng của chúng tôi.

    Kosuke Arima, CTO và Nhà đồng sáng lập, Stockmark Inc.
  • Brave

    Brave là một trình duyệt và công cụ tìm kiếm độc lập dành riêng cho việc ưu tiên quyền riêng tư và bảo mật của người dùng. Với hơn 70 triệu người dùng, chúng tôi cung cấp các biện pháp bảo vệ hàng đầu trong ngành làm cho Web an toàn hơn và thân thiện hơn. Không giống như các nền tảng khác đã thay đổi cách tiếp cận lấy người dùng làm trung tâm, Brave vẫn cam kết đặt quyền riêng tư, bảo mật và tiện lợi lên hàng đầu. Các tính năng chính bao gồm chặn các tập lệnh và trình theo dõi có hại, tóm tắt trang hỗ trợ AI được cung cấp bởi LLM, dịch vụ VPN tích hợp và hơn thế nữa. Chúng tôi liên tục cố gắng nâng cao tốc độ và hiệu quả chi phí của các dịch vụ tìm kiếm và mô hình AI của mình. Để hỗ trợ điều này, chúng tôi rất vui được tận dụng các khả năng mới nhất của chip AI AWS, bao gồm Trainium2, để cải thiện trải nghiệm người dùng khi chúng tôi điều chỉnh quy mô để xử lý hàng tỷ truy vấn tìm kiếm hàng tháng.

    Subu Sathyanarayana, Phó Giám đốc Kỹ thuật, Brave Software
  • Anyscale

    Anyscale là công ty đứng sau Ray, một Công cụ tính toán AI cung cấp năng lượng cho ML và các sáng kiến AI tạo sinh cho Doanh nghiệp. Với nền tảng AI hợp nhất của Anyscale được điều khiển bởi RayTurbo, khách hàng nhận được khả năng xử lý dữ liệu nhanh hơn tới 4,5 lần, suy luận hàng loạt chi phí thấp hơn 10 lần với LLM, mở rộng nhanh hơn 5 lần, lặp lại nhanh hơn 12 lần và tiết kiệm chi phí 50% cho suy luận mô hình trực tuyến bằng cách tối ưu hóa việc sử dụng tài nguyên.

    Tại Anyscale, chúng tôi cam kết trao quyền cho các doanh nghiệp những công cụ tốt nhất để điều chỉnh quy mô khối lượng công việc AI một cách hiệu quả và tiết kiệm chi phí. Với hỗ trợ gốc cho các chip AWS Trainium và Inferentia, được hỗ trợ bởi thời gian hoạt động RayTurbo của chúng tôi, khách hàng có quyền truy cập vào các tùy chọn hiệu suất cao, tiết kiệm chi phí để phục vụ và đào tạo mô hình. Giờ đây, chúng tôi rất vui mừng được hợp tác với AWS trên Trainium2, mở ra cơ hội mới cho khách hàng đổi mới nhanh chóng và cung cấp trải nghiệm AI chuyển đổi hiệu suất cao trên quy mô lớn.

    Robert Nishihara, Nhà đồng sáng lập, Anyscale
  • Datadog

    Datadog, nền tảng bảo mật và khả năng quan sát cho các ứng dụng đám mây, cung cấp tính năng Giám sát AWS Trainium và Inferentia cho khách hàng để tối ưu hóa hiệu suất mô hình, cải thiện hiệu quả và giảm chi phí. Tích hợp của Datadog cung cấp khả năng hiển thị đầy đủ các hoạt động ML và hiệu suất chip cơ bản, cho phép giải quyết vấn đề chủ động và mở rộng cơ sở hạ tầng liền mạch. Chúng tôi rất vui mừng được mở rộng quan hệ đối tác với AWS để ra mắt AWS Trainium2, giúp người dùng cắt giảm chi phí cơ sở hạ tầng AI lên đến 50% và tăng hiệu suất đào tạo và triển khai mô hình.

    Yrieix Garnier, Phó chủ tịch phụ trách sản phẩm, Datadog
  • Hugging Face

    Hugging Face là nền tảng mở hàng đầu dành cho các nhà xây dựng AI, với hơn 2 triệu mô hình, bộ dữ liệu và ứng dụng AI được chia sẻ bởi một cộng đồng gồm hơn 5 triệu nhà nghiên cứu, nhà khoa học dữ liệu, kỹ sư máy học và nhà phát triển phần mềm. Chúng tôi đã hợp tác với AWS trong vài năm qua, giúp các nhà phát triển dễ dàng trải nghiệm hiệu suất và lợi ích chi phí của AWS Inferentia và Trainium thông qua thư viện mã nguồn mở Optimum Neuron, được tích hợp trong Điểm cuối suy luận Hugging Face và hiện được tối ưu hóa trong dịch vụ tự triển khai HUGS mới của chúng tôi, có sẵn trên AWS Marketplace. Với sự ra mắt của Trainium2, người dùng của chúng tôi sẽ tiếp cận hiệu suất cao hơn nữa để phát triển và triển khai các mô hình nhanh hơn.

    Jeff Boudier, Trưởng phòng sản phẩm, Hugging Face
  • Lightning AI

    Lightning AI, nhà sáng tạo của PyTorch Lightning và Lightning Studios cung cấp nền tảng phát triển AI tất cả trong một trực quan nhất cho AI cấp doanh nghiệp. Lightning cung cấp các công cụ mã đầy đủ, không cần nhiều mã và không có mã để xây dựng các tác nhân, ứng dụng AI và các giải pháp AI tạo sinh, nhanh như chớp. Được thiết kế linh hoạt, chạy liền mạch trên đám mây của bạn hoặc của chúng tôi, tận dụng chuyên môn và hỗ trợ của cộng đồng hơn 3 triệu nhà phát triển mạnh.

    Lightning hiện hỗ trợ cho AWS AI Chips, Trainium và Inferentia, được tích hợp trên Lightning Studios và các công cụ mã nguồn mở của chúng tôi như PyTorch Lightning, Fabric và LitServe. Điều này mang lại cho người dùng khả năng liền mạch để đào tạo trước, tinh chỉnh và triển khai ở quy mô lớn — tối ưu hóa chi phí, tính khả dụng và hiệu suất mà không cần chi phí chuyển đổi, cũng như lợi ích về hiệu suất và chi phí của Chip AI AWS, bao gồm thế hệ chip Trainium2 mới nhất, mang lại hiệu suất cao hơn với chi phí thấp hơn.

    Luca Antiga, CTO, Lightning AI
  • Domino Data Lab

    Domino điều phối tất cả các tạo tác khoa học dữ liệu, bao gồm cơ sở hạ tầng, dữ liệu và dịch vụ trên AWS trên các môi trường – bổ sung cho Amazon SageMaker các tính năng quản trị và cộng tác để hỗ trợ các đội ngũ khoa học dữ liệu trong doanh nghiệp. Domino được cung cấp thông qua AWS Marketplace dưới dạng SaaS hoặc tự quản lý.

    Các doanh nghiệp hàng đầu phải cân bằng sự phức tạp kỹ thuật, chi phí và quản trị, nắm vững các tùy chọn AI mở rộng để đạt được lợi thế cạnh tranh. Tại Domino, chúng tôi cam kết cung cấp cho khách hàng khả năng tiếp cận các công nghệ tiên tiến. Vì điện toán là một rào cản cho rất nhiều sự đổi mới mang tính đột phá, chúng tôi tự hào cung cấp cho khách hàng khả năng tiếp cận Trainium2 để họ có thể đào tạo và triển khai các mô hình với hiệu năng cao hơn, chi phí thấp hơn và khả năng tiết kiệm năng lượng tốt hơn.

    Nick Elprin, Giám đốc điều hành kiêm Người đồng sáng lập, Domino Data Lab
  • Helixon

    Tại HeliXon, chúng tôi xây dựng các giải pháp AI thế hệ tiếp theo cho các liệu pháp dựa trên protein. Chúng tôi mong muốn phát triển các công cụ AI để hỗ trợ các nhà khoa học giải mã chức năng và tương tác của protein, kiểm tra các tập dữ liệu gen quy mô lớn để xác định mục tiêu và thiết kế các phương pháp điều trị như kháng thể và liệu pháp tế bào. Ngày nay, chúng tôi sử dụng các thư viện phân phối đào tạo như FSDP để song song hóa hoạt động đào tạo mô hình trên nhiều máy chủ dựa trên GPU, nhưng chúng tôi vẫn mất hàng tuần để đào tạo một mô hình duy nhất. Chúng tôi rất vui mừng được sử dụng các phiên bản Amazon Trn1 cho EC2 với băng thông mạng cao nhất (800 Gbps) được cung cấp trong AWS để cải thiện hiệu năng của các tác vụ đào tạo phân tán và giảm thời gian đào tạo mô hình cũng như giảm chi phí đào tạo của chúng tôi.

    Jian Peng, Giám đốc điều hành, Helixon
  • Money Forward, Inc.

    Money Forward, Inc. cung cấp cho các doanh nghiệp và cá nhân một nền tảng tài chính công khai và công bằng.

    Chúng tôi đã khởi chạy dịch vụ chatbot AI quy mô lớn trên các phiên bản Amazon EC2 Inf1 và giảm độ trễ suy luận xuống 97% so với các phiên bản dựa trên GPU tương đương, đồng thời giảm chi phí. Trong quá trình tinh chỉnh định kỳ các mô hình NLP riêng, việc giảm thời gian và chi phí đào tạo mô hình là rất quan trọng. Dựa trên kinh nghiệm từ việc di chuyển thành công khối lượng công việc suy luận trên các phiên bản Inf1 và công việc ban đầu của chúng tôi trên các phiên bản EC2 Trn1 dựa trên AWS Trainium, chúng tôi hy vọng các phiên bản Trn1 sẽ cung cấp thêm giá trị trong việc cải thiện hiệu năng ML toàn diện và chi phí.

    Takuya Nakade, Giám đốc công nghệ, Money Forward, Inc.
  • Magic

    Magic là một công ty nghiên cứu và sản phẩm tích hợp, phát triển AI đóng vai trò như một đồng nghiệp để giúp thế giới làm việc hiệu quả hơn.

    Đào tạo các mô hình tự hồi quy lớn dựa trên bộ chuyển đổi là một phần thiết yếu trong công việc của chúng tôi. Các phiên bản Trn1 hỗ trợ AWS Trainium được thiết kế đặc biệt cho các khối lượng công việc này, cung cấp khả năng khả năng điều chỉnh quy mô gần như vô hạn, kết nối mạng liên nút nhanh và hỗ trợ nâng cao cho các loại dữ liệu 16 và 8 bit. Phiên bản Trn1 sẽ giúp chúng tôi đào tạo các mô hình lớn nhanh hơn với chi phí thấp hơn. Chúng tôi đặc biệt vui mừng với khả năng hỗ trợ mặc định cho tính năng làm tròn ngẫu nhiên BF16 trong Trainium, giúp tăng hiệu năng với độ chính xác số học tuyệt đối.

    Eric Steinberger, Nhà đồng sáng lập kiêm Giám đốc điều hành, Magic
  • CACTUS LABS

    CACTUS có một bộ sản phẩm và giải pháp cho các nhà nghiên cứu và các tổ chức nhằm cải thiện quá trình tài trợ, công bố, truyền đạt và khám phá nghiên cứu.

    Tại Cactus Labs, chúng tôi khai thác sức mạnh của AI với nghiên cứu tập trung vào xử lý ngôn ngữ tự nhiên, xếp hạng và đề xuất, AI đàm thoại, mô hình ngôn ngữ lớn, thị giác máy tính, AR/VR và XAI. Là một phần trong nhiệm vụ hỗ trợ đào tạo các mô hình máy học nhanh hơn cũng như cho phép các nhà nghiên cứu chạy nhiều thử nghiệm hơn trong khi quản lý chi phí cơ sở hạ tầng, chúng tôi rất vui khi đánh giá AWS Trainium. Các tính năng dùng ngay của AWS Trainium như tối ưu hóa XLA, đào tạo song song dữ liệu của nhiều nhân viên và lưu trữ đồ thị trong bộ nhớ đệm thực sự hữu ích với chúng tôi trong việc giảm thời gian đào tạo và chạy nhiều thử nghiệm hơn, nhanh chóng hơn và rẻ hơn.

    Nishchay Shah, Giám đốc công nghệ kiêm Trưởng bộ phận Sản phẩm mới nổi, Cactus Communications
  • Watashiha

    Watashiha cung cấp một dịch vụ chatbot AI tương tác và sáng tạo, “OGIRI AI”, kết hợp sự hài hước để ngay lập tức cung cấp câu trả lời vui nhộn cho một câu hỏi.

    Chúng tôi sử dụng Mô hình ngôn ngữ lớn để kết hợp sự hài hước và cung cấp trải nghiệm đàm thoại và phù hợp hơn cho khách hàng trên các dịch vụ AI của chúng tôi. Điều này đòi hỏi chúng tôi phải đào tạo trước và tinh chỉnh các mô hình này thường xuyên. Chúng tôi đã đào tạo trước một mô hình tiếng Nhật dựa trên GPT trên phiên bản Trn1.32xlarge cho EC2, tận dụng tensor và tính song song dữ liệu. Khóa đào tạo được hoàn thành trong vòng 28 ngày với mức chi phí thấp hơn 33% so với cơ sở hạ tầng dựa trên GPU trước đây của chúng tôi. Khi các mô hình của chúng tôi ngày càng trở nên phức tạp, chúng tôi mong đợi các phiên bản Trn1n với băng thông mạng gấp đôi của Trn1 để tăng tốc độ đào tạo các mô hình lớn hơn.

    Yohei Kobashi, Giám đốc công nghệ, Watashiha, K.K.
  • Amazon

    Công cụ tìm kiếm sản phẩm của Amazon lập chỉ mục hàng tỷ sản phẩm, phục vụ hàng tỷ truy vấn của khách hàng mỗi ngày và là một trong những dịch vụ được sử dụng nhiều nhất trên thế giới.

    Chúng tôi đang đào tạo các mô hình ngôn ngữ lớn (LLM) đa phương thức (văn bản + hình ảnh), đa ngôn ngữ, nhiều địa điểm, được đào tạo trước về nhiều tác vụ và trải rộng trên nhiều thực thể (sản phẩm, truy vấn, thương hiệu, đánh giá, v.v.) để cải thiện trải nghiệm mua sắm của khách hàng. Phiên bản Trn1 cung cấp một phương pháp bền vững hơn để đào tạo LLM bằng cách cung cấp hiệu năng/watt tốt nhất so với các giải pháp máy học tăng tốc khác và đem lại cho chúng tôi hiệu năng cao với chi phí thấp nhất. Chúng tôi dự định khám phá kiểu dữ liệu FP8 có thể cấu hình mới và phương pháp làm tròn ngẫu nhiên được tăng tốc bằng phần cứng để cải thiện hơn nữa hiệu quả đào tạo và tốc độ phát triển của chúng tôi.

    Trishul Chilimbi, Phó chủ tịch, Amazon Search
  • Meta

    Điều tôi thích nhất ở thư viện AWS Neuron NxD Inference là cách nó tích hợp liền mạch với các mô hình PyTorch. Cách tiếp cận của NxD rất đơn giản và thân thiện với người dùng. Nhóm của chúng tôi đã có thể tích hợp các mô hình HuggingFace PyTorch với những thay đổi mã tối thiểu trong một khung thời gian ngắn. Việc kích hoạt các tính năng nâng cao như Phân nhóm liên tục và Giải mã suy đoán rất đơn giản. Tính dễ sử dụng này giúp nâng cao năng suất của nhà phát triển, cho phép các nhóm tập trung nhiều hơn vào đổi mới và ít hơn vào các thách thức tích hợp.

    Hamid Shojanazeri, Trưởng phòng kỹ thuật đối tác PyTorch, Meta