Khách hàng sử dụng AWS Trainium

Tại Anthropic, hàng triệu người dựa vào Claude hàng ngày để thực hiện công việc của họ. Chúng tôi sẽ công bố hai tiến bộ lớn với AWS: Thứ nhất, “chế độ tối ưu hóa độ trễ” mới cho Claude 3.5 Haiku chạy nhanh hơn 60% trên Trainium2 thông qua Amazon Bedrock. Và thứ hai, Project Rainier — một cụm mới với hàng trăm ngàn chip Trainium2 cung cấp hàng trăm exaflop, gấp hơn năm lần kích thước của cụm trước đó của chúng tôi. Dự án Rainier sẽ giúp thúc đẩy cả nghiên cứu và thế hệ mở rộng quy mô tiếp theo của chúng tôi. Đối với khách hàng của chúng tôi, điều này có nghĩa là thông minh hơn, giá thấp hơn và tốc độ nhanh hơn. Chúng tôi không chỉ xây dựng AI có tốc độ nhanh hơn, chúng tôi còn xây dựng AI đáng tin cậy có khả năng mở rộng quy mô.

Mosaic AI của Databricks cho phép các tổ chức xây dựng và triển khai Hệ thống đại lý chất lượng. Nó được xây dựng nguyên bản trên hồ dữ liệu, cho phép khách hàng tùy chỉnh dễ dàng và an toàn mô hình của họ với dữ liệu doanh nghiệp và cung cấp đầu ra chính xác hơn và cụ thể theo miền. Nhờ hiệu suất cao và hiệu quả chi phí của Trainium, khách hàng có thể mở rộng đào tạo mô hình về Mosaic AI với chi phí thấp. Tính khả dụng của Trainium2 sẽ là một lợi ích lớn cho Databricks và khách hàng của nó khi nhu cầu về Mosaic AI tiếp tục mở rộng trên tất cả các phân khúc khách hàng và trên toàn thế giới. Databricks, một trong những công ty dữ liệu và AI lớn nhất thế giới, có kế hoạch sử dụng TRN2 để mang lại kết quả tốt hơn và giảm TCO lên đến 30% cho khách hàng của mình.

Tại poolside, chúng tôi sẵn sàng xây dựng một thế giới nơi AI thúc đẩy phần lớn công việc có giá trị kinh tế và tiến bộ khoa học. Chúng tôi tin rằng khả năng chính đầu tiên của các mạng nơ-ron đạt đến trí thông minh ở cấp độ con người là phát triển phần mềm do đây là lĩnh vực chúng tôi có thể kết hợp các phương pháp Tìm kiếm và Học tập tốt nhất. Để kích hoạt điều đó, chúng tôi đang xây dựng các mô hình nền tảng, API và Trợ lý để mang sức mạnh của AI tạo sinh đến tay (hoặc bàn phím) các nhà phát triển của bạn. Cơ sở hạ tầng chúng tôi đang sử dụng để xây dựng và chạy các sản phẩm của mình là chìa khóa chính để kích hoạt công nghệ này. Với AWS Trainium2, khách hàng của chúng tôi có thể mở rộng quy mô sử dụng poolside với tỷ lệ hiệu suất giá không giống như các bộ tăng tốc AI khác. Ngoài ra, chúng tôi có kế hoạch đào tạo các mô hình tương lai với Trainium2 UltraServer với mức tiết kiệm dự kiến là 40% so với phiên bản EC2 P5.

Chúng tôi đã thử nghiệm AWS Trainium và Inferentia trên nhiều nhiệm vụ khác nhau, từ suy luận tiêu chuẩn đến các ứng dụng tinh chỉnh. Hiệu suất của các chip AI này đã cho phép chúng tôi đạt được các cột mốc quan trọng trong nghiên cứu và phát triển của mình. Đối với cả tác vụ suy luận hàng loạt và trực tuyến, chúng tôi đã chứng kiến thông lượng tăng 7 lần so với GPU. Hiệu suất nâng cao này đang thúc đẩy việc mở rộng nhiều trường hợp sử dụng hơn trong toàn tổ chức. Thế hệ chip Trainium2 mới nhất mở ra các tính năng đột phá cho GenAI và mở ra cánh cửa cho sự đổi mới tại Itau.

Chúng tôi vô cùng hào hứng với sự ra mắt của AWS TRN2 vì chúng tôi tin rằng nó sẽ mang lại hiệu suất chi phí tốt nhất cho mỗi token và tốc độ nhanh nhất hiện tại cho mẫu Ninja LLM cốt lõi của chúng tôi dựa trên Llama 3.1 405B. Thật tuyệt vời khi thấy độ trễ thấp của Trn2 cùng với giá cả cạnh tranh và tính khả dụng theo yêu cầu; chúng tôi không thể hào hứng hơn về sự xuất hiện của Trn2!

Việc di chuyển sang các phiên bản Trn1 rất dễ dàng và đơn giản. Chúng tôi có thể đào tạo trước LLM tham số 13B của mình chỉ trong 8 ngày, sử dụng một cụm 4.096 chip Trainium! Sau thành công chúng tôi chứng kiến với mô hình nhỏ hơn của mình, chúng tôi đã tinh chỉnh một LLM mới, lớn hơn dựa trên Llama-3-Swallow-70B và tận dụng Trainium, chúng tôi có thể giảm 50% chi phí đào tạo và cải thiện hiệu quả năng lượng lên 25% so với việc sử dụng các máy GPU mới nhất trong AWS. Chúng tôi rất vui mừng được tận dụng thế hệ Chip AI AWS mới nhất, Trainium2, để tiếp tục cung cấp cho khách hàng hiệu năng tốt nhất với chi phí thấp nhất.

Điều tôi thích nhất về thư viện AWS Neuron NxD Inference là cách nó tích hợp liền mạch với các mô hình PyTorch. Cách tiếp cận của NxD rất đơn giản và thân thiện với người dùng. Nhóm của chúng tôi đã có thể tích hợp các mô hình HuggingFace PyTorch với những thay đổi mã tối thiểu trong một khung thời gian ngắn. Việc kích hoạt các tính năng nâng cao như Phân nhóm liên tục và Giải mã suy đoán rất đơn giản. Tính dễ sử dụng này giúp nâng cao năng suất của nhà phát triển, cho phép các nhóm tập trung nhiều hơn vào đổi mới và ít hơn vào các thách thức tích hợp.

Khách hàng đã chứng kiến hiệu năng cao hơn tới 20% và mã thông báo trên mỗi đô la cao hơn 1,5 lần với các phiên bản EC2 Inf2 so với phiên bản EC2 G5. Tính năng tinh chỉnh của Refact.ai nâng cao hơn nữa khả năng hiểu và thích ứng với cơ sở mã và môi trường độc đáo của tổ chức của họ. Chúng tôi cũng rất vui mừng được cung cấp các tính năng của Trainium2, điều này sẽ mang lại quá trình xử lý nhanh hơn, hiệu quả hơn cho quy trình làm việc của chúng tôi. Công nghệ tiên tiến này sẽ cho phép khách hàng của chúng tôi đẩy nhanh quy trình phát triển phần mềm của họ, bằng cách tăng năng suất của nhà phát triển trong khi vẫn duy trì các tiêu chuẩn bảo mật nghiêm ngặt cho cơ sở mã của họ.

KARAKURI, xây dựng các công cụ AI để cải thiện hiệu quả hỗ trợ khách hàng dựa trên web và đơn giản hóa trải nghiệm của khách hàng. Các công cụ này bao gồm chatbot AI được trang bị các chức năng AI tạo sinh, công cụ tập trung Câu hỏi thường gặp và công cụ phản hồi email, tất cả đều cải thiện hiệu quả và chất lượng hỗ trợ khách hàng. Sử dụng AWS Trainium, chúng tôi đã thành công trong việc đào tạo KARAKURI LM 8x7B Chat v0.1. Đối với các công ty khởi nghiệp như chúng tôi, chúng tôi cần tối ưu hóa thời gian xây dựng và tối ưu chi phí cần thiết để đào tạo LLM. Với sự hỗ trợ của AWS Trainium và AWS Team, chúng tôi đã có thể phát triển LLM cấp độ thực tế trong một khoảng thời gian ngắn. Ngoài ra, bằng cách áp dụng AWS Inferentia, chúng tôi đã có thể xây dựng một dịch vụ suy luận nhanh chóng và tiết kiệm chi phí. Chúng tôi được tiếp thêm sức mạnh với Trainium2 vì nó sẽ cách mạng hóa quá trình đào tạo của chúng tôi, giảm gấp đôi thời gian đào tạo và nâng hiệu quả lên một tầm cao mới!

Với sứ mệnh “đổi mới cơ chế tạo giá trị và thúc đẩy nhân loại”, Stockmark giúp nhiều công ty tạo ra và xây dựng các doanh nghiệp sáng tạo bằng cách cung cấp công nghệ xử lý ngôn ngữ tự nhiên tiên tiến. Dịch vụ phân tích và thu thập dữ liệu mới của Stockmark có tên Anews và SAT, một dịch vụ cấu trúc dữ liệu giúp cải thiện đáng kể việc sử dụng AI tạo sinh bằng cách tổ chức tất cả các dạng thông tin được lưu trữ trong một tổ chức, yêu cầu chúng tôi phải suy nghĩ lại về cách chúng tôi xây dựng và triển khai các mô hình để hỗ trợ các sản phẩm này. Với 256 bộ tăng tốc Trainium, chúng tôi đã phát triển và phát hành stockmark-13b, một mô hình ngôn ngữ lớn với 13 tỷ tham số, được đào tạo trước từ đầu trên một tập dữ liệu kho dữ liệu Nhật Bản gồm 220B token. Các phiên bản Trn1 đã giúp chúng tôi giảm 20% chi phí đào tạo. Tận dụng Trainium, chúng tôi đã phát triển thành công một LLM có thể trả lời các câu hỏi kinh doanh quan trọng cho các chuyên gia với độ chính xác và tốc độ chưa từng có. Thành tựu này đặc biệt đáng chú ý do thách thức rộng rãi mà các công ty phải đối mặt trong việc đảm bảo nguồn lực tính toán đầy đủ để phát triển mô hình. Với tốc độ ấn tượng và giảm chi phí của phiên bản Trn1, chúng tôi rất vui mừng khi thấy những lợi ích bổ sung mà Trainium2 sẽ mang lại cho quy trình làm việc và khách hàng của chúng tôi.