NVIDIA Nemotron 3 Nano hiện đã được cung cấp trên Amazon Bedrock
Amazon Bedrock hiện đã hỗ trợ mẫu NVIDIA Nemotron 3 Nano 30B A3B, bước đột phá mới nhất của NVIDIA trong lĩnh vực lập mô hình ngôn ngữ hiệu quả mang lại hiệu năng suy luận cao, hỗ trợ gọi công cụ gốc và xử lý ngữ cảnh mở rộng với cửa sổ ngữ cảnh 256.000 mã thông báo. Mô hình này sử dụng kiến trúc lai kết hợp chuyên gia (MoE) hiệu quả để đảm bảo thông lượng cao hơn so với các phiên bản tiền nhiệm cho khối lượng công việc tác tử và viết mã, đồng thời, duy trì độ sâu lý luận của mô hình lớn hơn. Với nhiều biện pháp kiểm soát suy luận rõ ràng và độ chính xác cao hơn đạt được nhờ sự hỗ trợ của nhiều kỹ thuật học hỏi tăng cường tiên tiến và hoạt động sau đào tạo đa môi trường trên quy mô lớn, đây là mô hình lý tưởng giúp các doanh nghiệp, công ty khởi nghiệp và nhà phát triển cá nhân xây dựng quy trình làm việc đa tác tử, công cụ năng suất dành cho nhà phát triển, tự động hóa quy trình cũng như phân tích lý luận khoa học và toán học, cùng nhiều công dụng khác.
NVIDIA Nemotron 3 Nano trên Amazon Bedrock ứng dụng Project Mantle, công cụ suy luận phân tán mới dành cho mô hình máy học quy mô lớn phục vụ trên Amazon Bedrock. Project Mantle giúp đơn giản hóa và xúc tiến việc đưa các mô hình mới vào Amazon Bedrock, cung cấp tính năng suy luận phi máy chủ hiệu năng cao và đáng tin cậy với nhiều biện pháp kiểm soát chất lượng dịch vụ tinh vi, mở khóa hạn mức khách hàng mặc định cao hơn với khả năng quản lý công suất tự động và nhóm hợp nhất, đồng thời, cung cấp khả năng tương thích theo mặc định với các thông số kỹ thuật của API OpenAI.
NVIDIA Nemotron 3 Nano hiện đã được cung cấp trên Amazon Bedrock ở các Khu vực AWS Miền Đông Hoa Kỳ (Bắc Virginia), Miền Đông Hoa Kỳ (Ohio), Miền Tây Hoa Kỳ (Oregon), Châu Á Thái Bình Dương (Tokyo), Châu Á Thái Bình Dương (Mumbai), Nam Mỹ (Sao Paulo), Châu Âu (London) và Châu Âu (Milan) và hỗ trợ cả điểm cuối dịch vụ hợp nhất lẫn tương thích với API OpenAI trên Amazon Bedrock. Để tìm hiểu thêm và bắt đầu sử dụng, hãy truy cập bảng điều khiển Amazon Bedrock hoặc tài liệu dịch vụ tại đây. Để bắt đầu sử dụng điểm cuối dịch vụ tương thích với API OpenAI của Amazon Bedrock, hãy truy cập tài liệu tại đây.