Phiên bản Amazon EC2 Inf2 hiện được cung cấp ở Hàn Quốc
Kể từ hôm nay, phiên bản Amazon Elastic Compute Cloud (Amazon EC2) Inf2 (được tối ưu hóa cho AI tạo sinh) được cung cấp rộng rãi ở Khu vực AWS Châu Á Thái Bình Dương (Seoul). Phiên bản Amazon EC2 Inf2 giúp giảm chi phí suy luận tới 40% so với các phiên bản Amazon EC2 tương đương.
Bạn có thể sử dụng phiên bản Inf2 để chạy các ứng dụng phổ biến, như: tóm tắt văn bản, tạo mã, tạo video và hình ảnh, nhận biết lời nói, cá nhân hóa, v.v. Phiên bản Inf2 là phiên bản tối ưu hóa suy luận đầu tiên trong Amazon EC2 để cung cấp tính năng suy luận phân tán mở rộng với sự hỗ trợ của NeuronLink – khả năng liên kết không chặn, tốc độ cao. Phiên bản Inf2 cung cấp tối đa 2,3 petaflop và tổng bộ nhớ tăng tốc đến 384 GB với băng thông 9,8 TB/giây.
SDK AWS Neuron tích hợp nguyên bản với các khung máy học phổ biến, vì vậy, bạn có thể tiếp tục sử dụng khung hiện có để triển khai trên Inf2. Nhà phát triển có thể bắt đầu sử dụng phiên bản Inf2 bằng AMI học sâu của AWS, Bộ chứa học sâu của AWS hoặc các dịch vụ được quản lý, như: Amazon Elastic Container Service (Amazon ECS), Dịch vụ Kubernetes linh hoạt Amazon (Amazon EKS) và Amazon SageMaker.
Phiên bản Inf2 hiện được cung cấp với bốn kích cỡ (inf2.xlarge, inf2.8xlarge, inf2.24xlarge, inf2.48xlarge) ở 14 Khu vực AWS dưới dạng Phiên bản theo nhu cầu, Phiên bản đặt trước và Phiên bản dùng ngay hoặc như một phần của Gói tiết kiệm.
Để tìm hiểu thêm về phiên bản Inf2, hãy xem trang web Phiên bản Amazon EC2 Inf2 và Tài liệu về AWS Neuron.