Tính năng Suy luận của Amazon SageMaker AI hiện hỗ trợ truyền hai chiều
Tính năng suy luận của Amazon SageMaker AI hiện hỗ trợ truyền hai chiều cho hoạt động chép lời nói thành văn bản trong thời gian thực, cho phép xử lý lời nói liên tục thay vì nhập theo lô. Các mô hình giờ đây có thể nhận luồng âm thanh và trả về đồng thời bản chép lời một phần khi người dùng nói, cho phép bạn xây dựng các tác tử thoại có thể xử lý lời nói với độ trễ tối thiểu.
Khi xây dựng tác tử thoại AI, khách hàng cần tính năng chép lời trong thời gian thực để giảm thiểu sự chậm trễ giữa lời nói của người dùng và phản hồi của tác tử. Các nhà khoa học dữ liệu và kỹ sư ML thiếu cơ sở hạ tầng được quản lý để truyền hai chiều, do đó, họ cần xây dựng các phần triển khai WebSocket tùy chỉnh và quản lý các giao thức truyền. Các nhóm dành nhiều tuần để phát triển và duy trì cơ sở hạ tầng này thay vì tập trung vào độ chính xác của mô hình và khả năng của tác tử. Với khả năng truyền hai chiều trong tính năng Suy luận của Amazon SageMaker AI, bạn có thể triển khai các mô hình chuyển lời nói thành văn bản bằng cách gọi điểm cuối của mình với API Truyền hai chiều mới. Máy khách mở kết nối HTTP2 đến thời gian hoạt động SageMaker AI, còn SageMaker AI tự động tạo kết nối WebSocket với bộ chứa của bạn. Điều này có thể xử lý khung âm thanh truyền và trả về các bản chép lời một phần trong quá trình tạo ra chúng. Bất kỳ bộ chứa nào triển khai trình xử lý WebSocket theo hợp đồng SageMaker AI đều hoạt động tự động, các mô hình lời nói trong thời gian thực như Deepgram có thể chạy mà không cần sửa đổi. Điều này giúp bạn bớt được nhiều tháng phát triển cơ sở hạ tầng và triển khai các tác tử thoại với khả năng chép lời liên tục, từ đó, bạn có thể dành thời gian cho việc cải thiện hiệu suất mô hình.
Khả năng truyền hai chiều được ở các Khu vực AWS sau: Canada (Miền Trung), Nam Mỹ (São Paulo), Châu Phi (Cape Town), Châu Âu (Paris), Châu Á Thái Bình Dương (Hyderabad), Châu Á Thái Bình Dương (Jakarta), Israel (Tel Aviv), Châu Âu (Zurich), Châu Á Thái Bình Dương (Tokyo), AWS GovCloud Hoa Kỳ (Miền Tây), AWS GovCloud Hoa Kỳ (Miền Đông), Châu Á Thái Bình Dương (Mumbai), Trung Đông (Bahrain), Miền Tây Hoa Kỳ (Oregon)), Trung Quốc (Ninh Hạ), Miền Tây Hoa Kỳ (Bắc California), Châu Á Thái Bình Dương (Sydney), Châu Âu (London), Châu Á Thái Bình Dương (Seoul), Miền Đông Hoa Kỳ (Bắc Virginia), Châu Á Thái Bình Dương (Hồng Kông), Miền Đông Hoa Kỳ (Ohio), Trung Quốc (Bắc Kinh), Châu Âu (Stockholm), Châu Âu (Ireland), Trung Đông (UAE), Châu Á Thái Bình Dương (Osaka), Châu Á Thái Bình Dương (Melbourne), Châu Âu (Tây Ban Nha), Châu Âu (Frankfurt), Châu Âu (Milan), Châu Á Thái Bình Dương (Singapore).
Để tìm hiểu thêm, hãy truy cập Blog Tin tức AWS tại đây và tài liệu về SageMaker AI tại đây.