Amazon SageMaker AI Inference 現在支援雙向串流
Amazon SageMaker AI Inference 現在支援用於即時語音轉換文字轉錄的雙向串流功能，可在不依賴批次輸入的情況下實現連續語音處理。模型目前能夠在使用者說話的同時接收音訊串流並傳回部分轉錄，使您能夠建置以最小延遲處理語音的語音代理程式。
客戶會在建置 AI 語音代理程式時需要即時語音轉錄功能，從而將使用者談話和客服程式回應之間的延遲降至最低。資料科學家和 ML 工程師缺乏用於雙向串流的受管基礎結構，因此需要建置自訂 WebSocket 實作和管理串流通訊協定。這類團隊會花費數週的時間開發和維護這項基礎結構，而不是專注於模型準確性和代理程式功能。有了 Amazon SageMaker AI Inference 提供的雙向串流功能，您能夠使用新的雙向串流 API 來調用端點，從而部署語音轉文字模型。用戶端會建立針對 SageMaker AI 執行時期的 HTTP2 連線，而 SageMaker AI 會自動建立針對容器的 WebSocket 連線。這項操作能夠處理串流音訊架構，並在產生部分轉錄時立即傳回。根據 SageMaker AI 合約實作 WebSocket 處理常式的任何容器都會自動運作，而且 Deepgram 等即時語音模型可在無需修改的情況下即時執行。這可省去數個月的基礎結構開發作業，讓您能夠部署具有持續轉錄功能的語音代理程式，同時將時間專注於改善模型效能。
雙向串流適用於以下 AWS 區域：加拿大 (中部)、南美洲 (聖保羅)、非洲 (開普敦)、歐洲 (巴黎)、亞太區域 (海德拉巴)、亞太區域 (雅加達)、以色列 (特拉維夫)、歐洲 (蘇黎世)、亞太地區 (東京)、AWS GovCloud US (美國西部)、AWS GovCloud US (美國東部)、亞太地區 (孟買)、中東 (巴林)、美國西部 (奧勒岡)、中國 (寧夏)、美國西部 (加利佛尼亞北部)、亞太地區 (雪梨)、歐洲 (倫敦)、亞太地區 (首爾)、美國東部 (維吉尼亞北部)、亞太區域 (香港)、美國東部 (俄亥俄)、中國 (北京)、歐洲 (斯德哥爾摩)、歐洲 (愛爾蘭)、中東 (阿拉伯聯合大公國)、亞太區域 (大阪)、亞太區域 (墨爾本)、歐洲 (西班牙)、歐洲 (法蘭克福)、歐洲 (米蘭)、亞太地區 (新加坡)。
若要進一步了解，請在這裡瀏覽 AWS 新聞部落格，並在這裡瀏覽 SageMaker AI 文件。