Amazon SageMaker AI Inference prend désormais en charge le streaming bidirectionnel
Amazon SageMaker AI Inference prend désormais en charge le streaming bidirectionnel pour la transcription parole-texte en temps réel, permettant ainsi un traitement vocal continu au lieu d'une saisie par lots. Les modèles peuvent désormais recevoir des flux audio et renvoyer des transcriptions partielles simultanément pendant que les utilisateurs parlent, ce qui vous permet de créer des agents vocaux qui traitent la parole avec une latence minimale.
Lorsque les clients développent des agents vocaux dotés d'intelligence artificielle, ils ont besoin d'une transcription vocale en temps réel pour minimiser les délais entre la parole de l'utilisateur et les réponses des agents. Les scientifiques des données et les ingénieurs ML ne disposent pas d'une infrastructure gérée pour le streaming bidirectionnel, d'où la nécessité de créer des implémentations WebSocket personnalisées et de gérer les protocoles de streaming. Les équipes passent des semaines à développer et à maintenir cette infrastructure au lieu de se concentrer sur la précision des modèles et les capacités des agents. Grâce au streaming bidirectionnel sur Amazon SageMaker AI Inference, vous pouvez déployer des modèles de synthèse vocale en appelant votre point de terminaison à l'aide de la nouvelle API de flux bidirectionnel. Le client ouvre une connexion HTTP2 au moteur d'exécution SageMaker AI, et SageMaker AI crée automatiquement une connexion WebSocket à votre conteneur. Cela peut permettre de traiter les trames audio en streaming et renvoyer des transcriptions partielles au fur et à mesure de leur production. Tout conteneur implémentant un gestionnaire WebSocket conformément au contrat SageMaker AI fonctionne automatiquement, les modèles vocaux en temps réel tels que Deepgram s'exécutant sans modification. Cela élimine des mois de développement de l'infrastructure, ce qui vous permet de déployer des agents vocaux avec une transcription continue tout en consacrant votre temps à l'amélioration des performances des modèles.
Le streaming bidirectionnel est disponible dans les régions AWS Afrique (Le Cap), Amérique du Sud (São Paulo), Asie-Pacifique (Hong Kong), Asie-Pacifique (Hyderabad), Asie-Pacifique (Jakarta), Asie-Pacifique (Melbourne), Asie-Pacifique (Mumbai), Asie-Pacifique (Osaka), Asie-Pacifique (Séoul), Asie-Pacifique (Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Tokyo), Canada (Centre), Chine (Ningxia), Chine (Pékin), Europe (Espagne), Europe (Francfort), Europe (Irlande), Europe (Londres), Europe (Milan), Europe (Paris), Europe (Stockholm), Europe (Zurich), Israël (Tel Aviv), Moyen-Orient (Bahreïn), Moyen-Orient (EAU), USA Est (Ohio), USA Est (Virginie du Nord), USA Ouest (Californie du Nord), USA Ouest (Oregon), AWS GovCloud (US, côte est) et AWS GovCloud (US, côte ouest).
Pour en savoir plus, consultez le blog AWS News ici et la documentation relative à SageMaker AI ici.