Amazon SageMaker AI Inference unterstützt jetzt bidirektionales Streaming
Amazon SageMaker AI Inference unterstützt jetzt bidirektionales Streaming für Sprache-zu-Text-Transkription in Echtzeit und ermöglicht so eine kontinuierliche Sprachverarbeitung statt Batch-Eingabe. Modelle können jetzt Audiostreams empfangen und teilweise Transkripte gleichzeitig zurückgeben, während die Personen sprechen. Damit können Sie Sprachagenten erstellen, die Sprache mit minimaler Latenz verarbeiten.
Für die Entwicklung von KI-Sprachagenten brauchen die Kunden Sprachtranskription in Echtzeit, um Verzögerungen zwischen Benutzersprache und Agentenantworten zu minimieren. Datenwissenschaftlern und ML-Engineers fehlt eine verwaltete Infrastruktur für bidirektionales Streaming, weshalb es notwendig ist, benutzerdefinierte WebSocket-Implementierungen zu erstellen und Streaming-Protokolle zu verwalten. Teams verbringen Wochen damit, diese Infrastruktur zu entwickeln und zu pflegen, anstatt sich auf Modellgenauigkeit und Agentenfunktionen zu konzentrieren. Mit bidirektionalem Streaming auf Amazon SageMaker AI Inference können Sie Sprache-zu-Text-Modelle bereitstellen, indem Sie Ihren Endpunkt mit der neuen API für bidirektionales Streaming aufrufen. Der Client öffnet eine HTTP2-Verbindung zur SageMaker-KI-Laufzeit, und SageMaker-KI erstellt automatisch eine WebSocket-Verbindung zu Ihrem Container. Dadurch können Streaming-Audioframes verarbeitet und teilweise Transkripte zurückgegeben werden, sobald sie erstellt werden. Jeder Container, der einen WebSocket-Handler gemäß dem SageMaker-AI-Vertrag implementiert, funktioniert automatisch, wobei Echtzeit-Sprachmodelle wie Deepgram ohne Änderungen ausgeführt werden. Dadurch entfällt monatelange Infrastrukturentwicklung, sodass Sie Sprachagenten mit kontinuierlicher Transkription einsetzen und sich gleichzeitig auf die Verbesserung der Modellleistung konzentrieren können.
Bidirektionales Streaming ist in folgenden AWS-Regionen verfügbar: Kanada (Zentral), Südamerika (São Paulo), Afrika (Kapstadt), Europa (Paris), Asien-Pazifik (Hyderabad), Asien-Pazifik (Jakarta), Israel (Tel Aviv), Europa (Zürich), Asien-Pazifik (Tokio), AWS GovCloud US (West), AWS GovCloud US (Ost), Asien-Pazifik (Mumbai), Naher Osten (Bahrain), USA West (Oregon), China (Ningxia), USA West (Nordkalifornien), Asien-Pazifik (Sydney), Europa (London), Asien-Pazifik (Seoul), USA Ost (Nord-Virginia), Asien-Pazifik (Hongkong), USA Ost (Ohio), China (Peking), Europa (Stockholm), Europa (Irland), Naher Osten (VAE), Asien-Pazifik (Osaka), Asien-Pazifik (Melbourne), Europa (Spanien), Europa (Frankfurt), Europa (Mailand), Asien-Pazifik (Singapur).
Weitere Informationen finden Sie hier im AWS-News-Blog und in der SageMaker-AI-Dokumentation.