O Amazon SageMaker AI Inference agora oferece suporte a streaming bidirecional
Agora, o Amazon SageMaker AI Inference oferece suporte ao streaming bidirecional para transcrição de fala para texto em tempo real, permitindo o processamento contínuo da fala em vez da entrada em lote. Agora, os modelos podem receber fluxos de áudio e retornar transcrições parciais simultaneamente enquanto os usuários falam, permitindo que você crie agentes de voz que processam a fala com latência mínima.
À medida que os clientes criam agentes de voz com IA, eles precisam de transcrição de fala em tempo real para minimizar os atrasos entre a fala do usuário e as respostas do agente. Cientistas de dados e engenheiros de ML não têm infraestrutura gerenciada para streaming bidirecional, tornando necessário criar implementações personalizadas do WebSocket e gerenciar protocolos de streaming. As equipes passam semanas desenvolvendo e mantendo essa infraestrutura, em vez de se concentrarem na precisão do modelo e nas capacidades dos agentes. Com o streaming bidirecional no Amazon SageMaker AI Inference, você pode implantar modelos de fala para texto invocando seu endpoint com a nova API Bidirectional Stream. O cliente abre uma conexão HTTP2 com o tempo de execução do SageMaker AI, e o SageMaker AI cria automaticamente uma conexão WebSocket com seu contêiner. Isso pode processar quadros de áudio de streaming e retornar transcrições parciais à medida que são produzidas. Qualquer contêiner que implemente um manipulador WebSocket seguindo o contrato do SageMaker AI funciona automaticamente, com modelos de fala em tempo real, como o Deepgram, funcionando sem modificações. Isso elimina meses de desenvolvimento de infraestrutura, permitindo que você implante agentes de voz com transcrição contínua enquanto concentra seu tempo na melhoria do desempenho do modelo.
O streaming bidirecional está disponível nas seguintes regiões da AWS: Canadá (Central), América do Sul (São Paulo), África (Cidade do Cabo), Europa (Paris), Ásia-Pacífico (Hyderabad), Ásia-Pacífico (Jacarta), Israel (Tel Aviv), Europa (Zurique), Ásia-Pacífico (Tóquio), AWS GovCloud EUA (Oeste), AWS GovCloud EUA (Leste), Ásia-Pacífico (Mumbai), Oriente Médio (Bahrein), Oeste dos EUA (Oregon), China (Ningxia), Oeste dos EUA (Norte da Califórnia), Ásia-Pacífico (Sydney), Europa (Londres), Ásia-Pacífico (Seul), Leste dos EUA (Norte da Virgínia), Ásia-Pacífico (Hong Kong), Leste dos EUA (Ohio), China (Pequim), Europa (Estocolmo), Europa (Irlanda), Oriente Médio (Emirados Árabes Unidos), Ásia-Pacífico (Osaka), Ásia-Pacífico (Melbourne), Europa (Espanha), Europa (Frankfurt), Europa (Milão), Ásia-Pacífico (Singapura).
Para saber mais, visite o blog de notícias da AWS aqui e a documentação do SageMaker AI aqui.