Amazon SageMaker AI Inference sekarang mendukung streaming dua arah
Amazon SageMaker AI Inference kini mendukung streaming dua arah untuk transkripsi ucapan ke teks secara real-time, yang memungkinkan pemrosesan ucapan berkelanjutan, bukan input batch. Model sekarang dapat menerima aliran audio dan mengembalikan transkrip parsial secara bersamaan saat pengguna berbicara, memungkinkan Anda membangun agen suara yang memproses ucapan dengan latensi minimal.
Saat pelanggan membangun agen suara AI, mereka memerlukan transkripsi ucapan real-time untuk meminimalkan penundaan antara ucapan pengguna dan respons agen. Ilmuwan data dan insinyur ML tidak memiliki infrastruktur terkelola untuk streaming dua arah, sehingga perlu membangun implementasi WebSocket khusus dan mengelola protokol streaming. Tim menghabiskan waktu berminggu-minggu untuk mengembangkan dan memelihara infrastruktur ini daripada berfokus pada akurasi model dan kemampuan agen. Dengan streaming dua arah pada Amazon SageMaker AI Inference, Anda dapat menyebarkan model ucapan ke teks dengan memanggil titik akhir Anda dengan Bidirectional Stream API yang baru. Klien membuka koneksi HTTP2 ke runtime SageMaker AI, dan SageMaker AI secara otomatis membuat koneksi WebSocket ke kontainer Anda. Ini dapat memproses bingkai audio streaming dan mengembalikan transkrip parsial sebagaimana diproduksi. Setiap kontainer yang mengimplementasikan pengendali WebSocket yang mengikuti kontrak SageMaker AI bekerja secara otomatis, dengan model ucapan real-time seperti Deepgram yang berjalan tanpa modifikasi. Hal ini menghilangkan waktu pengembangan infrastruktur selama berbulan-bulan, sehingga Anda dapat menyebarkan agen suara dengan transkripsi berkelanjutan sekaligus memfokuskan waktu Anda untuk meningkatkan kinerja model.
Streaming dwiarah tersedia di AWS Region berikut - Kanada (Pusat), Amerika Selatan (Sao Paulo), Afrika (Cape Town), Eropa (Paris), Asia Pasifik (Hyderabad), Asia Pasifik (Jakarta), Israel (Tel Aviv), Eropa (Zürich), Asia Pasifik (Tokyo), AWS GovCloud AS (Barat), AWS GovCloud AS (Timur), Asia Pasifik (Mumbai), Timur Tengah (Bahrain), AS Barat (Oregon), Tiongkok (Ningxia), AS Barat (California Utara), Asia Pasifik (Sydney), Eropa (London), Asia Pasifik (Seoul), AS Timur (Virginia Utara), Asia Pasifik (Hong Kong), AS Timur (Ohio), Tiongkok (Beijing), Eropa (Stockholm), Eropa (Irlandia), Timur Tengah (UEA), Asia Pasifik (Osaka), Asia Pasifik (Melbourne), Eropa (Spanyol), Eropa (Frankfurt), Eropa (Milan), Asia Pasifik (Singapura).
Untuk mempelajari lebih lanjut, kunjungi Blog Berita AWS di sini dan dokumentasi SageMaker AI di sini.