Amazon SageMaker AI Inference รองรับการสตรีมแบบสองทิศทางแล้ว
Amazon SageMaker AI Inference รองรับการสตรีมแบบสองทิศทางสำหรับการถอดเสียงคำพูดเป็นข้อความแบบเรียลไทม์แล้ว ทำให้ประมวลผลคำพูดอย่างต่อเนื่องแทนการป้อนข้อมูลแบบแบทช์ได้ ตอนนี้โมเดลสามารถรับสตรีมเสียงและแสดงข้อความถอดเสียงบางส่วนได้พร้อมกันในขณะที่ผู้ใช้พูด ทำให้คุณสามารถสร้าง Agent ดูแลผ่านเสียงที่ประมวลผลคำพูดโดยมีความหน่วงน้อยที่สุดได้
เมื่อลูกค้าสร้าง Agent ดูแลผ่านเสียงด้วย AI โดย Agent เหล่านี้ย่อมต้องใช้การถอดเสียงคำพูดแบบเรียลไทม์เพื่อลดความล่าช้าระหว่างการพูดของผู้ใช้และการตอบสนองของเจ้าหน้าที่ นักวิทยาศาสตร์ข้อมูลและวิศวกรของ ML ขาดโครงสร้างพื้นฐานที่มีการจัดการสำหรับการสตรีมแบบสองทิศทางทำให้จำเป็นต้องสร้างการใช้งาน WebSocket แบบกำหนดเองและจัดการโปรโตคอลสตรีมมิ่ง ทีมใช้เวลาหลายสัปดาห์ในการพัฒนาและบำรุงรักษาโครงสร้างพื้นฐานนี้แทนที่จะมุ่งเน้นไปที่ความแม่นยำของโมเดลและความสามารถของ Agent เมื่อมีการสตรีมแบบสองทิศทางบน Amazon SageMaker AI Inference คุณก็สามารถปรับใช้โมเดลเปลี่ยนคำพูดเป็นข้อความได้โดยเรียกใช้ตำแหน่งข้อมูลของคุณด้วย Bidirectional Stream API แบบใหม่ ไคลเอ็นต์จะเปิดการเชื่อมต่อ HTTP2 กับรันไทม์ SageMaker AI และ SageMaker AI จะสร้างการเชื่อมต่อ WebSocket กับคอนเทนเนอร์ของคุณโดยอัตโนมัติ วิธีนี้สามารถประมวลผลเฟรมเสียงที่สตรีมมิ่งและแสดงข้อความถอดเสียงบางส่วนได้ในขณะที่ข้อความเหล่านั้นกำลังถูกสร้างขึ้น คอนเทนเนอร์ใดๆ ที่ใช้ตัวควบคุม WebSocket ตามสัญญา SageMaker AI จะทำงานโดยอัตโนมัติด้วยโมเดลการพูดแบบเรียลไทม์ เช่น Deepgram ที่ทำงานโดยไม่ต้องปรับเปลี่ยน วิธีนี้ช่วยให้ไม่ต้องเสียเวลาหลายเดือนไปกับการพัฒนาโครงสร้างพื้นฐาน ทำให้คุณสามารถปรับใช้ Agent ดูแลผ่านเสียงด้วยการถอดเสียงแบบต่อเนื่องได้ในขณะที่หันไปใช้เวลาของคุณในการปรับปรุงประสิทธิภาพของโมเดล
สตรีมแบบสองทิศทางมีให้บริการใน AWS Region ดังต่อไปนี้ แคนาดา (ภาคกลาง), อเมริกาใต้ (เซาเปาลู), แอฟริกา (เคปทาวน์), ยุโรป (ปารีส), เอเชียแปซิฟิก (ไฮเดอราบัด), เอเชียแปซิฟิก (จาการ์ตา), อิสราเอล (เทลอาวีฟ), ยุโรป (ซูริก), เอเชียแปซิฟิก (โตเกียว), AWS GovCloud สหรัฐฯ (ฝั่งตะวันตก), AWS GovCloud สหรัฐฯ (ฝั่งตะวันออก), เอเชียแปซิฟิก (มุมไบ), ตะวันออกกลาง (บาห์เรน), สหรัฐอเมริกาฝั่งตะวันตก (ออริกอน), จีน (หนิงเซี่ย), สหรัฐอเมริกาฝั่งตะวันตก (แคลิฟอร์เนียเหนือ), เอเชียแปซิฟิก (ซิดนีย์), ยุโรป (ลอนดอน), เอเชียแปซิฟิก (โซล), สหรัฐอเมริกาฝั่งตะวันออก (เวอร์จิเนียฝั่งเหนือ), เอเชียแปซิฟิก (ฮ่องกง), สหรัฐอเมริกาฝั่งตะวันออก (โอไฮโอ), จีน (ปักกิ่ง), ยุโรป (สตอกโฮล์ม), ยุโรป (ไอร์แลนด์), ตะวันออกกลาง (UAE), เอเชียแปซิฟิก (โอซากะ), เอเชียแปซิฟิก (เมลเบิร์น), ยุโรป (สเปน), ยุโรป (แฟรงก์เฟิร์ต), ยุโรป (มิลาน), เอเชียแปซิฟิก (สิงคโปร์)
หากต้องการเรียนรู้เพิ่มเติม โปรดไปที่บล็อกข่าว AWS ที่นี่ และเอกสาร SageMaker AI ที่นี่