亚马逊AWS官方博客

Amazon Polly 推出神经文本转语音和新闻播音员语音风格

Robbie the RobotJarvis,科幻作家早已懂得,让人造角色的声音尽可能逼真是多么重要。语言是人类互动的核心,除了说话沟通,它还有助于我们表达感觉和情绪:谁能忘记《2001 太空漫游》中 HAL 9000 令人难以忘怀的最后一幕

在现实世界中,情况当然更加复杂。早在“人工智能”这个词出现前的几十年,科学家就在设计试图模仿人声的系统。1937 年,亦即在举办开创性的达特茅斯研讨会之前约 20 年,Homer Dudley 发明了声码器,这是用电子元件合成人声的首次尝试:此视频介绍了有关这台令人惊艳的设备的声音样本和额外信息。

从那时起,我们取得了长足进步! 在 AWS re:Invent 2016 大会上,我们宣布推出 Polly,这是一种将文本转换为逼真语音的托管服务,借助该服务,客户可以创建能够说话的应用程序,并构建全新类别的支持语音功能的产品。无需具备机器学习专业知识:只需调用 API 即可完成任务! 从那时起,该团队一直定期添加新语音,目前共有 29 种语言和 59 种语音

今天,我们很高兴地宣布 Polly 推出两大新功能:神经文本转语音,以及开创性的新闻播音员语音风格。

神经文本转语音 (NTTS) 功能简介
通过一种新的机器学习方法,NTTS 可以显著提高语音质量。它增加了自然性和表现力,这是合成逼真语音的两个关键因素,能使语音越来越接近人声。以下示例呈现了可预期的语音质量。

迄今为止,NTTS 支持 11 种语音,包括实时模式和批处理模式:

  • 所有 3 种英国英语语音:Amy、Emma 和 Brian。
  • 所有 8 种美国英语语音:Ivy、Joanna、Kendra、Kimberly、Salli、Joey、Justin 和 Matthew。

何不前往 AWS 控制台快速测试一下?

新闻播音员语音风格简介

语音质量当然重要,但要让合成语音听起来更逼真、更迷人,还要从其他许多方面做出努力。如何在语音风格方面下功夫? 毋庸置疑,人耳可以分辨出新闻广播、体育广播、大学课程等不同语音;事实上,大多数人会在正确的语境中采用正确的语音风格,这无疑有助于清楚表达他们的意思。

借助 NTTS,我们得以在合成语音中应用语音风格,您现在可以使用 Polly 的新闻播音员语音风格。示例如下。

无论是新闻报道还是博客文章,这一功能都会使语音听起来更加逼真,《环球邮报》等客户如今已在使用此功能。借助 Polly 和新闻播音员语音风格,他们的读者(或者现在应该称之为听众?)可以享受用优质语音读出的文章,听起来就像他们期望在电视或广播中听到的那样。结合 Amazon Translate,他们还可以收听自动翻译为他们能理解的语言的文章。

迄今为止,新闻播音员语音风格适用于两种美国英语语音(Joanna 和 Matthew),包括实时模式和批处理模式。同样,您可以前往 AWS 控制台快速测试一下,其中提供的是与上面相同的新闻播音员语音风格的语音剪辑。

使用具有 NTTS 语音和新闻播音员语音风格的 Polly API 非常简单。请允许我向您展示如何开始使用这两项功能。

使用 NTTS 语音和新闻播音员语音风格
我们不妨让 Polly 读一段文本:读一下 2006 年发布 Amazon Simple Storage Service (S3) 时的这段文本怎么样?

“Earlier today we rolled out Amazon S3, our reliable, highly scalable, and low-latency data storage service.Using SOAP and REST interfaces, developers can easily store any number of blocks of data in S3.Each block can be up to 5 GB in length, and is associated with a user-defined key and additional key-value metadata pairs.Further, each block is protected by an ACL (Access Control List) allowing the developer to keep the data private, share it for reading, or share it for reading and writing, as desired.The system was designed to provide a data availability factor of 99.99%; all data is transparently stored in multiple locations”。

我将使用批处理模式,以便在 S3 中保存声音文件并方便您取用:我明确更改了权限以使这些文件公开,但无需担心,默认情况下您自己的文件是完全私有的。

我们先来试听一下 Matthew 标准语音。

$ aws polly start-speech-synthesis-task
      --voice-id Matthew --text file://s3.txt
      --output-s3-bucket-name "jsimon-polly" --output-format mp3
      --query "SynthesisTask.TaskId"
"e3db409c-419d-4a31-a3a7-72c1e712fe23"
$ wget https://jsimon-polly.s3.amazonaws.com/e3db409c-419d-4a31-a3a7-72c1e712fe23.mp3 -O matthew-standard.mp3

Matthew,请给我们介绍一下 S3。

现在,我们听一下相同语音的 NTTS 版本:只需将“engine”参数设置为“neural”。

$ aws polly start-speech-synthesis-task
      --voice-id Matthew --engine neural --text file://s3.txt
      --output-s3-bucket-name "jsimon-polly" --output-format mp3
      --query "SynthesisTask.TaskId"
"e3902335-c1e6-450b-b6e9-f913d6d52055"
$ wget https://jsimon-polly.s3.amazonaws.com/e3902335-c1e6-450b-b6e9-f913d6d52055.mp3 -O matthew-neural.mp3

您应该即刻会注意到 NTTS 改进了语音质量。当然,Polly 已经正确识别出技术术语缩写和数字等。

现在,我们来增加一些趣味,应用新闻播音员语音风格。这要求我们使用 SSML 标记语言。我们只需附上如下文本:

<speak>
<amazon:domain name="news">
Earlier today we rolled out Amazon S3, our reliable, highly scalable, and low-latency data storage service.Using SOAP and REST interfaces, developers can easily store any number of blocks of data in S3.Each block can be up to 5 GB in length, and is associated with a user-defined key and additional key-value metadata pairs.Further, each block is protected by an ACL (Access Control List) allowing the developer to keep the data private, share it for reading, or share it for reading and writing, as desired.The system was designed to provide a data availability factor of 99.99%; all data is transparently stored in multiple locations.
</amazon:domain>
</speak>

让我们重新合成这段文本,同时确保将文本类型设置为 SSML。

$ aws polly start-speech-synthesis-task
       --voice-id Matthew --engine neural
       --text file://s3.ssml --text-type ssml
       --output-s3-bucket-name "jsimon-polly" --output-format mp3
       --query "SynthesisTask.TaskId"
"25c18bda-b32b-4485-a45f-eb9b757a513b"
$ wget https://jsimon-polly.s3.amazonaws.com/25c18bda-b32b-4485-a45f-eb9b757a513b.mp3 -O matthew-neural-newscaster.mp3

我相信您立即就能分辨出来! 这听起来不就像是新闻播报员在读这段文本吗?

如果您想了解 Joanna 语音,下面是几段内容相同的语音剪辑:标准语音、神经语音,以及新闻播音员语音风格的神经语音。



现已推出!
如您所见,这些新功能非常易于使用,现已在美国东部(弗吉尼亚北部)美国西部(俄勒冈)欧洲(爱尔兰)推出。从您首次请求转换语音(标准语音或 NTTS 语音)开始,免费套餐在前 12 个月每月为您提供 100 万个字符的 NTTS 语音。

我们期待您的反馈! 请将反馈发布到 AWS 论坛的 Polly 版块,或者将其发送给您常用的 AWS Support 联系人。

Julien