AWS Content Analysis 解决方案介绍

Original URL: https://amazonaws-china.com/cn/blogs/media/introducing-aws-content-analysis-solution/

AWS Content Analysis解决方案是一套基于内容的全自动视频搜索引擎。其使用AWS提供的AI服务执行计算机视觉与语音分析，借此量化视频内容，对视频进行分类，帮助用户根据指定的搜索条件浏览视频数据集。该解决方案还提供自动化功能，可大大减少对视频归档进行搜索分类时耗费的人力与时间。

配合这套解决方案，用户还可以通过AWS AI服务快速从内容当中提取洞见，并了解这些服务如何支持更为广泛、适用于不同领域的具体用例。

在AWS Content Analysis解决方案的支持下，用户可以轻松探索以下问题：

• Amazon Rekognition能否为我希望搜索的对象提供标签？
• Amazon Transcribe能否识别视频中的语音内容？
• Amazon Translate能否准确将视频中的语音转录为文本？

这套解决方案使用以下AWS服务处理视频素材：

• 使用 AWS Elemental MediaConvert提取缩略图与音频。
• 使用 Amazon Rekognition实现物体、名人、人脸检测、人脸搜索以及显式内容检测
• 使用 Amazon Transcribe生成转录文本。
• 使用 Amazon Translate翻译转录文本。
• 使用 Amazon Comprehend进行关键词检测及其他文字记录分析。

在将视频上传至AWS Content Analysis Web应用程序之前，用户可以选择要启用的对应AWS AI服务。

下表所示，为完整的可选服务集：

视频分析

AWS Content Analysis解决方案将上述服务生成的数据整合为交互式可视化形式，帮助用户查看所选对象的边界框、在视频时间轴中调查对象、读取自动生成的脚本、生成翻译结果等等。

使用这套解决方案，我们可以获得极高的视频收集数据保真度，并借此做出进一步详尽分析。以下图表所示，为我最喜爱的一部电影《谋杀绿脚趾》中两分钟场景的录制数据量。这段时长两分钟的剪辑共产生了约18000条数据记录——这也在一定程度上帮助我们了解到视频编目过程中的对应数据量：

AWS Content Analysis解决方案还能够处理完整的全时长影片。例如，在时长为两个小时的电影《天使爱美丽》中，总产生了652000条数据记录，具体如下图所示：

视频搜索

视频的索引与分类任务在Amazon Elasticsearch实例中进行。我们可以使用标准Elasticsearch查询语言（也称Lucene）通过GUI对视频分析结果进行搜索。本节将向大家介绍几种常见的搜索模式示例。

全文搜索

全文查询将帮助用户搜索视频目录中的任何数据。例如，Amazon Rekognition名人检测服务能够返回从完整视频中检测到的所有名人对象的姓名。您可以直接输入姓名以搜索名人出现的画面，如以下截屏所示：

搜索高置信度数据

由Amazon Rekognition返回的每个标签都对应一项置信度值，该值指示AI算法对于当前结论的确定程度。您可以使用该值对搜索结果进行过滤。例如，Violence AND Confidence:>80代表着视频中暴力判断置信度在80%或者更高的画面。

从不同操作符处搜索数据

这类搜索将查询Elasticsearch中的整个元数据目录。对Violence的搜索将匹配内容审核当中包含“Violence（暴力）”标签的视频，同时也将匹配包含暴力词汇的转录文本段落。您可以将搜索范围，限制在仅包含特定操作符名称的内容审核结果之内。例如：Operator:content_moderation AND (Name:Violence AND Confidence:>80)。

下面来看关于搜索查询过滤中全部操作符名称的完整列表：

• label_detection
• celebrity_detection
• content_moderation
• face_detection
• face_search
• transcribe
• key_phrases
• entities

跨多个操作符搜索相关概念

这类搜索的本质，在于使用多个操作符名称进行复合搜索。以(Operator:content_moderation AND Name:Violence AND Confidence:>80) OR (Operator:label_detection AND (Name:Gun OR Name:Weapon))为例，其将返回被内容审核机制标记为“Violence（暴力）”的部分，以及由标签检测机制标记为“guns（枪支）”或“weapons（武器）”的部分。

总结

AWS Content Analysis解决方案现已在全球各AWS区域上线，旨在帮助拥有大量视频素材的组织利用搜索功能检索视频内容。这套解决方案还可帮助个人使用自己的视频内容测试AWS AI服务，从而更好地理解各类服务的潜在应用场景。

关于AWS Content Analysis的更多详细信息，请参阅解决方案页面。

本篇作者