基于 Comprehend 实现视频弹幕评论分析

利用 Lambda 从网络视频中抓取弹幕信息,然后利用 Comprehend 对弹幕文本进行分析,最后利用 Elasticsearch 对分析的数据进行可视化展现。

管理 AWS 资源

登录控制台

观看视频开始学习:


a. 浏览器打开 Amazon Comprehend 产品首页 点击登入控制台

(单击以缩放)


b. 搜索 ‘comprehend’ 进入控制台,点击 ‘Launch Amazon Comprehend’

(单击以缩放)


c. 拷贝一些文本到 ‘Input text’ 文本输入框

(单击以缩放)


d. 点击 ‘Analyze’ 按钮

(单击以缩放)


e. 查看相应功能的分析输出结果,理解 Comprehend 基本的功能。

(单击以缩放)


a. 浏览器打开 Amazon Cloud9 页面 ,点击 ‘Create environment’ 按钮

(单击以缩放)


b. 创建 Cloud9 IDE 环境

(单击以缩放)


c. 选择实例类型 t2.micro

(单击以缩放)


d. 选择 ‘Upload Files’

(单击以缩放)


e. 了解 Comprehend API 的使用。请根据实际环境修改 aws_access_key_id、aws_secret_access_key、region_name、Elasticsearch 的 host 相关信息

(单击以缩放)


f. 部署 Demo 应用,可以利用 sam deploy –guided 命令直接部署

(单击以缩放)

(单击以缩放)


a. 登入 Elasticsearch 服务控制台,点击 ‘创建新域’

(单击以缩放)


b. 选择 ‘开发和测试’

(单击以缩放)


c. 填写 Elasticsearch 域名

(单击以缩放)


d. 设置访问策略

[注意]作为Demo这里选择了公有访问权限,对于实际生产环境不推荐!

(单击以缩放)


e. 将 Elasticsearch 的终端节点地址更新到 lambda 代码中。Kibana 地址后期可以在数据可视化时访问

(单击以缩放)


a. 打开 lambda 控制台,点击 ‘创建函数’

(单击以缩放)


b. 运行时环境选择 Python3.7

(单击以缩放)


c. 选择从 S3 上传文件,并填写您用于保存 lambda 代码的 S3 URL,也可以选择直接从本地上传

(单击以缩放)


d. 修改内存配置和超时配置

(单击以缩放)


e. 修改访问 Comprehend 的 assess key 和 host 等相关信息

(单击以缩放)


f. 修改 ElasticSearch 的 endpoint url

(单击以缩放)


a. 可以直接通过点击 lambda 控制台上的‘测试’按钮测试。
从产品架构上来说,实际生产系统应该通过 API GW 调用 lambda

(单击以缩放)


b. 查看 lambda 控制台测试结果

(单击以缩放)


c. 通过 API GW 测试 lambda(可选),点击 ‘添加触发器’

(单击以缩放)


d. 选择 API GW 并如下配置,点击 ‘添加’

(单击以缩放)


e. 点击 API GW 链接地址

(单击以缩放)


f. 点击测试,选择 'GET' 测试方法

(单击以缩放)


g. 点击 ‘测试’ 查看测试结果

(单击以缩放)


a. 点击 Kibana 链接 URL

(单击以缩放)


b. 选择管理图标

(单击以缩放)


c. 创建 index

(单击以缩放)


d. 创建可视化

(单击以缩放)


e. 选择 Tag Cloud

(单击以缩放)


f. 选择数据源 text.keyword

(单击以缩放)

(单击以缩放)


a. 后续可以按需创建更多类型的数据可视化

(单击以缩放)

通过本视频客户将学习到如何利用 lambda 调用 comprehend API 发现文本中的见解和联系,而不需要具备太多的机器学习经验。同时借助 elasticsearch 可以非常方便的将分析数据进行可视化。

如您所见在 lambda 中使用 comprehend 是十分容易的,现在您就可以尝试利用我们提供的 demo 感受一下 comprehend 自然语言处理的强大功能。另外,comprehend 也可以和 transcribe 等多种 AWS 机器学习服务结合使用。