基于 Comprehend 实现视频弹幕评论分析
利用 Lambda 从网络视频中抓取弹幕信息,然后利用 Comprehend 对弹幕文本进行分析,最后利用 Elasticsearch 对分析的数据进行可视化展现。
a. 浏览器打开 Amazon Comprehend 产品首页 点击登入控制台
b. 搜索 ‘comprehend’ 进入控制台,点击 ‘Launch Amazon Comprehend’
c. 拷贝一些文本到 ‘Input text’ 文本输入框
d. 点击 ‘Analyze’ 按钮
e. 查看相应功能的分析输出结果,理解 Comprehend 基本的功能。
a. 浏览器打开 Amazon Cloud9 页面 ,点击 ‘Create environment’ 按钮
b. 创建 Cloud9 IDE 环境
c. 选择实例类型 t2.micro
d. 选择 ‘Upload Files’
e. 了解 Comprehend API 的使用。请根据实际环境修改 aws_access_key_id、aws_secret_access_key、region_name、Elasticsearch 的 host 相关信息
f. 部署 Demo 应用,可以利用 sam deploy –guided 命令直接部署
a. 登入 Elasticsearch 服务控制台,点击 ‘创建新域’
b. 选择 ‘开发和测试’
c. 填写 Elasticsearch 域名
d. 设置访问策略
[注意]作为Demo这里选择了公有访问权限,对于实际生产环境不推荐!
e. 将 Elasticsearch 的终端节点地址更新到 lambda 代码中。Kibana 地址后期可以在数据可视化时访问
a. 打开 lambda 控制台,点击 ‘创建函数’
b. 运行时环境选择 Python3.7
c. 选择从 S3 上传文件,并填写您用于保存 lambda 代码的 S3 URL,也可以选择直接从本地上传
d. 修改内存配置和超时配置
e. 修改访问 Comprehend 的 assess key 和 host 等相关信息
f. 修改 ElasticSearch 的 endpoint url
a. 可以直接通过点击 lambda 控制台上的‘测试’按钮测试。
从产品架构上来说,实际生产系统应该通过 API GW 调用 lambda
b. 查看 lambda 控制台测试结果
c. 通过 API GW 测试 lambda(可选),点击 ‘添加触发器’
d. 选择 API GW 并如下配置,点击 ‘添加’
e. 点击 API GW 链接地址
f. 点击测试,选择 'GET' 测试方法
g. 点击 ‘测试’ 查看测试结果
a. 点击 Kibana 链接 URL
b. 选择管理图标
c. 创建 index
d. 创建可视化
e. 选择 Tag Cloud
f. 选择数据源 text.keyword
a. 后续可以按需创建更多类型的数据可视化
通过本视频客户将学习到如何利用 lambda 调用 comprehend API 发现文本中的见解和联系,而不需要具备太多的机器学习经验。同时借助 elasticsearch 可以非常方便的将分析数据进行可视化。
如您所见在 lambda 中使用 comprehend 是十分容易的,现在您就可以尝试利用我们提供的 demo 感受一下 comprehend 自然语言处理的强大功能。另外,comprehend 也可以和 transcribe 等多种 AWS 机器学习服务结合使用。