使用 Amazon Comprehend 和 Amazon Relational Database Service 构建文本分析解决方案

重要说明 – 何时不应使用此模式：该模式不适用于具有高速率插入调用（每秒插入的行数超过几十行）的工作负载。我们仅推荐将其用于临时操作，因为这些触发器不是异步的。在 insert 语句后面放置一个 Lambda 函数调用即可为每个此类语句增加几十毫秒的时间。对于高流量的数据源，您应该使用 poll-aggregate-push 方法从主 insert 写入路径中删除 Lambda 调用。

架构

下图显示了我们将在本博客中设置的流程：

图中的箭头显示了以下步骤：

1. 连接到 phpMyAdmin，这是一个基于 Web 的 MySQL 管理工具。
   重要说明：为了便于读者使用，我们使用 phpMyAdmin。如果您未在 Apache 中启用 SSL/TLS，我们不建议使用 phpMyAdmin。否则，您的数据库管理员密码和其他数据会不安全地在互联网上进行传输。
2. 将新记录插入 Aurora MySQL 数据库。
3. 设置为在 INSERT 上触发的触发器会调用 Lambda 函数。
4. Lambda 函数调用 Amazon Comprehend 来确定文本的舆情。
5. 舆情将与表中的行一起存储。

立即设置

在 AWS 管理控制台中，启动 CloudFormation 模板。

注意：不要忘记选择密钥对（您的名称会有所不同）。 另外请记下数据库密码。

等到脚本结束。通常大约需要 15 分钟来完成整个堆栈的设置。假设密钥对路径正确无误，AWS CloudFormation 脚本的输出将显示 SSH 命令应有的形式：

设置数据库配置

设置端口转发，以便命中本地 http 端口并通过 SSH 进行连接。

有关更多详情，您可以单击此处：

https://aws.amazon.com/premiumsupport/knowledge-center/connect-ec2-linux-windows/

1. 设置端口转发后，连接到 phpMyAdmin：
   http://localhost:8080/phpMyAdmin/
2. 接下来，登录到 phpMyAdmin。从 CloudFormation 脚本配置中使用数据库用户名/密码：
   
3. 在顶部导航窗口中选择 SQL：
   
4. 现在让我们来创建审核表。粘贴以下内容并选择“Go”（开始）：

   CREATE TABLE comprehend_demo.ReviewInfo(
   ReviewId NUMERIC PRIMARY KEY ,
   ReviewText TEXT NOT NULL ,
   sentiment VARCHAR( 30 ) NOT NULL
   )
   

   这用于在我们的关系数据库中展示审核信息，但它可以是需要在其上执行 NLP 的其他文本字段。

5. 现在我们将创建触发器，在新数据传入时调用存储过程。再次选择顶部的 SQL，粘贴以下内容并选择“Go”（开始）：

   DROP TRIGGER IF EXISTS comprehend_demo.TR_Lambda;
   DELIMITER ;;
   CREATE TRIGGER comprehend_demo.TR_Lambda
     AFTER INSERT ON comprehend_demo.ReviewInfo
     FOR EACH ROW
   BEGIN
     SELECT  NEW.ReviewId , NEW.ReviewText
     INTO @ReviewId , @ReviewText;
   
     CALL  Aurora_To_Lambda(@ReviewId , @ReviewText);
       
   END
   ;;
   DELIMITER ;

6. 最后，我们将创建存储过程。请务必替换后面的 Lambda 函数名称：
   注意：您可以在 CloudFormation 脚本的 OUTPUT 中找到 Lambda ARN。它就是标记为“ComprehendLambdaArn”的输出。
   

   DROP PROCEDURE IF EXISTS comprehend_demo.Aurora_To_Lambda;
   DELIMITER ;;
   CREATE PROCEDURE comprehend_demo.Aurora_To_Lambda (IN ReviewId NUMERIC, IN ReviewText TEXT) LANGUAGE SQL 
   BEGIN
     CALL mysql.lambda_async('COMPREHEND_LAMBDA_ARN', 
        CONCAT('{ "ReviewId" : "', ReviewId, 
               '", "ReviewText" : "', ReviewText,'"}')
        );
   END
   ;;
   DELIMITER ;

为集群设置 IAM

CloudFormation 脚本会自动设置数据库集群参数组中的参数，但在本练习中，我们会以手动方式将 IAM 权限附加到集群。

1. 在 RDS 控制台中转到您的集群：
   https://console.aws.amazon.com/rds/home?region=us-east-1#dbclusters
2. 选择您的集群（根据您的 CloudFormation 脚本，名称可能有所不同），并选择 Cluster actions（集群操作）下的 Manage IAM roles（管理 IAM 角色）：
   
3. 然后选择 CloudFormation 创建的 IAM 角色，并将其应用于集群：
   

测试集成

1. 返回 phpMyAdmin 窗口，再次选择 SQL 选项并粘贴入以下内容：

   insert into comprehend_demo.ReviewInfo (ReviewId, ReviewText) values (1, 'I love this integration');

   

2. 现在选择 comprehend_demo.Tables.ReviewInfo 下的表。您会注意到，我们并未输入舆情，但已经有一条舆情填充到其中。这是通过 Amazon Comprehend 自动确定的。
   

输入更多示例条目

现在在 SQL 窗口中运行以下命令。粘贴全部内容并选择“Go”（开始）：

insert into comprehend_demo.ReviewInfo (ReviewId, ReviewText) values (2, 'I ran through this blog in a hour');
insert into comprehend_demo.ReviewInfo (ReviewId, ReviewText) values (3, 'This is great');
insert into comprehend_demo.ReviewInfo (ReviewId, ReviewText) values (4, 'I had issues with VPC limits');
insert into comprehend_demo.ReviewInfo (ReviewId, ReviewText) values (5, 'This blog post is on the AI/ML blog');
insert into comprehend_demo.ReviewInfo (ReviewId, ReviewText) values (6, 'really fantastic');
insert into comprehend_demo.ReviewInfo (ReviewId, ReviewText) values (7, 'uh, not getting it');
insert into comprehend_demo.ReviewInfo (ReviewId, ReviewText) values (8, 'I hated this run through');

目前，我们已经使用 AWS Lambda 和触发器将 Amazon Comprehend 集成到我们的 Aurora 数据集中。

了解背后的原理

在本节中，我们将了解 Lambda 函数的功能。首先，您会注意到代码总共只有 16 行，包括所有的导入语句在内。

Lambda 函数从我们上面创建的存储过程内的 Aurora 数据库中调用。具体来说，以下行会导致它被调用：

  CALL mysql.lambda_async('COMPREHEND_LAMBDA_ARN', 
     CONCAT('{ "ReviewId" : "', ReviewId, 
            '", "ReviewText" : "', ReviewText,'"}')

您会注意到，此过程将获取 ID 和文本，并创建一个传递给 AWS Lambda 的简单 JSON 对象。这是一个异步调用，因为我们使用的是 lambda_async 方法而不是 lambda_sync。

注意：从 Amazon Aurora 版本 1.16 开始，存储过程 mysql.lambda_async 已弃用。如果使用 Aurora 版本 1.16 或更高版本，我们强烈建议您改用本机 Lambda 函数。有关更多信息，请参阅使用本机函数调用 Lambda 函数。

在 Lambda 中，系统会传入以下内容：

{“ReviewID”:1, “ReviewText”: “I love this integration”}

我们使用 Python 实现了 Lambda 函数，该函数使用 Boto3 库来调用 Amazon Comprehend。

仅需要这四行代码就能调用 Amazon Comprehend，在文本上执行 NLP，并提取舆情：

comprehend = boto3.client(service_name='comprehend')
jsonresponse= json.dumps(comprehend.detect_sentiment(Text=event['ReviewText'], LanguageCode='en'), sort_keys=True, indent=4)
json_object = json.loads(jsonresponse)
sentiment=json_object["Sentiment"]

该函数从 Amazon Comprehend 服务获取舆情后，该函数仅会获取信息，并将其存储回数据库。  这可以通过以下额外的几行代码来完成：

db = pymysql.connect(host=os.environ['host'],user=os.environ['user'],passwd=os.environ['password'],db=os.environ['db'], autocommit=True)
add_order = ("UPDATE ReviewInfo SET Sentiment=%s WHERE ReviewId=%s;")
db.cursor().execute(add_order, (sentiment,event['ReviewId']))

替代选项

使用触发器来调用 Lambda 不适用于超高速的插入工作负载（每秒超过十几项插入）。我们通常建议进行 AWS Lambda 集成以支持临时操作，因为触发器不是异步的。在 INSERT 语句后面放置一个 Lambda 调用即可为每个此类语句增加几十毫秒的时间。对于高流量的数据源，您或许应该使用 poll-aggregate-push 方法从主 INSERT 写入路径中删除 Lambda 调用。

清除

完成解决方案测试后，删除 CloudFormation 堆栈可使其停止计费。  只需删除 CloudFormation 堆栈即可清理在本博文中创建的所有内容。

有关如何删除 CloudFormation 堆栈的详细说明，请参阅以下说明：https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/cfn-console-delete-stack.html

请注意，在极少数情况下，如果 ENI 仍分配给 Lambda 函数并且删除超时，则 VPC 删除将失败。只需等待大约 15 分钟，然后重新删除即可。如果发生这种情况，所有会产生费用的内容也都会被删除。

费用是多少？

如果您在 us-east-1 AWS 区域运行此示例一小时，费用将低于 0.50 USD。  所利用的大部分服务实际上都属于免费套餐，但在成本最高的假设情景下，我们提供了以下计算：

结论

通过这种简单的方法，以文本形式存储的反馈可通过先进的 Amazon AI 服务自动进行翻译和/或充实。  我们演示了这种利用舆情调用的方式，但可以轻松将这种方法扩展到提取主题、关键短语、翻译和其他许多功能。

示例代码的已知限制：

目前，在创建 JSON 消息时，本博文中的存储过程无法转义字符串值中的预留字符。如果在调用中需要此功能，可以对其进行修改。

作者简介

Ben Snively 是 AWS 公共部门的一位专业解决方案架构师。他与政府机构、非营利组织和教育行业客户合作开展大数据/分析和 AI/ML 项目，帮助客户利用 AWS 构建解决方案。

Natasha Alexeeva 是一名 AWS 高级业务发展经理，专门研究人工智能和机器学习。她的专长领域包括健康和生命科学行业。 她喜欢为有兴趣探索人工智能强大功能的 AWS 客户构建 POC。