发布于: Nov 9, 2023
Amazon Comprehend 宣布推出新功能，以帮助组织增强对基于文本的内容的信任和安全性。Amazon Comprehend 是一项自然语言处理 (NLP) 服务，用于提供预训练和自定义的 API，以从文本中获取见解。借助新的毒性检测和提示安全性分类功能，客户现在可以使用防护机制来审核用户和机器生成的内容。
如今，组织需要管理生成式人工智能应用程序和在线用户在聊天、评论和参与论坛讨论时生成的内容。不怀好意的用户可以生成内容或提示生成式人工智能模型创建包含恶毒语言和敏感数据的内容。为了帮助确保用户的安全，组织需要快速、智能地审核这些内容。即日起，组织可以使用 Comprehend 的毒性检测和提示安全性分类功能，以响应迅速、可扩展且经济高效的方式审核基于文本的内容。
毒性检测是一项由自然语言处理驱动的功能，可通过将文本分为七个类别来识别有毒内容，包括性骚扰、仇恨言论、威胁、虐待、亵渎、侮辱和逼真的内容。提示安全性分类器会标记不安全的提示，以防止不当使用生成式人工智能应用程序。这两个 API 都提供了置信度分数，可用于根据设定的阈值自动编辑不当内容，或增强人工审核工作流程。
两个 API 都支持英语，并且可在美国东部（弗吉尼亚州北部）、美国西部（俄勒冈州）、欧洲地区（爱尔兰）和亚太地区（悉尼）区域使用。客户可以通过 AWS CLI 和软件开发工具包来使用这些功能。要开始使用，请访问 Amazon Comprehend 信任与安全文档。