投稿日: Nov 9, 2023
Amazon Comprehend は、テキストベースのコンテンツのトラスト & セーフティに関する新機能をリリースしました。Amazon Comprehend は、事前トレーニング済み API およびカスタム API を使用してテキストからインサイトを取得できる自然言語処理 (NLP) サービスです。新しい有害性検出機能と迅速な安全性分類機能により、ガードレールを適用してユーザーや機械が生成したコンテンツをモデレートできるようになりました。
昨今、企業や団体は、生成系 AI アプリケーションが生成するコンテンツと、オンラインユーザーがチャット、コメント、フォーラムディスカッションで作成するコンテンツの両方を管理する必要があります。悪意のあるユーザーは、有害な言葉や機密データを含むコンテンツを作成したり、生成系 AI モデルに生成させたりすることがあります。ユーザーの安全を確保するために、このようなコンテンツを迅速かつインテリジェントにモデレートする必要があります。本日より、Comprehend の有害性検出機能および迅速な安全性分類機能を使用して、テキストベースのコンテンツを応答性が高く、スケーラブルで、費用対効果の高い方法でモデレートできるようになります。
有害性検出は、テキストをセクシャルハラスメント、ヘイトスピーチ、脅迫、虐待、冒涜、侮辱、グラフィックの 7 つのカテゴリに分類することで有害なコンテンツを識別する、NLP を活用した機能です。迅速な安全性分類は、安全でないプロンプトにフラグを付け、生成系 AI アプリケーションの不適切な使用を防ぐ機能です。どちらの API でも信頼度スコアが算出されるため、設定したしきい値を使用して不適切なコンテンツを自動的に編集したり、人間によるモデレーションワークフローを強化したりできます。
どちらの API も英語に対応しており、米国東部 (バージニア北部)、米国西部 (オレゴン)、欧州 (アイルランド)、アジアパシフィック (シドニー) の各リージョンで利用できます。これらの機能にアクセスするには AWS CLI と SDK を使用します。はじめに、Amazon Comprehend の トラスト & セーフティに関するドキュメントをご覧ください。