機械学習の知識ゼロでもテキストデータを分析。Amazon Comprehend をグラレコで解説

2021-07-05

AWS グラレコ解説

Author : 安田茂樹

はてブ »

※ 本連載では、様々な AWS サービスをグラフィックレコーディングで紹介する awsgeek.com を、日本語に翻訳し、図の解説をしていきます。awsgeek.com は Amazon Web Services, Inc. プリンシパル・テクニカル・エバンジェリスト、ジェリー・ハーグローブが運営しているサイトです。

これまでのグラレコ解説はこちら »

Amazon Comprehendとは

AWS では、機械学習の知識が無い方でも簡単にテキストデータを分析できる Amazon Comprehend というフルマネージド型の自然言語処理 (NLP) サービスを提供しています。

Amazon Comprehend を使うことで、これまで人の目でチェックして分析する必要があった膨大なテキストデータ (例 : アンケートの回答データ / 製品購入者のレビュー / SNSの書き込み) などを自動的に分析し、知見を得ることができます。
Amazon Comprehend で分析可能な項目の例としては、以下のようなものがあります。

コメントが肯定的 (ポジティブ) なのか否定的 (ネガティブ) なのか、中立的 (ニュートラル) なのか、あるいは肯定と否定の両方の感情が入り混じったコメントなのか
特定の組織名、人名、地名、日時などが言及されているか
コメントの中で重要な語句 (キーフレーズ) はどれなのか

このような分析を Amazon Comprehend で行うことで、人間が行う作業を減らし、業務の負担軽減につなげることができます。

それでは、Amazon Comprehend が持つ主な機能について具体的に見ていきましょう。

Amazon Comprehend の主な機能について

Amazon Comprehend の主な機能としては、図に示す機能が挙げられます。
これらの機能は API を呼び出すことで利用可能です (※一部の機能は AWS マネジメントコンソール上からも利用可能)。

それぞれの機能について説明します。

構文解析 (英語のみ対応)

テキストデータを分析し、全単語を品詞別 (名詞 / 固有名詞 / 動詞 / 形容詞 / 前置詞など) に分類します。

キーフレーズ検出 (日本語を含む全ての対応言語で利用可能)

テキストデータから、重要と思われる語句 (キーフレーズ) を自動的に検出する機能です。

言語の検出 (日本語を含む 104 言語に対応)

テキストデータを分析し、使用されている言語を検出します。複数の言語が使用されている場合は、主要な言語を検出します。

感情分析 (日本語を含む全ての対応言語で利用可能)

文章の書き手の感情を分析し、肯定的 (positive)、否定的 (negative)、中立的 (neutral)、または入り混じった感情 (mixed) のいずれかを判定します。
この機能の用途の例としては、製品の購入者による感想 (レビュー) や SNS の書き込みを大量に分析し、否定的 (negative) と判定されたものだけを抽出して人間のスタッフが目視で確認することで、スタッフの作業時間の短縮につなげることができます。

エンティティ検出 (日本語を含む全ての対応言語で利用可能)

テキストデータから、人名 / 地名 / 日時 / 数量といった固有の要素 (エンティティ) を検出することができます。

なお、上記全ての機能において、分析結果の信頼性 (Confidence) がどれだけ高いかを示すスコアが表示されます。

また、この図には描かれていませんが、その他の機能として、以下の機能も利用可能です (2021 年 6 月現在)。

PII	テキストデータから個人を特定できる情報 (PII) を識別する機能。PII が記載されている箇所を特定し、墨消し処理を行ったり、PIIを含むドキュメントをラベル付けしたりできる。英語のみ対応
Comprehend Custom	AutoML (自動化された機械学習) を利用してカスタマイズされた NLP モデルを自動で構築する機能。「カスタム分類」と「カスタムエンティティの認識」機能が利用可能。英語、ドイツ語、スペイン語、フランス語、イタリア語、ポルトガル語のみ対応
Amazon Comprehend Medical	医療情報を含むテキストデータを分析する医療業界向け機能。英語のみ対応
Amazon Comprehend Events	企業データなど投資情報を含むテキストデータを分析する金融業界向け機能。英語のみ対応

※上記の利用可能な機能および対応言語は、2021 年 6 月現在のものとなります。最新の情報はこちらでご確認ください。

ドキュメントの処理方法について

Amazon Comprehend では、分析対象のテキストデータを含むドキュメントを、以下の 3 通りの方法で処理できます。

単一ドキュメント処理 : 1 つのドキュメントを処理します。同期処理となります。
複数ドキュメントの同期処理 : 最大 25 件のドキュメントを処理します。同期処理となります。
非同期バッチ処理 : 1 つまたは複数のドキュメントを Amazon S3 バケットに配置し、非同期オペレーションでドキュメントを分析します。分析結果は S3 バケットに返されます。大きなサイズのドキュメントを処理する場合や、大量にある複数ドキュメントの処理に向いています。

非同期バッチ処理の流れは、図のようになります。

トピックモデリングについて

Amazon Comprehend では、複数のドキュメントファイル (最善の結果を得るためには、最低 1000 件以上のドキュメントファイル) をまとめて分析し、

トピック (話題) を検出し、トピック一覧を作成
トピックに従い、ドキュメントファイルをグループ分け

できる「トピックモデリング」という機能があります。用途としては、たとえば大量のニュース記事からトピックを検出し、記事をトピックごとにグループ分けすることができます。

トピックモデリング機能を実行すると、topic-terms.csv および doc-topics.csv という 2 つのファイルが出力されます。

topic-terms.csv には、ドキュメントファイル一式から検出されたトピック一覧、および各トピックに属する単語一覧と各単語の重みが出力されます。
doc-topics.csv には、各ドキュメントに含まれるトピック一覧および各トピックの重みが出力されます。各ドキュメントにおいて、重みが一番大きいトピックが、そのドキュメントにおける主要トピックとなります。

料金について

Amazon Comprehend の料金体系は、処理するテキスト量に応じた完全従量制の料金となっており、半角 100 文字 (全角 50 文字) = 1 ユニットとしてユニット単位で課金されます。なお、リクエスト毎に、最低料金として 3 ユニットが課金されます。
また、月間累計ユニット数が多くなるほど、単価が安くなります。

料金の詳細に関しましてはこちらをご確認ください。

データプライバシーについて

AWS では、AWS のサービス条件に従い、Amazon Comprehend (※Amazon Comprehend Medical を除く) を含む AWS が提供する特定の AI サービスにおいて、適切な AI サービスを維持し提供するために (AI サービスの開発および機能向上を含む)、また AWS および関連会社の機械学習および人工知能技術を開発し向上させるために、各 AI サービスが処理した AI コンテンツを使用し、保存する場合があります。

また、開発および機能向上に関係する場合のみ、AWS では、お客様が AI サービスを利用している AWS リージョンとは別の AWS リージョンに、上記 AI コンテンツを保存する場合があります。

これらを希望されない場合は、AWS Organizations を使用して「AI サービスオプトアウトポリシー」を設定することにより、AI サービスが処理した AI コンテンツを AWS またはその関連会社のサービスまたは技術の開発と向上のため使用・保存しないよう AWS へ指示することができます。AI サービスオプトアウトポリシーの設定方法に関しましては、こちらをご参照ください。

最後に、全体の図を見てみましょう。