Slack の会話内容に合わせた AI 音楽レコメンドサービスをサーバーレスで実装してみた !

Amazon Comprehend は、機械学習を使用してテキストからインサイトを検出する自然言語処理 (NLP) サービスです。主な機能は下記の 5 つです。

エンティティ認識
エンティティは固有表現とも呼ばれ、固有名詞や組織、日付などを指します。これらは、文章を理解する上で特徴的なキーワードとなることがあるため、エンティティを認識して文章の理解に役立てます。

キーフレーズ抽出
修飾語と名詞からなるフレーズのうち特徴的なものをキーフレーズとして抽出します。例えば、「風景」という名詞だけでなく「美しい風景」といった名詞句を抽出します。

感情分析
テキストの全体的な感情（混在・肯定的・否定的・中立的）の度合いを分析します。

構文解析
テキストに利用される各単語の品詞を特定します。

言語検出
使用している言語を検出します。

今回は Slack の会話内容からキーフレーズを抽出し、音楽をレコメンドしたいので、キーフレーズ抽出を使用しました。Amazon Comprehend のコンソール で機能を試すことができるので、具体的にどのように使用できるのかをご紹介します。

左側のメニューの「Real-time analysis」を選択し、「Input data」中のテキストボックスに文章を入力します。

そして、出力された Insights から「Key phrases」を選択すると、こちらのように Key phrases と Confidence が表示されます。Confidence は、その単語がキーフレーズであることの信頼度を表しています。

こちらの例では、Amazon Comprehend についての説明文を入力してみました。入力した文章は Amazon Comprehend についての文章で、機械学習を使っている点が重要であるため、「Amazon Comprehend」や「機械学習」といったフレーズが抽出されており、人が判断するのと同じような結果が得られています。キーフレーズ抽出やエンティティ抽出を使った読書感想文執筆への挑戦もブログになっています。興味がある方は「テキスト解析 AI サービス Amazon Comprehend で本を読まずに読書感想文に挑戦してみる」を是非読んでみてください !

Amazon Comprehend を使うことで、機械学習モデルのトレーニングなどの機械学習に関する知識がなくても、テキスト解析を行うことが可能です。また、Amazon Comprehend の機能は簡易なコードで使用することができます。実装の説明の際に簡単なコード例をご紹介します。

2 点目のポイントに入る前に、 Amazon Comprehend の 2022 年 12 月 ~ 2023 年 9 月のアップデートを 2 つ紹介させて頂きます。

1. Amazon Comprehend が半構造化ドキュメントの処理をサポート

今まではお客様が PDF ドキュメント、Microsoft Word ファイル、画像などの半構造化ドキュメントから関心のあるエンティティを分類して抽出するためには、お客様は前処理して機械が可読なテキストに変換する必要があり、文書コンテキストの品質が低下してしまう可能性がありました。

このアップデートによってお客様は 1 回の API 呼び出しで、スキャンされた文書や半構造化ドキュメントとプレーンテキスト文書の両方を処理できるようになり、前処理の手間を省くことができます。お客様はこの新機能を使用して、バッチ処理やリアルタイムでの文書処理を簡素化できます。詳細は こちら をご参照ください。

2. Amazon Comprehend を使用して画像と Textract JSON ファイルからカスタムエンティティを抽出

Amazon Comprehend は、テキスト、PDF ドキュメント、Microsoft Word ファイル に加えて画像形式のドキュメントもサポートするようになりました。

お客様は Amazon Comprehend カスタムエンティティ認識を使用して画像ファイル (JPG, PNG, TIFF) からエンティティを抽出できるようになりました。また、Amazon Comprehend を Amazon Textract JSON 出力で直接使用してドキュメントからカスタムエンティティを抽出することもできます。詳細は こちら をご参照ください。

ここからは冒頭で紹介したもう 1 つのポイントである、サーバーレスで構成した点についてお話しします。

今回のサービスのアーキテクチャは以下のように構成しました。サーバーレスな AWS サービスである AWS Lambda や Amazon DynamoDB を使用しています。

サーバーレスサービスを用いることで、インフラを意識せずに開発や運用が可能です。Amazon EventBridge のルールで定期実行をスケジュールするだけで、指定の時間に Lambda 関数が実行されるため、コードがどのようなリソース上で動くかについて考える必要がありません。また、コンピューティング料金が実行された時間分で従量課金されるところも利点です。週末やチームの出社日、長時間のミーティングがある日など、こちらのサービスを使わない時間帯には料金が発生しないのは魅力的です。

上記のアーキテクチャの内容を以下の 3 つに分けてご説明します。

1. プレイリスト登録

2. 会話内容からキーフレーズを抽出

3. キーフレーズから楽曲検索

前提として、今回のサービスでは外部の音楽ストリーミングサービスを使用しています。 Slack のチャンネルにて Slack コマンドを打つと、音楽のプレイリストが作成され、コマンドの実行されたチャンネルとプレイリストの ID を紐づけます。レコメンドされた曲が随時そのプレイリスト上に追加される形でプレイリストが更新され、ユーザーは追加の作業を行うことなくレコメンドされた音楽を再生し続けることができます。

まずは、レコメンドされた曲が追加されるプレイリストを登録します。/register と Slack コマンドを打つと、コマンドを打った Slack チャンネル専用のプレイリストが作られるように実装していきます。

Slack の開発者用ツールでアプリを作成し、Slack上のイベントが発生した際に Amazon API Gateway のエンドポイント宛に HTTP POST リクエストが送られるように設定します。すると投稿のイベントが発生した際、API Gateway 経由で Lambda 関数 がトリガーされます。こちらの Lambda 関数では、Slack チャンネルで /register のコマンドが送信された際に、DynamoDB に Slack の Channel ID と プレイリスト ID を保存します。

Slack に投稿されたメッセージを一定時間分取得し、メッセージから、 Amazon Comprehend でキーフレーズを 3 つ抽出します。

こちらの Lambda 関数は EventBridge のルールでスケジュールされ、定期的に実行されます。3. で紹介する楽曲検索の際に楽曲の再生時間の情報を取得し、それに合わせてルールを変更することで、必要なタイミングのみで曲を変更します。スケジュールに従って実行する EventBridge ルールについては こちら をご覧ください。

会話内容からのキーフレーズ抽出に関しては、前半でご紹介した Amazon Comprehend のキーフレーズ抽出の機能を用います。

以下に示すように、実装は非常に簡単に行えます。引数として text (今回は Slack の会話内容) と language_code ( 日本語の場合は ‘ja’ ) を与えると、キーフレーズのリストの含まれた JSON データを受け取ることができます。

def detect_key_phraes(text, language_code):
    comprehend = boto3.client('comprehend')
    response = comprehend.detect_key_phrases(Text = text, LanguageCode = language_code)

抽出した 3 つのキーフレーズを用いて、楽曲を検索し、プレイリストに追加します。

今回使用している音楽検索 API は、曲名以外のメタデータに対しても検索を行うことができるため、必ずしもキーフレーズが曲名に含まれている必要はありません。

アーキテクチャと実装についての解説は以上になります。

それではこれから使ってみましょう !

まず、「Sorry ページ用の猫の画像についての会話」を Slack 上で行い、曲の提案をしてもらいます。

上記の会話で抽出されたキーフレーズは「スコティッシュフォールドの画像」「ユーザーの不快感」「効果」でした。レコメンドされた音楽は、立ち耳スコティッシュフォールドというアーティストの、「昔の写真」という楽曲でした。

Slack チャンネル内の会話との関連が分かる音楽がレコメンドされていますし、もしこの音楽がレコメンドされれば、チーム内の話題にもなることが想像できます。

次に、英語でも試してみましょう。「夏フェスの音楽と会場レイアウトのミーティング準備についての会話」を行います。

上記の会話で抽出されたキーフレーズは “the festival” , “the way” , “the audio team” の 3 つになり、提案された曲は NONA REEVES というアーティストの “FESTIVAL“ という楽曲でした。

「夏フェスの音楽と会場レイアウトのミーティング準備についての会話」から、“FESTIVAL” を提案されたというのは、会話内容に合った音楽をレコメンドすることができたと言えるのではないでしょうか。