Amazon Web Services ブログ
Amazon のレビューデータでランキング学習を学んでみた – SageMaker Studio Lab
Update
2023/09/07 Amazon Review Datasetは現在公開を停止しています。実際に利用される場合は他の他のデータセットをご用意ください。
Amazon や AWS が機械学習のインフラだけでなくデータも提供していることはご存じでしょうか。実は Amazon の商品レビューデータも Amazon が一般に公開しています。またそれらのデータは多くの人に使われており、先日 NLP 若手の会にも提供させていただきました。このブログでは NLP 若手の会で使われたベースライン実装を見ながら、ランキング学習の実装方法を無料で使える Amazon Sagemaker Studio Lab で学んでいこうと思います。
はじめに
こんにちは!AWS Japan ソリューションアーキテクトの関谷侑希です。皆さんはどんなデータを使って機械学習の勉強をしていますか?
駆け出しの初心者機械学習エンジニアの方の中には、「そもそもどこにデータがあるのかわからない」「MNIST ではなくもっとリアルな生のデータを使いたい」「実用的なタスクに取り組みたい」と感じている方もいらっしゃるのではないでしょうか?
実は AWS が提供しているのはインフラだけではありません。Registry of Open Data on AWSでは様々なデータセットを公開しています。例えば COVID-19 に関連するデータや人工衛星から撮影された高解像度の画像などがあります。また Data Exchange を使えばデータの売買も可能です。さらに Amazon Customer Reviews Dataset では EC サイトの Amazon のレビューデータを使うことが出来ます。
そして実は NLP 若手の会2022 のハッカソンでもこのデータが使われました。NLP 若手の会は自然言語処理関連の若手研究者を対象とした研究シンポジウムです。
NLP 若手の会は,自然言語処理,計算言語学および関連分野の,若手研究者および技術者の学問研究および技術開発の促進をはかり,参加者の相互交流および成長の場を提供し,培われた学問研究および技術開発の成果が実社会に応用されることを奨励し,この分野の学問および産業の進歩発展に貢献することを目的として,年に1度,研究シンポジウムを開催しています.
https://yans.anlp.jp/entry/yans2022 より
NLP 若手の会2022 では研究発表だけでなく、実際に参加者が手を動かすハッカソンも行っています。今回のテーマは Amazon の商品レビューのランキングをするというものでした。仮想的なものではなく実際のデータを対象にしている点、ランキングという問題設定などからも分かる通りかなり興味深いものです。またベースラインとして、サンプルの実装があるためこのブログの読者のみなさんも体験し学んで頂くことが出来ます。webで検索してもこういった問題設定はまだそう多くなく、このサンプル実装そのものがかなり貴重な資料だと思います。
そこで、このブログでは NLP若手の会2022 で使われたデータセットとベースラインのコードをなぞって、データセットの使い方を勉強していきます。
またそのハッカソンでは Amazon として紹介した「実際のApplied Scientistならどう解くか」というお話も合わせて紹介しますので、ぜひ最後までご覧下さい。
データセット
ご存知の方も多いかと思いますが、AmazonではECサイトを運用しています。Amazon ではお客様の声を大事にしており、商品レビューは重要な機能の1つです。そして今回扱うのは、Amazon の商品ページのレビューをもとに作られたデータセットです。また具体的には、次のような情報が含まれています。このうち review_body
を主に使います。
列名 | 詳細 |
marketplace | レビューが書かれた市場の 2 文字の国コード。 |
customer_id | 1 人の著者が書いたレビューを集約するために使用できるランダムな識別子。 |
review_id | レビューの一意の ID。 |
product_id | レビューに関連する一意の製品 ID。多言語データセットでは、レビュー、異なる国で同じ製品を同じ product_id でグループ化できます。 |
product_parent | 同じ製品のレビューを集計するために使用できるランダムな識別子。 |
product_title | 商品のタイトル。 |
product_category | レビューのグループ化に使用できる広範な製品カテゴリ (データセットを一貫した部分にグループ化するためにも使用されます)。 |
star_rating | レビューの星 1 ~ 5 の評価。 |
useful_votes | 有益な投票の数。 |
total_votes | レビューが受け取った総投票数。 |
vine | レビューは Vine プログラムの一部として書かれました。 |
verified_purchase | レビューは確認済みの購入に関するものです。 |
review_headline | レビューのタイトル。 |
review_body | レビュー テキスト。 |
review_date | レビューが書かれた日付。 |
さらに、以下のフォーマットでデータが入っています
問題設定
このハッカソンでは商品ごとにレビューの役立つ順をランキングするという問題設定になっています。
詳細についてはハッカソンのSlideshareを御覧ください。
Getting Started
このハッカソンではすでにベースラインのプログラムが提供されているので、このブログではそれを実際になぞっていきます。
Step1: Studio Lab にアクセス
このブログでは Amazon Sagemaker Studio Lab を利用します。下記リンクからStudio Labにアクセスできます。
https://studiolab.sagemaker.aws/
もしお持ちでない方は、この手順書を元にアカウントを作成できます。
ログインができたら、Compute type
を GPU
にした上で、start runtime ボタンをクリックし、ランタイムを起動します。
次にopen project ボタンをクリックし、Jupyter Notebook にアクセスします。
さらに、+ ボタンを押して、Other セクションから Terminal ボタンをクリックします。
Step2: 環境構築
ここからは GitHub にあるインストールの手順を実際に入力していきつつ、コードを読みながら理解していきます。
この環境構築のステップでは、Terminal ウィンドウに次のコマンドを入力し必要な環境を Studio Lab 上に準備します
Step3: 前処理
次のコマンドを入力し、前処理を行います。
期待通り実行されても、特に標準出力は出ないようです。
では、実際にどんな事が書かれているか見てみましょう。
./script/preprocessing.sh
を見てみると、preprocessing.py
を実行しているとわかります。
では、更に Dive Deep して preprocessing.py
を見てみましょう。
たくさんの関数が定義されていますが、実際呼ばれているのは、59行目以降のようです。
引数を読んだあと、main 関数
が呼ばれていますね。ではmain 関数
ではどんな処理がされてるのでしょうか?
31行目以降の main 関数
を見てみましょう。
jsonファイルをPandasで読んだあとに、decide_sets 関数
を呼び、training-train.json
と training-val.jsonl
として出力されています。
decide_sets 関数
ではどのような処理が行われているのでしょうか?
decide_sets 関数
では DataFrame と学習数、評価数、ランダムシードを引数に、DataFrame を返しています。
更に処理を読んでいくと、まずレビューから商品一覧を作り、商品一覧を特定の比率で分割しているとわかります。
その後 sets カラム
の値を training-train
, training-val
, disuse
の 3 種類に書き換えています。
つまり、DataFrame の sets カラム
の値をもとに分割していたわけです。
Step4: 学習
では前処理を行ったので次に学習をします。
もし pytorch_lightning.utilities.exceptions
から始まる下記のようなエラーが出たは、GPUがないためにエラーになっています。ランタイムの設定のステップまで戻って、再度実行して下さい。
pytorch_lightning.utilities.exceptions.MisconfigurationException: GPUAccelerator can not run on your system since the accelerator is not available. The following accelerator(s) is available and can be passed into `accelerator` argument of `Trainer`: ['cpu'].
以下のような出力が出ると学習終了です。
train.sh
のスクリプトを見てみると、実際のコードは train.py
にあるようです。
では、更に Dive Deep して train.py
を見てみましょう。
たくさんの関数が定義されています。
引数の中には、--batch_size
や --learning_rate
, --max_epochs
などがあり、パラメータの変更は容易にできそうだとわかります。
更にその後に main(args)
とあり、実際に学習をしているのは main 関数
のようですね。次に main 関数
を見ていきます。
main 関数
では ReviewDataModule
でデータセットを定義し、ReviewRegressionNet
でモデルを定義しています。
そして trainer.fit(net, dm)
で学習をしていますね。
また PyTorch Lighting の Logger の機能を使ってロギングをしており、CSV 出力があることもわかります。
ここまでで読んだことを整理します。
* データの前処理をカスタマイズするなら、preprocessing.py
ファイルの main 関数
内の df = pd.read_json
以降で前処理を実装し df_sets = decide_sets
の行でデータの分割をすればよい
* モデルをカスタマイズするには train.py
ファイルの main 関数
内の net
の定義を変えれば良い
* ログ出力は train.sh
の引数 --output_csv_dir
を見れば良い
Step5: 可視化
ではここまでのわかったことを活用し、epoch 数を増やした上で、学習の推移を可視化します。
yans2022-hackathon-baseline/script/train.sh
内の max_epochs
の値を 10にして、再度実行します。
実行後 yans2022-hackathon-baseline
と同じディレクトリに新しいノートブックを立ち上げて、ログ出力を可視化します。
この青色の線が下がるようなモデルを作っていくことになります、読者の皆さん、是非トライしてみて下さい。
Applied Scientistならどう解くか
NLP若手の会2022 のハッカソンでは結果発表の際に Amazon の Kiryo より Applied Scientist ならどう解くかについて紹介しました。具体的にはどういうアプローチを取るか、データの前処理をどうするべきか、実装上の工夫の3つについてコメントでした。
まずアプローチについて、
LightGBM か Transformer で SOTA に近い InfoXLM の利用を考えます。今回はコンペティションなので両方使うことを考えますが、業務だと 2 つは使わずどちらかに絞るでしょう。また Amazon だとレビューの記載言語は多様なので、多言語のモデルを使用したり、 Learning to Rank を扱うモデルも試してみます。評価指標に合わせた学習方法かという点もモデル選択の軸になります。
さらにデータの前処理について
レビューのデータは前処理が重要になります。特に HTML のエスケープや改行などを処理します。また Transformer のインプットには上限があります。それを超えるような長いレビューをどう扱うかについて検討しなければいけませんね。コンペティションであれば Truncate しない XLM 系のモデルとそうでないモデルを試す。もしくは TF-IDF のような軽量で且つ大域の特徴が取れるものを使うことも考えられるかもしれません。
また実装について
モデルの実装と実験コードを分けるのは最も重要な点ですね。プロダクトにするときは必ず分かれるためです。また学習と推論のコードも可能であれば分けたいですね。
最後に総評として
このハッカソンではどのチームもベースラインから特徴量を工夫していてとてもいいなと思いました。うまく行ったチームが特別なことをやったというよりかは、交差検証のような教科書に書かれている内容を試しきれたかが、差になっていると感じました。最近の KDD のコンペティションの上位チームはクローリングをしていましたが、このハッカソンでは追加データを使ってはいけないという制約がありました。そんな中、みなさんかなり頑張っていたと思います。
まとめ
このブログでは Amazon のレビューデータセットを紹介しました。またその使い方として NLP若手の会2022 のベースラインコードを読んでいき、エポック数を増やした上で可視化を行いました。また Applied Scientist ならどう解くかについてもご紹介しました。
リアルなデータを使いたい方、ランキングシステムを作りたい方にとって、はじめの第一歩を踏み出すことが出来たのではないでしょうか。次のステップとして皆さんの手でより良いモデルの開発にも是非トライしてみて下さい。またこのブログが役に立ったら、ぜひこのブログをツイートしてください。
また AWS では お問い合わせページ から 相談も承っております。(AWSの導入に関するお問い合わせを選択ください) 要件がまとまっていないところからでも AWS のプロフェッショナルのアドバイスを受けられます。ML システムを AWS で構築したいときの相談相手としてぜひご活用ください。