電笑戦 ~ AI は人を笑わせられるのか ? 挑戦を支える技術と AWS

ボケてでは画像に対してボケることで笑いを生み出します。このボケてのボケ生成を AI にやらせるには、画像を入力としてテキストを出力するモデルが必要です。このように画像からテキストを出力する技術は一般に「画像のキャプション生成」と呼ばれ、近年深層学習の盛り上がりとともに盛んに研究されています。

今回、電通デジタルの石川さんをお招きし、インタビュー形式でボケてのデータを用いたボケ生成 AI の作り方について伺おうと思います。

針原 :
本題に入る前に、そもそも今回はどういう経緯でボケ AI の作成に至ったんでしょう。ボケて自体は画像からボケを考えて投稿する、というサイトですが、石川さんの中で今回のアイディアが急に閃いたのでしょうか ?

石川 :
いや、そんなことはなくてですね。元々ボケてのサイトにあるデータで面白いことができないかと考えていて、例えばボケのお題画像を Generative Adversarial Network (GAN) で生成するとか、くだらないボケを無限に返してくれる Sequence-to-Sequence (Seq2Seq) のチャットボットとかを考えていました。
一昨年ぐらい、画像のキャプション生成が盛り上がっていたので、それでボケを生成するというのも一つのアイディアとしてありました。なので、何個かやりたいと思っていたことがあった中で、最終的に画像に対してボケを答える AI を作ろうという話になりました。

針原 :
画像のキャプション生成って、例えば人とか犬が写っている画像を見せられてそれに対する忠実な説明文を出す、というのが普通の使われ方だと思います。その技術を使って面白いことを言わせる、というアイディア自体も面白いと思うんですが、そこの発想って自然と出てきたんですか？？

石川 :
もともと自然言語処理ってどうしても日本語は英語に比べて遅れてるんですね。それで日本語のキャプション生成を世の中で試されてる方はたくさんいらっしゃると思うんですけど、ボケようとしていないのに出てくる回答がユニークで面白かったりするので、この感じはボケとしてうまくハマるんじゃないかと思ったのがきっかけです。

針原 :
それでは電笑戦でのフォーマットに従って聞いていきます。今回予め用意されているのは画像とそれに対するボケ。加えて画像の ID やメタデータが表で与えられてると思うんですが、前処理ってざっくり言うと今回どういうことをされましたか？

石川氏 :
普通は自然言語処理でよくやる前処理で、単語の数が異常に少ない造語のようなものって Unknown キーワードで置換することが多いと思うんですけど、今回はそれをやらずに造語は造語で学習させるようにしています。

針原 :
なるほど。

石川氏 :
自分でやったこととしては、最初にボケの文字数を 20 文字以下で切りました。モデルは Long Short-Term Memory (LTSM)^(*1) を使っていて、文字列が長ければ長いほど学習にかかる計算時間が増えてしまうので。全てのボケを最長のボケ長に合わせてゼロ埋めすると、ほとんどのボケは 5,6 単語ぐらいだったりするのが無駄に大きいデータセットになってしまいます。これをはじめに p3.8xlarge インスタンスで試したらメモリに乗らなかったんですよね。

針原 :
なるほど、ありがとうございます。長いボケを弾いて、20 文字以下短めの文章だけを使ったと。

石川氏 :
そうですね、メタデータを使って「シュール」カテゴリのものばかりを集めたりとか。あとボケてさんはユーザー投稿型なので 1 つの画像に対して複数のボケがあったりします。そこは画像の重複がなくなるように★の数が一番多いものだけを採用して学習させるなどしています。

針原 :
ちなみにボケの数ってどれくらいありました ?

石川氏 :
百万ボケぐらいもらって、データクレンジングのところで減らしたので、最終的に使ったのは 16 万ボケですね。

針原 :
なるほど。これで綺麗な文章が出てくるようになったんですね。

石川氏 :
Attention 構造を入れた時の方が、過学習を起こさずに日本語として文章が成り立つようにはなりました。それまでは日本語としての接続詞がなかったり変なところにあったり、日本語として読めないものが多かったので。Attention を使うと単純な文章の埋め込みではない単語と単語の位置的な関係性を学習できてるんだなー、というのを僕も初めて肌で感じました。

針原:
モデルについて、他に言い忘れたことはありますか？

石川氏 :
これは今後の展望なんですが、カテゴリーを変えると出てくるボケが変わる、「シュール」だったり「バカ」だったり色んなカテゴリのボケを選んで生成できるようなモデルを作れると良いなと思います。

針原 :
今回基本的にはシュールのデータを使ってたと思いますが、それ以外でも試されましたか？

石川氏 :
やってみたのはシュールとバカだけなんですが、ジャンルを混ぜると日本語としてうまく出にくくなったので、元々の学習データにはある程度規則性があった方が上手くいきやすいのかなーという気がします。

針原 :
ちなみにトレーニングにはどれくらい時間がかかりましたか？？

石川氏:
僕は Adam の学習率を結構小さくしてゆっくり学習させていたんですが、それでも 2 時間ぐらいで終わってたかと思います。結構難しいのは、画像系のタスクとかは GPU インスタンスで速くなると思うんですが、今回画像のモデル自体は学習済みの VGG16 を使ったので、意外とデータの前処理の方が時間がかかってたかもしれないですね。
単語を分かち書きして id に変換してという前処理に時間がかかったので、どのインスタンスがいいかは時と場合によるのかなという印象です。よく僕がやるのは前処理だけ CPU が載っている C5d インスタンスとかでやって、データを Amazon S3 に吐き出して、GPU の載っている P3 インスタンスに変えて学習させる、とかですね。

針原 :
なるほど。ちなみに今は EC2 とのことだったので、Deep Learning AMI を使われてますか？

石川氏:
はい、Ubuntu の Deep Learning AMI を使っています。フレームワークは Keras を使って分散学習しています。

石川氏 :
実際に生成されたボケはこんな感じです。気に入ったものを選んでみました。予測で出す1文字目の単語は、soft max の出力分布からサンプリングして選んでいます。漢字を間違えているのも愛嬌ですね。 

石川氏:
ボケを作るというタスクは特殊で、元々あるボケてのデータと同じものを出したい訳ではないですよね。過学習するとそうなるのが難しいところで。各 epoch ごとにモデルを全部保存した後出力のところで全 epoch のモデルを試して、元のデータと同じ文章が出ていないかつ日本語として読める面白いモデルをピックアップしました。全部で 300 個ほどモデルが出てくるのでそこが一番大変でしたね。

針原 :
なるほど、それは大変そうだけど興味深い。結局、各 epoch の途中結果から面白いモデルを人が選ばないといけないのが良いですね。

石川氏 :
そこの評価関数を作れるほどの技量がなかったですねー。

針原 :
いや、でもそれを簡単に作れないのが笑いの奥深いところ、ということですよね。

石川氏 :
本当におっしゃる通りです。人間の肌感で最後選ぶというのをやっているので、人間と機械学習の融合、という使い方な気がしています。

石川さんの話の中で、やはり最後の「人間と機械学習の融合」という側面が今回のボケ AI の興味深いところだなと思いました。データの前処理、モデル作り、トレーニング、そして完成したモデルの中から選別した最も面白いモデルが出力した渾身のボケは味わい深いものがありますよね。

この石川さんのモデルに勝る面白い AI は作れるのか ?
次回以降引き続き、電笑戦に参加される企業の方のインタビューを予定しています。

*1 : Long Short-Term Memory (LSTM) : RNN の各ニューロンに入力・出力・忘却ゲートを付け加え、より長い系列の学習を可能にしたもの。_{« 記事に戻る}

*2: Convolutional Neural Network (CNN) : 画像を扱うニューラルネットワーク。畳み込み層・プーリング層を重ねることにより、画像の特徴を抽出している。_{« 記事に戻る}

*3 : Recurrent Neural Network (RNN) : 系列 (時系列・文字列) データを扱うニューラルネットワーク。中間層のニューロンに自己フィードバック結合を入れている。_{« 記事に戻る}

*4 : ResNet50 : 50 層からなる CNN のモデルで、層をスキップする結合を入れることで高い予測性能を実現している。_{« 記事に戻る}

*5 : VGG16 : 16 層からなる CNN のモデル。3x3 という小さい畳み込みフィルターを用いて層を深くすることで性能を向上させた。_{« 記事に戻る}