Deep Learning で音楽を作成するにはどうしたらいいの ?

まず、上図の点線枠のように一つのメロディがモチーフとして与えられたとします。
例えば頭の中にメロディが突然ひらめいたと考えてください。この 1 小節の美しいメロディをなんとか曲として完成させるためにメロディの続き、楽譜でいうと水平方向に音楽を生成します。これを “メロディ→メロディ” と表現することにします (上楽譜の 1)。

次に、思いついたメロディに対して別のパートを作りだすということもありそうです。メロディに対して伴奏をつけたり、もしくはメロディに対して対になるようなメロディ (典型的にはハモりのパートですね) をつけたりすることが考えられますね。これらを総称してメロディ→ハーモニーとグループ分けしておきます (上楽譜の 2)。

上述のメロディ→ハーモニーの反対でハーモニー→メロディの音楽生成もあります。こちらは、伴奏がすでに楽譜として与えられているときにメロディを作るというケースですね (上楽譜の 3)。

これまでのケースは、音楽を生成するときにメロディやハーモニーなど、特定のモチーフ (入力データ) を必要としてきました。しかし、場合によってはモチーフを一切提示することなく「自律的に」音楽を生成することが求められることもあります。プロデューサーに「明日までにいい感じの 5 曲頼むよ」と言われたシンガーソングライターのケースですね。コンピュータが音楽を自動生成する、という響きには多分にこの自律性が反映されている気もします。論文では、このように入力データ (モチーフ) の提示なしに音楽を生成することを “ex nihilo” (ラテン語で「無から」を意味する) と表現しています。

まず、標準的な 88 鍵のピアノで、真ん中より少し右の位置にある鍵盤の "ラ" の音 (“A4” と表記されます) をニューラルネットワークで扱う方法を考えます。この "ラ" は周波数 440Hz に調律されている (ことが多い) ので、“440.0” という小数値で表すことができます。単純に音程を周波数として表しています。

一方で、音程を厳密に周波数で表さなければいけないケースはあまりないと思います。音程に関する離散的な情報だけを用いたい場合は、例えば “69” という数値を使って表すことができます。この 69 という数字がどこから来たかと言いますと、MIDI という規格があって (細かい話は省略します)、その中で音程 (すなわちピアノの鍵盤) それぞれに “ノートナンバー”という値を割り振っています。A4 (440Hz) の音程はノートナンバー 69 に対応しています。それぞれの音程を離散的なクラスとみなして、クラス番号を直接ニューラルネットワークに渡してあげようという話です。

データサイエンスでは離散的なクラスをそのクラス番号を用いる他に、One-hot encoding と言われるやり方で表すことも多いです。音楽生成におけるニューラルネットワークでも、各音程を One-hot encoding を用いて表すやり方はよく見られます。音程 (クラス) の数を要素とする One-hot ベクトルを用意して実際に発音する音程を 1、他を 0 とする表現方法です。

スカラー値や One-hot encoding では一つの発音しか表すことができませんでした。複数の発音を表すには、複数のクラスのフラグ (“1” の値) を許す Many-hot encoding や、One-hot encoding を複数用いる Multi-one-hot encoding を用います。

Many-hot encoding と Multi-one-hot encoding の使い分けですが、実際の発音原理と対応させるのがシンプルで良いと思います。例えばピアノのように一つの楽器で複数の発音が可能であるのならば Many-hot encoding、トランペットとサキソフォンのように単音の楽器が複数ある場合は Multi-one-hot encoding が自然でしょう。もちろん、場合によっては Many-hot encoding を複数並べた Multi-many-hot encoding もあります。

ここまで、ニューラルネットワークのノードに音楽情報を入力させるためのエンコーディング手法について説明しました。注意してほしい点として、「ここで述べたエンコーディング手法では、ある瞬間における発音に関する音程の情報だけが含まれており、音の長さや順序、すなわち時系列的な情報は含まれていない」ことに注意してください。さらには、音の強さや音色のような情報も含まれていません。

ここからは、実際にニューラルネットワークを用いた音楽生成を見て (聴いて) いきましょう。

まず最初に示すのは最も基本的なニューラルネットワーク構造、隠れ層を 1 層含む 3 層型のパーセプトロンを用いた MiniBach です。Bach というのは 18 世紀のドイツで活躍したあのバッハ (ヨハン・セバスチャン・バッハ) のことです。MiniBach はニューラルネットワークの学習で用いる mini batch (ミニバッチ) にかけているんでしょうね。

MiniBach では JSB Chorales dataset と呼ばれるデータセットを用いています。コラール (choral) とはもともとドイツのルター派協会で用いられた賛美歌のことで、グレゴリオ聖歌など各種の聖歌や教会歌の総称の意味でも使われます。JSB Chorales Dataset はバッハ (ヨハン・セバスチャン・バッハ) が作曲した 382 曲の 4 声のコラールをデータ化したものになります (データセットのフォーマットなどの詳細はここでは詳しく触れません)。

それでは生成された楽曲を見てみましょう。ソプラノのフレーズを入力データと、出力された 3 声のデータを 合わせて示します。

また、出力された各パートのメロディは全て四分音符で、フレーズとしての複雑さや展開がありません。学習に用いたデータセットであるバッハのコラールがこういった単調な曲ばかりであるということはもちろんありません。また、バッハの音楽に特徴的な、あるパートで出てきたフレーズがしばらくすると別のパートで形を変えて出てくる、つまりモチーフの展開がみられません。

そういったバッハのコラールの特徴を MiniBach では学習によって獲得できていないと考えられます。これは、MiniBach で使われているネットワーク (いわゆる多層パーセプトロン) では、ノードの順序に意味がないので、例えば音符の構造 (順序) を考慮してノードに入力したところで、時系列的な関連性 (すなわちフレーズ) を学習できないことが原因と考えられます。

また、ネットワークのノード数は固定されているため、固定された長さのデータ (楽曲) しか生成できません。また、同じ入力からは常に同じ楽曲が生成されます。通常の機械学習では再現性は非常に重要ですが、演奏や作曲を考えた時にはある程度のランダム性が必要とされることも多いです。また、音楽生成の際に、人間の意向を部分的に反映させることも困難です。

次章では、これらの課題を解決するために、再帰的なニューラルネットワークを用いた例を紹介します。

前述した MiniBach はシンプルすぎて、時系列の情報を扱えない、可変長の音楽性ができない、常に同じ結果しか得られない、人間の意向を組み込めない、という課題がありました。

この課題に対応する新しい音楽生成モデルが MiniBach の著者より発表されています。その名も DeepBach。そう、MiniBach の改良版ですね。MiniBach と同様にバッハのコラールデータセットを用いて、コラール形式の音楽を生成するシステムです。このシステムでは、LSTM モデルを使って可変長を含む時系列データの生成を可能にしました。また、擬似 (pseudo) ギブスサンプリングとよばれるアルゴリズムを使って、演奏にランダム性を取り入れたり、人間の意向を反映させることが可能になっています。

論文 の P.170, 171 を元に筆者が一部追記

DeepBach では、4 声の各パートに一つのニューラルネットワークモデルが対応しています (つまり上図の左で示したようなネットワークが全部で 4 つある)。ネットワークには双方向性 (bi-directional) の LSTM アーキテクチャが用いられています。一つ目の LSTM は過去から現在 (の 1 時点前) の全パートの演奏 (時系列データ) を辿る LSTM ネットワーク、もう一つは未来から現在 (の 1 時点後) までの全パートの時系列データを逆向きに辿る LSTM ネットワークです。加えて、現時点での自分のパートの演奏情報のみを入力として用いるネットワークがあり、その 3 つの出力をマージしたのちにさらに後段のニューラルネットワークにに通して最終的な出力としています。

図のように、Voice 1 (ソプラノ) を例にとると、自分の現在の発音 (すなわち予測したい答え) 以外の周辺データを用いて現在の自分の発音を予測する、という問題設定になります。未来の発音データを使うことに違和感を覚えるかもしれません。しかし、例えば人間がジャズセッションをする場合など、楽譜やコード譜の形で曲の構成、すなわち未来的な展開を予め知っています。その際に、演奏を着地させたい時点を決めてそこから逆算しながらフレーズを開始するということを自然にやっています。ですので、逆方向に辿る LSTM ネットワークも同じようなことをしていると解釈できます。

DeepBach も (再帰的ではあれど) ニューラルネットワークに変わりはないので、同じ入力からは常に同じ入力が得られます。これだと面白くないので、DeepBach では擬似ギブスサンプリングと論文中で呼ばれるサンプリング方法を用いてランダム性を取り入れながら 4 つのパートのフレーズを徐々に生成していきます。

簡単に説明します。
生成したいパート、グリッド (この場合 16 分音符 64 個、4 小節分) の音程情報 (ノートナンバー) をまずランダムに初期化します (図の左上)。その後、特定のパート・グリッド (図の左下の緑の領域) の音程情報を、周辺の演奏データから (対応するパートの) ネットワークを使って更新します。

これを繰り返すことで、完全にランダムな初期状態から、周りの音との関連性を考慮した音程情報へと徐々に更新させていきます。

それでは、サンプリングによって徐々に生成 (収束) していく様子を音で聴いてみましょう。

私だけの主観だと自信がないので Twitter 上で感想を聞いてみました。

また、バッハっぽい、逆にバッハっぽくない、という意見もシンプルな意見もいただきました (ご意見いただいた方、ありがとうございました。)。

いかがだったでしょうか。
ニューラルネットワークを用いた音楽生成手法について、基本的な構造 (多層パーセプトロン、LSTM) を用いた事例についてお話ししました。音楽データをどうやってニューラルネットワークに入力するか、モデルからどのように最終的な出力を得るか、なるべく具体的に説明しました。

DeepBach については著者が実装を github で公開しているので、興味のあるかたは実際に音楽を生成させたり、ご自身のデータセットで学習させて Deep〇〇 (←あなたのお名前) を作ってみるのも良いかもしれません。(この記事の擬似ギブスサンプリングによる生成例も著者実装をもとに私がコードを一部改変して生成しました)

生成モデルの花形、GAN や VAE などを用いた音楽生成については今回は分量の関係で触れませんでしたが、機会があればまた取り上げてみたいと思います。この記事を読まれた皆様もぜひ、論文を読んで実装にチャレンジしてみてください。

反対に、「ニューラルネットワークなんて知らない。でも自動作曲には興味がある」という方もたくさんいらっしゃると思います。私もそのような立場に大賛成です (音楽は実際に耳で聞いてワクワクするかどうかが全てですからね)。先に述べたように AWS では DeepComposer という、コードを書かなくても音楽 (メロディや伴奏) を自動的に生成する楽しいサービスがあります。また、技術的なこともチラッというと、DeepComposer では GAN や Transformer など最新の音楽生成アルゴリズムを取り入れています。このあたりの技術的な背景についても別の機会で書いてみようと思っています。

そう遠くない未来、人間と機械とともに今よりももっともっとインタラクティブに音楽を作っていたり、あっとおどろくフレーズを機械が演奏したりしているかもしれませんね。ターンテーブルからスクラッチが生まれたように、ニューラルネットワークから新しい音楽が生まれる日を楽しみに、これからもテクノロジーや音楽に浸かっていきたいと思います。

それでは、みなさまの素敵な音楽ライフにこの記事がすこしでもお役に立てたのであれば幸いです。

Enjoy Music and Technology!!!

ニューラルネットワークによる音楽生成に関して下記の素晴らしい総論があります。ほぼ毎年改定されており、技術革新の目覚ましい深層学習のトレンドが音楽生成にも貪欲に取り入れられる様を目の当たりにできます。ただし基本的な部分は不変で、今回の記事もこの総論の基本的な内容をベースにしています。

Deep Learning Techniques for Music Generation — A Survey »

また、上記の総論を日本語でまとめたウェブサイトもあり、こちらも非常にわかりやすいです。データの記号化や事例の詳細やリンクが豊富です。

Deep Learninhgを用いた音楽生成手法のまとめ [サーベイ] »