データレイク解説シリーズ 第 2 回: データレイクのアーキテクチャ

データレイクが「多様なデータを一元的に貯めておく」ものだということは前回触れましたが、実際にはデータを貯めるだけでは何もできません。そもそもデータを貯めるためには、データソースから収集するための仕組みが必要ですし、生のデータをそのまま蓄積しただけでは、うまく活用するのも難しいでしょう。さらに保存されたデータを整理・分類するカタログの仕組みも必要となってきます。

そこでデータレイクでは、データを保存するストレージをベースとして、さまざまな関連機能を持ったコンポーネントを組み合わせた、以下のようなアーキテクチャがよく用いられます。

• データを整理分類して保持し続ける「保存」コンポーネントをベースとして、その上に多様なソースからデータを「収集」する仕組み
  
• 活用しやすい形にデータを「変換」する仕組み
  
• さらにそのデータを「分析」する仕組み

「収集」「変換」「分析」の 3 つは、データをコンポーネント内に永続的に保持することはあまりなく、「保存」から必要に応じてデータを読み書きします。

さて、ここまでデータレイク全体のアーキテクチャやストリームデータを処理するための仕組みについて説明してきました。今回の記事では最後に「分析」コンポーネント、つまりデータを活用する方法についてざっとみておきたいと思います。バッチ処理とストリーム処理のそれぞれについて、いくつかの分析のやり方があります。

バッチ処理についてみていくと、まず最初に出てくるのは BI（Business Intelligence）ツールを使ったデータの可視化やダッシュボードの作成でしょう。事業数値を可視化して、それが定期的に更新されていく仕組みを作るのは、基本ではありますが非常に大事なことです。新しい取り組みをするにしても、まずは今どうなっているかがわからないと、手の打ちようもありません。その数値を出すために裏側でデータウェアハウスを用いて重たい集計処理バッチを走らせる必要が出てくるでしょう。それらを元にして新しい施策を考えたり、仮説があってるかを SQL を投げながら検証を行なったりするといった、より探索的なアクションに向かっていきます。そして施策を実施した際には、得られたデータ (必ずしも構造化されていない場合もあるでしょう) に対して、素早く集計・分析を行って意思決定を行えるとなお良いといえます。

そうした事柄の先には、例えばレコメンドによるマーケティング施策への反映や、サービスの離脱確率予測といった機械学習を用いた取り組みといったものがあります。それらの応用的な分析は、自社のデータサイエンティストが Python や Spark を用いて行う場合もあれば、AutoML と呼ばれるような、特定領域の課題を解決するための半自動の機械学習サービスを使って行う場合もあるでしょう。特に機械学習で扱うデータは、通常のテーブルデータ以外にも、画像や音声、さらにテキストデータといったものも対象となってきます。

データレイクは、こうした多種多様なデータを格納し、活用するための仕組みとして考えられているため、幅広い形態での利用が可能です。

第 2 回では、データレイクのアーキテクチャの大枠について説明しました。データを活用する方法は様々なものがあり、そのために必要となるデータの種類やフォーマットも多種多様です。データレイクは、こうした活用ニーズに応えるための非常に強力な仕組みであり、かつ新しくやりたいことが出てきた場合にも、それに対応できるだけの奥深さを持っています。データをどのように活用したいかは、分析を進める中で初めて見えてくることも多いため、こうした幅の広さはとても大事なポイントです。

それでは今回はここまでで、第 3 回にご期待ください !