通信事業を軸に、スマートライフ事業、法人事業、国際事業、R＆D の領域で事業を展開する NTTドコモ。通信サービスの品質向上、新規サービスの企画・開発、業務の効率化等、事業におけるあらゆる局面でデータ分析は欠かせません。そこで、同社は全社共通の統合データ分析基盤を構築し、2014 年 10 月より事業部門の分析担当者に提供しています。

統合データ分析基盤には、通信事業における設備データや品質管理データ、スマートライフ事業で提供する各種サービスのデータ等を蓄積。2022 年 4 月現在、総分析者数は約 2,600 人に達し、総データ量は 6PB、データ加工処理の対象となる 1 日のデータ量は 50TB を超えています。「扱うデータは、通信機器の各種ログから、各種サービスの利用に関する顧客関連情報まで多岐にわたります。分析担当者には、ETL 処理によって DB の SQL インターフェースを公開しており、ツールによる可視化だけでなく、Excel、R 言語、Python 等を使って自由に分析することができます」と語るのは、サービスイノベーション部 ビッグデータ担当 担当課長の佐々木純氏です。

統合データ分析基盤を構築する以前は、設備やサービスごとにデータウェアハウス（DWH）がありました。そのため、統合的な分析をする際は部署間で調整が発生し、データが揃うまでに長い時間を要していました。そこで、すぐに分析できる環境を目指して統合データ分析基盤の開発に着手しました。
「AWS は Amazon VPC、AWS Direct Connect、AWS IAM 等のセキュリティサービスが豊富です。第三者認証も取得済みで、オンプレミスを前提とした当社のセキュリティ基準を満たす設計が可能でした。加えて、データの増加に応じてスケールが容易なこと、豊富なマネージドサービスで運用負荷が軽減できることなどもポイントになり、大容量かつ高速な DWH である Amazon Redshift を採用しました」（佐々木氏）

2014 年に 125 台の Amazon Redshif tで稼働を開始した統合データ分析基盤は、リザーブドインスタンスの更新時期や新ノードタイプ登場に合わせて性能検証を行いながら、最適な構成を採用してきました。2017 年には DS2 ノードの Amazon Redshift を 125 台追加し、2020 年には全体の 125 台分を Amazon S3 上のデータ群に対してクエリーが実行できる Amazon Redshift Spectrum に置き換えて、Amazon Redshift と Amazon Redshift Spectrum のクラスタ構成としました。

2021 年 8 月には 5G によるデータ爆発を見据えて、Amazon Redshift を DS2 ノードから最新の RA3 ノードに移行し、64 台構成（8PB）としました。サービスイノベーション部 ビッグデータ担当の早川裕和氏は「2021 年当時、外部データを利用する Amazon Redshift Spectrum には、クエリー実行速度の低下と従量課金によるコスト増の課題がありました。そこで、大容量データの内部保持が可能な Amazon Redshift の RA3 ノードに統合しました。導入時は AWS のサポートチームの支援を受けて性能検証を実施し、RA3 ノードを効率的に利用する方法をレクチャしていただきながら移行しました」と語ります。

RA3 ノードへの移行により、統合データ分析基盤のパフォーマンスは大幅に強化されました。従来環境では、Amazon Redshift のワークロード管理（WLM）を手動で行わざるを得ず、日中や夜間の時間帯に応じてメモリーや同時並列実行数の割り当てをチューニングしていました。その結果、想定外の負荷上昇で処理の遅延が発生することがありました。RA3 ノードでは自動 WLM を適用し、適切な処理リソースを割り当てることで Amazon Redshift のパフォーマンスを最適化しています。
「1 日 50TB のデータに対する ETL 処理において処理速度は従来の 1.2 ～ 1.4 倍となりました。SQL データを利用者に提供するまでの時間は、従来から 3 時間ほどの短縮となり、より新鮮なデータを分析者に提供することが可能になりました」（早川氏）

その他、RA3 ノードで提供される新機能 Amazon Redshift Data Sharing を用いて、Redshift クラスタ間でセキュアかつ簡単にデータを共有できるようにしました。これにより、データ転送時間の低下、データの重複保持の発生、負荷上昇といった従来環境の課題が解消されています。さらに、Amazon Redshift の利用環境では、ユーザー管理の工夫によって一部ユーザーが大容量データを保持することによる容量の圧迫や、Amazon Redshift のストレージコストの増加等を抑制しています。

一方、新たな統合データ分析基盤では、機械学習に必要なすべてのツールを網羅した Amazon SageMaker Studio の提供を開始しました。その際、プロジェクトごとに AWS IAM の IAM Policy を作成することで、権限を持たないユーザーがデータを共有するリスクを排除してセキュアな運用を実現しています。サービスイノベーション部 ビッグデータ担当の松原侑哉氏は「Amazon SageMaker Studio により、分析者は機械学習の専門知識がなくてもモデルの作成ができるようになりました。大容量のデータ処理でも、ユーザー単位でインスタンスを起動してスケーリングすることができるため、他のユーザーに影響を及ぼすこともなく、快適に利用ができると高く評価されています」と語ります。

初期構築から 8 年以上にわたって進化を遂げてきた統合データ分析基盤は、今や NTTドコモの事業に欠かせない存在となっています。
「通信事業でのネットワーク異常の早期発見のみならず、中長期的な分析による通信品質の改善、基地局設計の最適化等に貢献しています。また、サービスや事業を横断した会員基盤のデータ分析により、デジタルマーケティングの高度化にも役立っています。システム運用の観点でも、コロナ禍で勤務体制が変化する中、ハードウェアのメンテナンスから解放されるメリットは大きく、新しい働き方にも貢献しています」（佐々木氏）

NTTドコモでは、今後も統合データ分析基盤に対して、リアルタイム分析可視化機能の追加による鮮度の高い情報提供、Amazon Redshift Data Sharing を活用した他部門の利用者への開放、Amazon SageMaker Studio による分析環境の拡充等を実現し、ユーザーが快適かつ自由に分析できる環境を目指していく方針です。
「今後は安定性向上に向けた SLA/SLO にも焦点を当て、監視体制を強化しながらデータ提供品質を高めていきます。AWS Lambda や Amazon Redshift Serverless 等のサーバーレスアーキテクチャによる動的なデータ活用も促進し、いち早くAmazon Redshift にデータを格納することで分析者に新鮮な情報を提供していきます」（松原氏）

国内のお客様の導入事例一覧に戻る »