BigData_header-icon-panter

ビッグデータの仕組みをはじめ、AWS でのビッグデータ活用のメリットや実際にご利用頂いているお客様事例をご紹介します。

AWS クラウドを無料でお試しください

ビッグデータとは大容量なデータだけを示すものではなく、様々な種類や形式をもち非常に速いスピードで生成されるデータであり、これまで蓄積および解析が難しかったデータです。

そのビッグデータを解析することにより、これまでに無い新たな仕組みや知見を産み出す期待もビッグデータという言葉に含まれます。様々な定義が存在しますが、一般的には3つの V の概念で表現されます。

テラバイトまたはペタバイト以上の従来のデータベースマネジメントシステムでは取り扱いが難しい量のデータが含まれます。

CSV ファイル、固定長ファイルなどデータベースに入力できる「構造化データ」とXMLファイル、JSON ファイル、テキスト、画像などの「半・非構造化データ」が含まれます。

データ種類の増加に伴い、日次ベースでのデータ更新から、モバイル・IoT デバイスなどからリアルタイムに生成されるデータが含まれます。

既存のデータベースおよびアプリケーションでは、多様化するデータの種類・形式やデータ量の急増に対応できず、ビッグデータ活用をあきらめている企業や組織は少なくありません。このように制限された既存の環境から、新しいビッグデータテクノロジーへ移行することで、コスト削減や生産性・運用効率の向上、市場競争力の向上へつなげることが可能になります。

ビッグデータエコシステムは日々驚異的な速度で進化しており、多様な分析スタイルが様々な要件を支えています。当初、Hadoop などのビッグデータフレームワークはバッチワークロードしかサポートしていませんでした。これは、大きなデータセットが、指定された時間枠 (日単位ではなく時間単位で計測するのが一般的) の間に一括処理されるものでした。しかし、洞察を得るまでの時間の重要性が増すにつれ、ビッグデータの "速度" が Apache SparkApache KafkaAmazon Kinesis などの新しいフレームワークの進化に拍車をかけ、リアルタイムおよびストリーミングのデータ処理をサポートするようになりました。

ww-post-bigdata-icon

過去に何があったのかを明らかにします。例としては、スコアカードやダッシュボードなど従来のクエリおよびレポート環境があり、分析結果をもとに人がアクションを判断します。 

将来何がどのくらいの確率で発生するのかを予測します。例としては、早期警報システム、不正検出、予防メンテナンスアプリケーション、需要予測など、統計学的モデルが利用されます。 

ものごとがどうあるのが望ましいかを推奨します。例えば "x" が発生したら、どうするかという質問に回答します。

ビッグデータテクノロジーには、データ活用サイクル全体を管理できる新しいツール群、ビッグデータの収集、蓄積にとどまらず、そこから新たな価値のある洞察を産み出す加工(処理)と分析の機能が含まれます。多くのビッグデータ活用には共通のデータフローが存在し、生データの収集からデータ分析結果を通じた実ビジネスへのアクションに至るものになります。

AWS のストレージサービスのメリット - 拡張性

生データ (トランザクション、ログ、モバイルデバイスなど) の収集は、ビッグデータを扱うときに多くの組織が最初に直面する課題です。ビッグデータ活用に適したクラウドプラットフォームを使うと、このステップが簡略化され、開発者は幅広いデータ (構造化データから非構造化データまで) をあらゆる速度 (リアルタイムからバッチ処理まで) で取り込めます。また、安全かつスケーラブルで耐久性を備えたリポジトリに、加工前のデータ (あるいは加工後のデータ) を保存することができます。

AWS のストレージサービスのメリット - 低コスト

このステップでは、データを生の状態から分析可能な形式に変換します。通常、これはソート、集約、結合、さらにはより高度な機能やアルゴリズムを実行することによって行います。変換後のデータセットは、さらに加工するために蓄積することも、ビジネスインテリジェンスツールやデータ可視化ツールで活用できるようにすることもできます。

AWS のストレージサービスのメリット - 耐久性

ビッグデータにとって一番重要な事は、データアセットから価値の高い実用可能な洞察を引き出すことです。理想的なのは、高速で簡単なデータセット調査のできるセルフサービスのビジネスインテリジェンスツールやアジャイルデータ可視化ツールで、ステークホルダーがデータを利用できることです。分析の種類に応じて、エンドユーザーは結果データを 統計的な "予測" の形で活用することもあれば、推奨されるアクションの形で活用することもあります。

アマゾン ウェブ サービス(AWS)は、クラウドコンピューティングサービスの幅広いポートフォリオを提供しており、ビッグデータアプリケーションの構築、デプロイを容易に実行できます。AWS では、ハードウェアの調達、インフラストラクチャの維持やスケールの必要がないため、新しい洞察の発見にリソースを集中できます。大きな先行投資および長期間におよぶ利用契約無しに、常に最新のテクノロジーを活用できます。

AWS のストレージサービスのメリット - 耐久性

ほとんどのビッグデータテクノロジーはサーバーの大規模なクラスターが必要なため、プロビジョニングやセットアップにかかる時間と負荷が大きくなります。AWS では、必要なインフラストラクチャをほぼ瞬時にデプロイできます。これはお客様のチームの生産性が高くなり、新しいことに挑戦しやすくなり、プロジェクトの展開が劇的に速くなることを意味します。 

AWS のストレージサービスのメリット - 拡張性

ビッグデータのワークロードは、分析の対象となるデータアセットに応じてさまざまです。AWS では、データ量や様々な種類・形式、データ発生のスピードに関係なく、ビッグデータ活用におけるすべてのワークロード(収集、蓄積、処理、分析、可視化)をサポートできるクラウドプラットフォームを提供しています。 

AWS のストレージサービスのメリット - 低コスト

ビッグデータの多くには機密データが含まれるため、俊敏性を失うことなくデータのセキュリティを担保し保護することが不可欠です。AWS では、複数の施設、ネットワーク、ソフトウェア、およびビジネスプロセスにわたる、最も厳しいセキュリティ要件を満たす機能を提供しています。詳細については、クラウドセキュリティセンターをご覧ください。 

AWS のストレージサービスのメリット - 耐久性

大規模なパートナーエコシステムが、スキルの面でのサポートを提供しており、ビッグデータをすぐに始めるのに役立ちます。AWS パートナーネットワークにアクセスして、コンサルティングパートナーからの支援を得たり、データ管理スタック全体にある多くのツールやアプリケーションから選択したりできます。 

AWS のクラウドプラットフォームは、エンタープライズ企業から、スタートアップ企業にいたるまで、日本でも数多くのお客様にご利用いただいています。こちらでは、ビッグデータ活用におけるお客様事例をご紹介します。

株式会社 あきんどスシロー

2013 年後半から Amazon Redshift を活用した本格的な DWH の構築を行い、店舗で稼働するすしテクノロジーからのデータ収集では、Amazon Kinesis を使用した仕組みも構築し、分析・活用サイクルの高速化を実現しました。ビッグデータ分析や Web アプリ構築をはじめ、SAP ERP 会計システム、Web サイトなど様々な用途で AWS を活用し、限られた人的リソースで効率的な運用を実現しています。

導入事例はこちら ≫

株式会社ベルシステム24ホールディングス

コンタクトセンターが提供するカスタマーエクスペリエンス向上のために大量のデータを瞬時に分析する必要性から、AWS クラウドを採用。Amazon Redshift をコンタクトセンターのデータと連携することにより、ビッグデータ分析環境を迅速かつ低コストで実現し、アプリケーション企画やサービス構築といった上流工程にリソースを集中することに成功しています。

インタビュー動画はこちら≫

Major League Baseball Advanced Media (MLBAM)

メジャーリーグベースボールのデジタル製品とサービスの部門である MLBAM は、シーズン中の 17 ペタバイトもの個々の試合データを取り込んで分析するビッグデータソリューションのために AWS を導入しました。AWS を使用することにより、放送局、チーム、ファンが試合の躍動感や技量をより深く理解できるように新しい情報を届けています。

導入事例はこちら ≫