データ管理とは何ですか?

データ管理の実践には、データアクセスを制御するためのデータガバナンスに加えて、質の高いデータの収集と配布も含まれます。

データガバナンスには、データセキュリティ、完全性、および責任あるデータユーティリティを管理するために組織が実装するポリシーと手順が含まれます。データ管理戦略を定義し、誰がどのデータにアクセスできるかを決定します。データガバナンスポリシーは、チームや個人がデータにアクセスして使用する方法についての説明責任も確立します。データガバナンス機能には通常、次が含まれます。

データプロファイリング

データプロファイリングは、データを分析してその構造、品質、特性を判断する診断プロセスです。これは、既存のデータセットを理解し、使用前にリファクタリングが必要かどうかを判断するための第一歩です。

データリネージュ

データリネージは、組織全体のデータフローを追跡します。タイムスタンプ付きのデータリネージは、データの出所、使用方法、変換時期を判断するために使用されます。このデータ管理プロセスは、監査プロセスにおいて特に重要です。

データカタログ

データカタログは、組織のデータ資産と関連するメタデータのコレクションです。すべてのデータ関連情報を中央カタログに保存することで、組織内の主要なデータレジストリになります。ユーザーは、データカタログにすべてのデータ資産に関する最新情報が含まれていることを期待できます。

データセキュリティとアクセスコントロール

データガバナンスは、データへの不正アクセスを防ぎ、データを破損から保護します。これには、次のような保護のあらゆる側面が含まれます。

• データが偶発的に移動または削除されないようにする
• ネットワークアクセスを保護して、ネットワーク攻撃のリスクを軽減する
• データを格納する物理データセンターがセキュリティ要件を満たしていることを検証する
• 従業員が個人のデバイスからデータにアクセスする場合でもデータを安全に保つ
• ユーザー認証、承認、およびデータへのアクセス許可の設定と適用
• 保存されたデータが、データの保存場所である国の法令に準拠しているようにする
• 機密データの管理レイヤーの追加

データコンプライアンス

データコンプライアンスポリシーは、規制上の罰金や措置のリスクを軽減します。GDPRやCCPAなどのコンプライアンス法を遵守することは、業務にとって不可欠です。

コンプライアンス活動は、データモデリング、ソフトウェア制御、および従業員トレーニングに重点を置いているため、法律の遵守があらゆるレベルで行われます。例えば、組織がデータシステムを改善するために、外部の開発チームと協力するとします。データガバナンスマネージャーは、テストの目的で使用するためにデータを外部チームに渡す前に、すべての個人データが削除されていることを検証します。

データのライフサイクル管理

データライフサイクル管理とは、ライフサイクル全体にわたってデータを管理するプロセスを指します。 

例えば:

• データは取り込み時および定期的に検証する必要があります
• 監査目的でデータを特定の期間保持する必要があります
• 不要になったらデータを消去する必要がある

データ品質管理

データのユーザーは、各ユースケースにおいて、データが十分に信頼でき、一貫していることを期待しています。

データ品質管理者は、組織のデータ品質を測定し、改善します。既存のデータと新しいデータの両方をレビューし、基準を満たしているかを検証します。また、低品質のデータがシステムに含まれるのを阻止するデータ管理プロセスを設定する場合もあります。データ品質基準は、通常、次の事項を測定します。

• 重要な情報が不足していますか、それともデータが完全ですか？(たとえば、顧客が重要な連絡先情報を省略している)
• データは基本的なデータチェックルールを満たしていますか？ （たとえば、電話番号は特定の桁数でなければなりません）
• どの程度頻繁に同じデータがシステムで表示されるか? (例: 同じ顧客の重複データ入力)
• データは正確ですか?(たとえば、顧客が間違ったメールアドレスを入力したなど)
• データ品質はシステム全体で一貫しているか? (例: あるデータセットでは生年月日が dd/mm/yyyy 形式だが、別のデータセットでは mm/dd/yyyy 形式となっている)

データ統合

データ分散のためのエンドポイント

ほとんどの組織では、データを必要とするさまざまなエンドポイントに (またはその近くに) そのデータを配布する必要があります。これらには、運用システム、データレイク、データウェアハウスが含まれます。ネットワークレイテンシーを低く保つため、データ分散が必要です。運用上の用途のためにデータが必要であるにもかかわらず、ネットワークレイテンシーが高いと、そのデータをタイムリーに配信できない場合があります。データのコピーをローカルデータベースに格納することで、ネットワークレイテンシーの問題を解決できます。

データ分散は、データ統合のためにも必要です。データウェアハウスとデータレイクは、さまざまなソースからのデータを統合して、情報の統合ビューを表示します。データウェアハウスは分析や意思決定のために使用されますが、データレイクはさまざまなユースケースのためにデータを抽出できる統合ハブです。

データレプリケーションメカニズムと整合性への影響

データ分散メカニズムはデータ整合性に影響を与える可能性があり、これはデータ管理において重要な考慮事項です。

強整合性は、データの同期レプリケーションによって実現されます。このアプローチでは、データ値が変更されると、すべてのアプリケーションとユーザーに、変更されたデータの値が表示されます。データの新しい値がまだ複製されていない場合、すべてのコピーが更新されるまで、データへのアクセスはブロックされます。同期レプリケーションは、パフォーマンスやデータへのアクセスよりも整合性を優先します。同期レプリケーションは、財務データのために最もよく使用されます。

結果整合性は、データの非同期レプリケーションによって実現されます。データが変更されると、コピーは最終的に更新されますが (通常は数秒以内)、古くなったコピーへのアクセスはブロックされません。多くのユースケースにおいて、これは問題にはなりません。例えば、ソーシャルメディアの投稿、「いいね」、コメントには強整合性は必要ありません。別の例として、顧客があるアプリケーションで電話番号を変更した場合、この変更は非同期でカスケードできます。

ストリーミングとバッチ更新の比較

データストリームは、データ変更を発生時にカスケードします。ほぼリアルタイムのデータにアクセスする必要がある場合は、この方法が推奨されます。データは、変更されるとすぐに抽出および変換され、宛先に配信されます。

バッチ更新は、配信前にデータをバッチ処理する必要がある場合により適しています。この一例として、データを要約したり、統計分析を実行したりして、その結果のみを提供することが挙げられます。バッチ更新では、すべてのデータが特定の時点で抽出された場合に、データの特定の時点の内的整合性を維持することもできます。抽出、変換、ロード (ETL または ELT) プロセスを通じたバッチ更新は、通常、データレイク、データウェアハウジング、および分析に使用されます。

マスターデータ管理

マスターデータ管理 (MDM) とは、重要なビジネスデータを管理するプロセスを指します。データの一貫性とデータ同期はどちらもMDMにとって非常に重要です。

マスターデータの例には、顧客データ、パートナーデータ、製品データが含まれます。これらの基本データは主に永続的であり、頻繁には変更されません。このようなデータが使用されている例としては、顧客関係管理 (CRM) やエンタープライズリソースプランニング (ERP) ソフトウェアなどがあります。

更新時の同期やデータ統合など、マスターデータ管理はシステム全体で正確性を確保するために不可欠です。

データ管理のベストプラクティスは、データ戦略を成功させるための基礎となります。強固なデータ基盤の構築に役立つ一般的なデータ管理原則を以下に示します。

チームコラボレーション

ビジネスユーザーと技術チームは、組織のデータ要件を確実に満たすために協力する必要があります。すべてのデータ処理と分析では、ビジネスインテリジェンスの要件を優先する必要があります。そうしないと、収集されたデータは未使用のままになり、計画が不十分なデータ管理プロジェクトではリソースが浪費されます。

オートメーション

成功を収めるデータ管理戦略には、ほとんどのデータ処理と準備タスクにオートメーションが組み込まれています。データ変換タスクを手動で実行するのは面倒で、システムにエラーも生じます。週次のバッチジョブを実行するなど、限られた数の手動タスクであっても、システムのボトルネックを引き起こす可能性があります。データ管理ソフトウェアは、より高速で効率的なスケーリングをサポートできます。

クラウドコンピューティング

企業は、幅広い機能を提供する最新のデータ管理ソリューションを必要としています。クラウドソリューションは、パフォーマンスを犠牲にすることなく、データ管理のあらゆる側面を大規模に管理できます。例えば、AWS は、データベース、データレイク、分析、データアクセシビリティ、データガバナンス、セキュリティなど、単一のアカウント内から利用できる幅広い機能を提供します。