MaxCompute:データウェアハウスのレイヤーへの分割

• ODSレイヤは、データウェアハウスに生データを格納する。 データ構造は基本的にソースシステムのデータ構造と一致しています。 ODS層は、データウェアハウスのデータステージング領域として機能する。 基本データをMaxComputeにインポートし、基本データの過去の変更を記録します。

• CDMレイヤは、一般データモデルレイヤとも呼ばれ、ディメンションデータ (DIM) レイヤ、データウェアハウス詳細 (DWD) レイヤ、およびデータウェアハウスサービス (DWS) レイヤで構成されます。 CDM層は、ODS層のデータを処理および統合して、適合次元を定義し、分析および統計のための再利用可能な詳細なファクトテーブルを作成し、共通メトリックを集約する。

  • DIMレイヤは、次元モデリングの概念に基づいて企業の適合次元を定義する。 一貫性のない統計基準とアルゴリズムのリスクを軽減します。

    DIMレイヤのテーブルは、論理次元テーブルとも呼ばれる。 一般に、各次元は論理次元テーブルに対応する。

  • DWSレイヤは、データモデリング中に分析対象によって駆動されます。 DWSレイヤは、上位層のアプリケーションおよび製品のメトリック要件に基づいて、共通のメトリックを集約するファクトテーブルを作成し、ワイドテーブルを使用して物理データモデルを構築します。 DWSレイヤは、統一された命名規則および統計基準に準拠して統計メトリックを作成し、上位層に共通のメトリックを提供し、集合ワイドテーブルおよび詳細ファクトテーブルを生成する。

    DWSレイヤのテーブルは、論理集約テーブルとも呼ばれ、派生メトリックを格納するために使用されます。

  • DWDレイヤは、データモデリング中のビジネスプロセスによって駆動されます。 特定の各ビジネスプロセスに基づいて、詳細なファクトテーブルを最も細かい粒度で作成します。 企業のデータ使用習慣と組み合わせて、詳細ファクトテーブルのディメンションのいくつかのキー属性フィールドを複製して、ワイドテーブルを作成できます。

    DWDレイヤのテーブルは、論理ファクトテーブルとも呼ばれる。

• ADSレイヤは、データ製品の個別化された統計メトリックを格納する。 CDMレイヤとODSレイヤのデータを処理する。

ODSレイヤでは、データ分類アーキテクチャは、3つの部分、すなわち、データステージングエリア、オフラインデータエリア、および準リアルタイムデータエリアに分割される。

このチュートリアルでは、DataWorksはトランザクションデータシステムからデータを収集し、そのデータをデータウェアハウスのODSレイヤーに同期します。 次に、データウェアハウスはデータを処理してワイドファクトテーブルを作成し、製品や地域などのディメンションを使用してデータを集計します。

MaxComputeは、ODSレイヤーからDIMレイヤーへのETL (extract-transform-load) 処理を担当します。 処理されたデータは、すべてのストレージシステムに同期されます。 ODSおよびDWDレイヤにおけるデータは、データミドルウェアに格納され、その結果、データは、ディセンダントアプリケーションによってサブスクライブされ、使用されることができる。 DWSおよびADSレイヤのデータは、通常、オンラインストレージシステムに格納される。 ディセンダントアプリケーションは、関連するメソッドを呼び出してデータを使用できます。