MaxCompute:データウェアハウスの階層

次の図は、データウェアハウスの階層と各階層の目的を示しています。

• オペレーショナルデータストア (ODS) 層：この層は、ソースシステムからの生データを格納します。その構造はソースシステムの構造を反映しており、データウェアハウスのデータステージング領域として機能します。ODS 層の主な目的は、基盤となるデータを MaxCompute に取り込み、その履歴の変更を記録することです。

• 共通データモデル (CDM) 層：ODS 層のデータを処理するこの階層は、DIM、DWD、DWS の各サブレイヤーで構成されています。その主な目的は、データを処理および統合し、コンフォームドディメンションを確立し、分析と統計のために再利用可能な詳細ファクトテーブルを構築し、共通の粒度でメトリックを集計することです。

  • DIM 層：ディメンションモデリングの原則に基づき、この層は、企業全体のコンフォームドディメンションを確立します。これにより、メトリックの定義やアルゴリズムの不整合のリスクが軽減されます。

    DIM 層のテーブルは、しばしば論理ディメンションテーブルと呼ばれ、各ディメンションは通常、単一の論理ディメンションテーブルに対応します。

  • DWS 層：分析対象と、上流のアプリケーションやプロダクトのメトリック要件に基づいて、この層は、共通の粒度で集計ファクトテーブルを構築し、これらのモデルをワイドテーブルとしてマテリアライズします。また、一貫した命名規則と定義を持つ統計メトリックを確立し、上流のアプリケーションに共有メトリックを提供し、集計ワイドテーブルを作成します。

    DWS 層のテーブルは、集計論理テーブルとして知られ、派生メトリックを格納します。

  • DWD layer: Driven by specific business processes, this layer builds detailed fact tables at the finest granularity. Depending on data usage patterns, important dimension attributes can be denormalized into the fact tables to create wide tables.

    Tables in the DWD layer are often called logical fact tables.

• アプリケーションデータサービス (ADS) 層：この層は、CDM 層と ODS 層のデータを処理して生成された、データプロダクトやアプリケーション用にカスタマイズされた統計メトリックを格納します。

このデータアーキテクチャでは、ODS 層は、データステージング領域、オフラインデータエリア、ニアリアルタイムデータエリアの 3 つの部分に分かれています。全体のデータアーキテクチャを次の図に示します。このチュートリアルでは、DataWorks の Data Integration サービスが、トランザクションデータシステムからデータウェアハウスの ODS 層にデータを同期します。Data Development プロセスでワイドファクトテーブルが生成された後、プロダクトやリージョンなどのディメンション別にデータを集計します。

全体のデータフローを次の図に示します。MaxCompute は、ODS 層から DIM 層への ETL (抽出、変換、ロード) 処理を実行します。このプロセスが完了すると、データは関連するすべてのストレージシステム間で同期されます。ODS 層と DWD 層のデータは、下流のサービスがサブスクライブできるようにデータミドルウェアにパブリッシュされます。DWS 層と ADS 層のデータは、通常、オンラインストレージシステムに格納され、下流のアプリケーションは API コールを介してアクセスします。