データウェアハウスの階層化とは、データモデルを階層構造に整理するアーキテクチャ上の手法です。この手法では、ビジネスシナリオ、データ、システムの使用状況を包括的に分析し、目的の異なるデータを個別のレイヤーに分類します。階層化アーキテクチャは、データの整理、管理、保守性を向上させます。
レイヤーカテゴリ
DataWorks は、Data Import Layer、Common Layer、Application Layer などのレイヤーカテゴリを提供します。データを階層構造で表示するために、異なる機能を持つレイヤーを適切なカテゴリに割り当てることができます。以下の図は、デフォルトの 5 層データアーキテクチャの例です。データ層を計画した後、対応するレイヤーにテーブルデータを格納できます。
-
Data Import Layer:このレイヤーは、データベース、ログ、メッセージなどのソースデータをインポートするために使用されます。一連の ETL 操作を経て、ソースデータはこのレイヤーにロードされます。このレイヤーにはソーステーブルのみをアタッチできます。
-
Common Layer:このレイヤーは、データインポートレイヤーからの共通データを処理および統合し、統一されたメトリックとディメンションを確立し、分析と統計のための再利用可能な詳細ファクトデータとサマリーデータを構築するために使用されます。このレイヤーには、詳細テーブル、ディメンションテーブル、集計テーブルを含めることができます。Data Domain/Business Process はこのレイヤーの一部です。
-
Application Layer:共通レイヤーで処理・統合されたデータに基づき、特定のアプリケーションシナリオや指定されたプロダクト向けにカスタマイズされたデータ統計を生成します。このレイヤーには、アプリケーションテーブルとディメンションテーブルを含めることができます。Data Mart/Subject Area はこのレイヤーの一部です。
データウェアハウスレイヤーの定義
組み込みレイヤー
DataWorks は、デフォルトで 5 つの組み込みレイヤーを提供します:[オペレーショナルデータストア (ODS)]、[ディメンション (DIM)]、[データウェアハウス詳細 (DWD)]、[データウェアハウスサマリー (DWS)]、および [アプリケーションデータサービス (ADS)]。
各レイヤーは特定の機能を果たします:
オペレーショナルデータストア (ODS)
ODS レイヤーは、データウェアハウスシステム用の生データを受け取り、ステージングする役割を担います。そのテーブル構造はソースシステムの構造と一致し、データウェアハウスのステージングエリアとして機能します。ODS レイヤーは、生データに対して以下の操作を実行します:
-
生データの構造化データを、増分または完全同期でデータウェアハウスに同期します。
-
ログ情報などの非構造化データを構造化し、データウェアハウスに格納します。
-
ODS レイヤーのテーブル名は、
odsで始まる必要があります。
データウェアハウス詳細 (DWD)
DWD レイヤーは、ビジネスイベントに基づいてデータモデルを構築します。最も詳細な粒度のデータを使用して、詳細ファクトテーブルを作成します。データ使用パターンに基づいて、重要なディメンション属性を非正規化してワイドテーブル形式にすることができます。この手法により、ファクトテーブルとディメンションテーブル間の結合が不要になり、クエリのパフォーマンスと使いやすさが向上します。
データウェアハウスサマリー (DWS)
DWS レイヤーは、分析主題に基づいてデータモデルを構築します。上流のアプリケーションやプロダクトからのメトリック要件に基づいて、集計メトリックのための共通の粒度でファクトテーブルを作成します。
たとえば、ODS レイヤーからのユーザーの動作を事前集計して、時間、IP アドレス、ID などの共通ディメンションを導出できます。これらのディメンションを使用して、ユーザーがさまざまな期間に異なる IP アドレスから購入したプロダクトの数などの統計を計算できます。DWS レイヤーは、さらに軽量な集約を実行して計算効率を向上させることができます。たとえば、これらのサマリーから 7 日間、30 日間、90 日間の動作メトリックを計算すると、処理時間を大幅に節約できます。
アプリケーションデータサービス (ADS)
ADS レイヤーは、データプロダクト用のカスタム統計メトリックを格納し、さまざまなレポートを生成するために使用されます。たとえば、e コマース企業は、6 月 9 日から 6 月 19 日までの特定のリージョンで販売されたさまざまなスポーツボールの販売量とランキングをレポートできます。
ディメンション (DIM)
DIM レイヤーは、ディメンションを使用してデータモデルを構築します。ビジネス要件に基づいて、このレイヤーは論理モデルからのディメンションテーブル、または概念モデルからのディメンション定義を格納できます。ディメンションを定義し、プライマリキーを指定し、ディメンション属性を追加し、異なるディメンションを関連付けることで、一貫性のある全社的な分析ディメンションテーブルを構築できます。この方法は、計算ロジックとアルゴリズムの不整合を減らします。
カスタムレイヤー
Data Layer ページに移動して、組み込みのデータウェアハウスレイヤーを表示します。Tiled Display と Hierarchy Display を切り替えて、ページレイアウトを調整できます。
組み込みレイヤーが要件を満たさない場合は、カスタムレイヤーを 作成 できます:
-
Create をクリックします。Create Data Layer パネルで、レイヤーの基本情報を構成します。次の表に、主要なパラメーターを示します。
パラメーター
説明
Category
このパラメーターは Model Type と共に使用され、作成されたレイヤーを特定のカテゴリに割り当て、対応するモデルタイプに関連付けます。
説明Category は設定後に変更できません。レイヤーカテゴリは慎重に計画してください。
Model Type
このパラメーターは Category と共に使用され、対応するモデルタイプを異なるレイヤーカテゴリにアタッチします。
-
Data Import Layer:ODS Table のみをアタッチできます。
-
Common Layer:Fact Table、Aggregate Table、Dimension Table、および Conceptual Dimensions をアタッチできます。Dimension Table と Conceptual Dimensions は、個別または一緒にアタッチできます。
-
Application Layer:Application Table、Dimension Table、および Conceptual Dimensions をアタッチできます。Dimension Table と Conceptual Dimensions は、個別または一緒にアタッチできます。
説明Model Type は設定後に変更できません。モデルタイプは慎重に計画してください。
Description
ユーザーがレイヤーの目的を素早く理解し、正しいレイヤーにデータを格納できるよう、機能的な説明を記述します。
-
-
レイヤーを削除するには、まずそのレイヤーに含まれるすべてのデータテーブルを削除する必要があります。
データウェアハウスレイヤーチェッカーの構成
データウェアハウスレイヤーチェッカーは、モデル と メトリック の命名規則を強制します。オブジェクトを作成する際、チェッカーが自動的に名前を生成できるため、公開される物理テーブル名が直感的で理解しやすくなります。
-
レイヤーをクリックして、その詳細ページに移動します。
-
Checker Management セクションで、[ルールの作成] をクリックし、Create Rule for Model または [メトリックのルールを作成] を選択します。
-
次の表に、チェッカーのパラメーターを示します。
モデルルール
パラメーター
説明
Rule Name
チェッカールールの名前。
Rule Type
-
モデルルール:デフォルトは Table Name (英語のテーブル名) です。[ディメンショナルモデリング] でモデルを作成する際に、対応する [チェッカー] を選択してテーブル名を自動生成できます。
Rule Definition
データモデルの命名規則を定義します。このルールは、Dimensional Modeling 内のレイヤーでモデル名をチェックするために使用されます。
-
モデルルール:
-
検証対象のテーブルのプレフィックスを入力します。たとえば、データウェアハウスレイヤーでテーブル名を
dimで始める必要がある場合、dimと入力できます。 -
また、
アイコンをクリックして、業務カテゴリの略語、データドメインの略語、データマートの略語、主題領域の略語などの要素を使用してルールを定義することもできます。これらの要素は自由に組み合わせることができます。 -
推奨される命名規則は次のとおりです:
-
ディメンション (DIM):dim_{business_category}_{data_domain}_{custom_content}_{storage_policy}
-
データウェアハウス詳細 (DWD):dwd_{business_category}_{data_domain}_{business_process}_{custom_content}_{storage_policy}
-
データウェアハウスサマリー (DWS):dws_{business_category}_{data_domain}_{custom_content}_{time_period}
-
アプリケーションデータサービス (ADS):ads_{business_category}_{data_mart}_{subject_area}_{custom_content}_{time_period}
-
-
Description
チェッカーの説明。
メトリックルール
パラメーター
説明
Rule Name
チェッカールールの名前です。
Rule Type
-
メトリックルール:Display NameまたはAbbreviationに対して設定できます。メトリックを作成すると、指定されたデフォルトルールに基づいて、派生メトリクスの名前がシステムによって自動的に生成されます。
Rule Definition
メトリックの命名規則を定義します。このルールは、データインジケータ内のレイヤーにおけるメトリック名を確認するために使用されます。
-
メトリックルール:修飾子、アトミックメトリクス、統計期間を選択してルールを定義します。これらの要素は任意の順序で組み合わせることができます。
Description
チェッカーの説明です。
-
-
デフォルトのチェッカーを設定します。
チェッカーリストの上にある [デフォルトルール] セクションで、モデルまたはメトリックのデフォルトチェッカーを設定できます。モデルまたはメトリックの作成時にルールを明示的に指定しない場合、システムはデフォルトのチェッカーを使用して自動的に名前を生成します。
-
強ルールと弱ルールについて理解します。
-
Weak Rule:命名チェッカーが弱ルールとして設定されている場合、その命名規則は推奨事項として扱われます。ルールを無視して、カスタム名でモデルまたはメトリックを正常に作成できます。
-
Strong Rule:命名チェッカーが強ルールとして設定されている場合、モデルまたはメトリックを作成するには、その命名規則に従う必要があります。従わない場合、モデルまたはメトリックを保存できません。
-
データウェアハウスレイヤーの使用
その後、Dimensional Modeling または Data Metrics に移動し、適切なデータウェアハウスレイヤーを選択して、論理モデルやさまざまなメトリックを作成できます。
[ディメンショナルモデリング] で、[共通レイヤー] タブを選択してファクトテーブルを作成すると、[データウェアハウス階層化] フィールドに自動的に 共通レイヤー - データウェアハウス詳細 が表示されます。
チェッカーの使用
-
Dimensional Modeling または Data Metrics でチェッカーを使用します。
-
ディメンショナルモデリング:
-
テーブル名の自動生成:論理モデル を作成する際、Naming Rule フィールドでチェッカーを選択できます。システムはチェッカールールに基づき、テーブルの Table Name を自動的に提案します。
-
テーブル名の検証:チェッカーを選択せずにテーブル名を作成または編集する場合、論理モデルを保存する際に、入力した名前がチェッカールールに対して検証されます。
-
複数のチェッカーが存在する場合、名前がいずれか 1 つに準拠していれば検証は成功します。
-
-
データメトリック:
-
メトリック名の自動生成:Derived Metric を作成する際、Period、Modifier、および Atomic Metric を選択し、[インテリジェント推奨] をクリックします。システムは Default Rule に基づいて、表示名と略語の両方を自動的に生成します。
-
メトリック名の検証:メトリックの Abbreviation と Display Name を作成または編集する際、メトリックを保存すると、名前がチェッカールールに準拠しているかどうかがシステムによって自動的にチェックされます。
-
複数のチェッカーが存在する場合、名前がいずれか 1 つに準拠していれば検証は成功します。
-
-
-
手動で [チェックの開始] と [結果の表示] を行います。
チェッカーを構成した後、Start Check をクリックして、現在のレイヤーのデータモデル名が命名規則に準拠していることを確認します。その後、結果を使用して、準拠していないモデルを修正できます。
説明-
Start Check 機能は、メトリックルールではサポートされていません。
-
チェック操作は、有効になっているチェッカーに対してのみ実行されます。
-
新しいチェッカーはデフォルトで有効になっています。チェッカーを使用する必要がない場合は、無効にしてチェックが実行されないようにすることができます。
チェックが完了したら、View Results をクリックして結果を確認します。
-
次のステップ
これらのステップを完了したら、Data Standard に移動して標準を定義するか、Dimensional Modeling および Data Metrics に移動してモデルとメトリックを開発できます。
データウェアハウスが大規模で、複数のチーム間での共同作業が必要な場合は、データウェアハウスの構造を他のワークスペースと共有できます。構成の詳細については、「モデリングワークスペース」をご参照ください。