データウェアハウスの階層化は、ビジネスシナリオ、データ、およびシステムの使用状況に基づいて、データモデルのアーキテクチャと階層を定義します。これは、異なる目的を持つデータを異なる層に分類して割り当てるために使用され、データの整理、管理、および保守を向上させるのに役立ちます。
層カテゴリ
DataWorks は、次の層カテゴリを提供します。[データインポート層]、[共通層]、[アプリケーション層]。階層構造を表示するには、適切なカテゴリに層を割り当てます。次の図は、デフォルトの 5 層データアーキテクチャを例として使用しています。データ層を計画した後、計画に従ってテーブルを異なる層に格納できます。
[データインポート層]:データベース、ログ、およびメッセージキューからソースデータを収集します。 ETL 後、データはこの層に格納されます。ソーステーブルのみをこの層にロードできます。
[共通層]:データインポート層からのデータを処理および統合し、統一されたメトリックとディメンションを確立し、分析と統計のために再利用可能な詳細レベルのファクトデータとサマリーデータを構築します。ファクトテーブル、ディメンションテーブル、および集計テーブルをこの層カテゴリにアタッチできます。データドメインとビジネスプロセスはこの層で管理されます。
[アプリケーション層]:共通層から処理および統合されたデータにアクセスして、特定のアプリケーションまたは製品向けにパーソナライズされたメトリックとレポートを生成します。アプリケーションテーブルとディメンションテーブルをこの層にアタッチできます。 データマート と 主題領域 は、この層の範囲に含まれます。
データウェアハウス層を定義する
組み込みレイヤー
デフォルトでは、DataWorks は 5 つの層を提供します。[オペレーショナルデータストア (ODS)]、[ディメンション (DIM)]、[データウェアハウス詳細 (DWD)]、[データウェアハウスサマリー (DWS)]、および[アプリケーションデータサービス (ADS)]。
各層の機能は次のとおりです。
ODS
ODS 層は、データウェアハウスの生データを受信してステージングします。この層のテーブル構造は、ソースデータシステムのテーブル構造と同じであり、データウェアハウスのステージングエリアとして機能します。 ODS 層は、生データに対して次の操作を実行します。
生データの構造化データを、増分または完全のいずれかでデータウェアハウスに同期します。
ログ情報などの生の非構造化データを構造化し、データウェアハウスに格納します。
この層のテーブル名が
odsで始まることを確認します。
DWD
DWD 層は、最も粒度の細かいレベルでビジネスイベントをモデル化します。キーディメンション属性を追加することで、データテーブルを非正規化できます。この方法は、ファクトテーブルとディメンションテーブル間の結合の必要性を減らし、クエリのパフォーマンスを向上させます。
DWS
DWS 層は、分析の主題に基づいてデータモデルを構築します。アップストリームのメトリックニーズをサポートするために、パブリック 集計 テーブルを作成します。
たとえば、ODS 層のユーザー行動を事前に分類して集計し、時間、IP アドレス、ID などの共通ディメンションを導き出すことができます。このデータを使用して、ユーザーがさまざまな期間にさまざまな IP アドレスから購入した製品の数などのメトリックを計算できます。
DWS 層では、追加の軽量集計を実行して計算効率を向上させることができます。たとえば、アプリケーションはこれらの日次集計を使用して、7 日間、30 日間、および 90 日間の行動メトリックを計算できます。これにより、かなりの 処理時間 を節約できます。
ADS
ADS 層は、データ製品のカスタム統計メトリックを格納し、さまざまなレポートを生成するために使用されます。たとえば、e コマース企業は、6 月 9 日から 19 日までの間にシンガポールで販売されたさまざまなスポーツボールの販売量とランキングを報告できます。
DIM
DIM 層は、ディメンションを使用してデータモデルを構築します。実際のビジネスニーズに基づいて、論理モデルのディメンションテーブルまたは概念モデルのディメンション定義を格納できます。ディメンションを定義し、 プライマリキー を指定し、ディメンション属性を追加し、さまざまなディメンションを 関連付ける ことで、分析のために企業全体で一貫したディメンションテーブルを構築できます。これは、データ計算ロジックとアルゴリズムの不整合に関連するリスクを軽減するのに役立ちます。
カスタムレイヤー
[データウェアハウスの階層化] ページに移動して、プリセットされたデータウェアハウス層を表示します。[タイル表示] と [階層表示] を切り替えて、ページレイアウトを調整します。
プリセットレイヤーがニーズを満たさない場合は、作成 カスタムレイヤーを作成します。
[作成] をクリックし、[データレイヤーの作成] パネルでレイヤーの基本情報を構成します。主要な パラメーター を以下に示します。
パラメーター
説明
[カテゴリ]
[モデルタイプ] と一緒に使用されます。レイヤーをカテゴリに割り当て、モデルタイプをレイヤカテゴリに関連付けます。
説明[カテゴリ] を設定した後、変更することはできません。
[モデルタイプ]
[カテゴリ] と共に使用され、対応するモデルタイプを異なるレイヤーカテゴリにアタッチします。
[データインポート層]:ソーステーブルのみをアタッチできます。
[共通層]:ファクトテーブル、集計テーブル、ディメンションテーブル、およびディメンションをアタッチできます。ディメンションテーブルとディメンションは、個別に、または一緒にアタッチできます。
[アプリケーション層]:アプリケーションテーブル、ディメンションテーブル、およびディメンションをアタッチできます。ディメンションテーブルとディメンションは、個別に、または一緒にアタッチできます。
説明[モデルタイプ] を設定した後、変更することはできません。
[説明]
データウェアハウス層の説明を入力します。これは、ユーザーがその目的をすばやく理解し、データが正しい層に格納されるようにするのに役立ちます。
レイヤーを削除します。レイヤーにデータテーブルが含まれている場合は、レイヤーを削除する前にすべてのテーブルを削除する必要があります。
データウェアハウスレイヤチェッカーを構成する
データウェアハウスレイヤチェッカーは、モデルとメトリックの 命名規則 を適用します。モデルまたはメトリックを作成すると、チェッカーは自動的にオブジェクト名を生成できるため、物理テーブル名を理解しやすくなります。
ターゲットレイヤーをクリックして、詳細ページに移動します。
[チェッカー管理] セクションで、[ルールの作成] をクリックし、[モデルのルールの作成] または [メトリックのルールの作成] を選択します。
チェッカーの パラメーター については、次の表で説明します。
モデルのルールの作成
構成アイテム
説明
[ルール名]
新しいチェッカルールの名前。
[ルールタイプ]
デフォルトは [名前] です。[ディメンショナルモデリング] でモデルを作成するときに、対応するチェッカーを選択してテーブル名を自動的に生成できます。
[ルール定義]
データモデルの 命名規則 を定義します。このルールは、[ディメンショナルモデリング] 中にレイヤー内のモデル名を確認するために使用されます。
照合するテーブルのプレフィックスを入力します。たとえば、データウェアハウスレイヤーでテーブル名が
dimで始まる必要がある場合は、dimと入力します。
アイコンをクリックして、業務カテゴリの略語、データドメインの略語、データマートの略語、または主題領域の略語などの要素を使用してルールを定義することもできます。これらの要素は自由に組み合わせることができます。推奨される 命名規則 は次のとおりです。
DIM:dim_{business_category}_{data_domain}_{custom_content}_{storage_policy}
DWD:dwd_{business_category}_{data_domain}_{business_process}_{custom_content}_{storage_policy}
DWS:dws_{business_category}_{data_domain}_{custom_content}_{time_period}
ADS:ads_{business_category}_{data_mart}_{subject_area}_{custom_content}_{time_period}
[説明]
チェッカーの説明。
メトリックのルールの作成
構成アイテム
説明
[ルール名]
新しいチェッカルールの名前。
[ルールタイプ]
[表示名] または [略語] に対して構成可能です。メトリックを作成すると、システムはデフォルトルールに基づいてメトリック名を生成します。
[ルール定義]
修飾子、アトミックメトリック、および統計期間を任意の順序で選択して、メトリック名を定義します。[データメトリック] では、このルールはレイヤー内のメトリック名を確認します。
[説明]
チェッカーの説明。
デフォルトのチェッカーを設定します。
[デフォルトルール] で、モデルまたはメトリックのデフォルトチェッカーを設定します。モデルまたはメトリックを作成するときにルールが指定されていない場合、デフォルトチェッカーは自動的に名前を生成します。
弱いルールと 強制ルール。
[弱いルール]:命名チェッカーが弱いルールとして設定されている場合、ルールを バイパス して、カスタムテーブル名でモデルを保存できます。
[強制ルール]:命名チェッカーが 強制ルール として設定されている場合、モデルまたはメトリックを作成するときに 命名規則 に従う必要があります。そうでない場合、モデルまたはメトリックを保存できません。
データウェアハウス層を使用する
層を設定した後、[ディメンショナルモデリング] または [データメトリック] に移動し、適切なデータウェアハウス層を選択して、論理モデルまたはメトリックを作成できます。
チェッカーを使用する
[ディメンショナルモデリング] または [データメトリック] で使用します。
ディメンショナルモデリング
テーブル名を自動生成する:論理モデルを作成するときに、[命名ルール] でチェッカーを選択します。システムはルールに基づいて名前を提案します。
テーブル名を検証する:テーブル名を作成または編集するときに、チェッカーを選択しない場合、論理モデルを保存するときに、システムはテーブル名がチェッカルールに準拠しているかどうかを確認します。
複数のチェッカーが存在する場合、名前がいずれかのチェッカーに準拠していれば検証は合格です。
データメトリック
メトリック名を自動生成する:[派生メトリック] を作成するときに、[期間]、[修飾子]、および [アトミックメトリック] を選択し、[インテリジェントレコメンデーション] をクリックします。システムは デフォルトルール に基づいてメトリック名を自動的に生成します。
テーブル名を検証する:メトリックの [略語] と [表示名] を作成または編集して保存するときに、システムは入力された名前がチェッカルールに準拠しているかどうかを自動的に確認します。
複数のチェッカーがある場合、名前がいずれかのチェッカーに準拠していれば検証は合格です。
[チェックを開始] および [結果を表示]。
チェッカーを構成した後、[チェックを開始] をクリックして、現在のレイヤーのデータモデル名が 命名規則 に準拠しているかどうかを確認します。次に、結果に基づいて、準拠していないモデルに対処できます。
説明[チェックを開始] 機能は、現在、メトリックルールではサポートされていません。
チェックは、有効になっているチェッカーに対してのみ実行されます。新しいチェッカーはデフォルトで有効になっています。チェッカーを使用する必要がない場合は、無効にしてチェックが実行されないようにすることができます。
チェックが完了したら、[結果を表示] をクリックしてチェック結果を確認します。
次のステップ
これらの手順を完了した後、[データ標準] に進んで標準を定義するか、[ディメンショナルモデリング] および [データメトリック] に進んでモデルとメトリックを開発できます。
データウェアハウスが large で、チーム間の コラボレーション が必要な場合は、計画されたウェアハウス構造を他の ワークスペース と共有できます。構成の詳細については、「モデリングワークスペース」をご参照ください。