DataWorks データモデリングでは、モデリング前にデータ標準を定義するか、モデリングプロセス中にビジネスデータからデータ標準を派生させることができます。ルックアップテーブル、測定単位、フィールド標準、命名辞書に標準を適用することで、モデリングとアプリケーション全体でデータ整合性を確保します。このアプローチにより、ソースでのデータ生成が標準化され、下流のデータ処理とアプリケーションのコストが削減されます。
サポートされているデータ標準
DataWorks は、次のデータ標準をサポートしています:Field Standard、Lookup Table、Measurement Unit、およびNaming Dictionary。
フィールド標準
フィールド標準は、名前、データ型、値の範囲など、フィールドの定義を標準化します。同じ意味を持つフィールドに単一の標準を適用することで、名前や型の不一致による混乱を防ぐことができます。たとえば、member_id という名前のフィールド標準を作成し、それをテーブル内の対応するフィールドに関連付けて、すべてのメンバー ID フィールドの一貫性を確保できます。
|
テーブル名 |
元のフィールド |
問題 |
標準化されたフィールド |
|
登録テーブル |
user_id |
命名の不一致 |
member_id |
|
ログインテーブル |
userid |
アンダースコアがないため、あいまいさが生じる |
ルックアップテーブル
ルックアップテーブルは、フィールドに許容される値の範囲を定義します。たとえば、gender フィールドは「Male」、「Female」、「Unknown」に制限できます。
測定単位
測定単位は、通貨、数量、時間など、ビジネス固有の単位を定義します。たとえば、item quantity の測定単位は piece にすることができます。
命名辞書
命名辞書は、ビジネス用語、物理テーブル、およびフィールドの語根と形態素の標準化された定義を提供します。これは、命名規則のための企業レベルのライブラリとして機能します。たとえば、会社の年間収入の標準用語は total annual revenue となります。
データ標準の関係
関連付けとは、データ標準を論理モデルの特定のフィールドにリンクすることです。これにより、フィールドは標準で定義されたルールに従うようになります。
データ標準へのアクセス
-
DataWorks コンソールにログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、 を選択します。表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[データモデリングへ移動] をクリックします。
-
Data Modeling ページで、上部のメニューバーにある Data Standard をクリックして、データ標準ページを開きます。
データ標準:フィールド標準
フィールド標準は、命名、データ型、値の範囲など、フィールドの標準定義を提供します。これにより、複数のテーブルで同じ意味を持つが名前が異なるフィールドを関連付けることができます。フィールド標準が変更された場合、関連するすべてのテーブルをすばやく見つけて更新できます。
階層構造
-
フィールド標準を作成するときは、ルートディレクトリ、ディレクトリ、または標準セットの下に配置する必要があります。階層は次のとおりです:
-
ルートディレクトリ:最上位のディレクトリ。すべてのディレクトリ、標準セット、および標準は、ルートディレクトリの下に配置する必要があります。
-
ディレクトリ:ディレクトリは、オペレーティングシステムのフォルダと同様に、標準と標準セットを格納します。
-
標準セット:標準セットはディレクトリに似ていますが、標準のみを含むことができます。
-
-
フィールド標準には継承関係を持たせることができます。たとえば、購入者 ID 標準と販売者 ID 標準は、どちらもメンバー ID 標準から継承できます。
フィールド標準の定義
多数のフィールド標準を入力する必要がある場合は、一括インポート機能を使用すると効率的です。
-
Data Standard ページで、左側のナビゲーションウィンドウにある Field Standard をクリックして、Field Standard ページに移動します。
-
左側のディレクトリツリーで、ターゲットのディレクトリまたは標準セットを右クリックし、[標準の作成] を選択します。
必要に応じてディレクトリまたは標準セットを作成して、フィールド標準を整理できます。
-
Create Standard ダイアログボックスで、次のパラメーターを設定します。
パラメーター
説明
Abbreviation
論理モデルのフィールドに関連付けられると、この値がフィールドの名前になります。
Display Name
論理モデルのフィールドに関連付けられると、この値がフィールドの表示名になります。
Length
このパラメーターは、選択したデータ型によって異なります。
たとえば、DECIMAL 型を選択した場合、長さは DECIMAL(20, 4) の 20 に対応します。
Precision
このパラメーターは、選択したデータ型によって異なります。
たとえば、DECIMAL 型を選択した場合、精度は DECIMAL(20, 4) の 4 に対応します。
NULL 不許可
この標準を参照するフィールドが null 値を許容するかどうかを指定します。デフォルトでは、null 値は許容されます。
Default Value
値が指定されていない場合に参照フィールドに設定されるデフォルト値。最大長は 2,048 文字です。
Parent Standard
既存の標準を親標準として選択して継承関係を作成できます。これにより、フィールドの関連付けをより適切に識別できます。
たとえば、購入者 ID と販売者 ID はどちらもメンバー ID の一種であるため、それぞれの標準はメンバー ID 標準から継承できます。
Referenced Lookup Table
事前に定義されたルックアップテーブルを選択して、フィールドの値の範囲を制約できます。
重要フィールド標準を削除する前に、それへのすべての参照を削除する必要があります。
フィールド標準の使用
フィールド標準を使用して、論理モデルの特定のフィールドを定義できます。これは、ソーステーブル、ディメンションテーブル、ファクトテーブル、集計テーブル、およびアプリケーションテーブルでサポートされています。たとえば、メンバー情報ディメンションテーブル dim_ec_con_member_df のメンバー ID フィールドをフィールド標準 member_id に関連付けることができます。この場合、フィールド名はフィールド標準の略称から継承され、表示名は表示名から継承され、型と Null 値を許容しないプロパティも直接継承されます。詳細な手順については、「ディメンションテーブルのフィールドの設定」をご参照ください。

データ標準:ルックアップテーブル
ルックアップテーブルは、フィールドに許容される値の範囲を定義します。
ルックアップテーブルの定義
多数のルックアップテーブルを入力する必要がある場合は、一括インポート機能を使用すると効率的です。
-
Data Standard ページで、左側のナビゲーションウィンドウにある Lookup Table をクリックして、Lookup Table ページに移動します。
-
ディレクトリ名を右クリックし、Create Lookup Table をクリックします。
必要に応じてディレクトリを作成して、ルックアップテーブルを整理できます。
-
Create Lookup Table ダイアログボックスで、パラメーターを設定し、列挙値を追加します。
たとえば、ID を gender に、表示名を性別に、名前を gender に設定します。列挙値は次のとおりです。
コード ID
コード名
名前
説明
0
不明
unknown
不明な性別
1
男性
male
男性
2
女性
female
女性
重要ルックアップテーブルを削除する前に、それへのすべての参照を削除する必要があります。
ルックアップテーブルの公開
ルックアップテーブル詳細ページの右上隅にある [公開] をクリックして、ルックアップテーブルを物理テーブルまたはマテリアライズドビューとしてマテリアライズします。
ルックアップテーブルの使用
ルックアップテーブルを使用して、論理モデルの特定のフィールドを定義できます。これは、ソーステーブル、ディメンションテーブル、およびファクトテーブルでサポートされています。たとえば、メンバー情報ディメンションテーブル dim_ec_con_member_df の gender フィールドをルックアップテーブル gender に関連付けることができます。この場合、フィールド名はルックアップテーブルの ID から継承され、表示名は表示名から継承されます。詳細な手順については、「ディメンションテーブルのフィールドの設定」をご参照ください。

フィールドが複数のテーブルで異なる名前を持つ場合、すべてのインスタンスを単一のルックアップテーブルに関連付けることで、命名を標準化できます。
|
テーブル名 |
元のフィールド |
元の列挙値 |
標準化されたフィールド |
標準化された列挙値 |
|
メンバー情報テーブル |
sex |
1, 2 |
gender |
0, 1, 2 |
|
メンバーログインテーブル |
gender |
0, 1, 2 |
ルックアップテーブルによる標準の実装
論理モデルのファクトテーブルまたはディメンションテーブルが物理テーブルとして公開されると、システムはルックアップテーブルに関連付けられているフィールドに対して品質ルールを生成します。その後、この品質ルールに基づいて品質監視ルールを作成し、物理テーブルの標準を監視および適用できます。詳細については、「データ標準の実装」をご参照ください。
データ標準:測定単位
測定単位は、通貨、数量、時間など、ビジネス固有の単位を定義します。
測定単位の定義
多数の測定単位を入力する必要がある場合は、一括インポート機能を使用すると効率的です。
-
Data Standard ページで、左側のナビゲーションウィンドウにある Measurement Unit をクリックして、Measurement Unit ページに移動します。
-
Measurement Unit ページで、ターゲットの測定カテゴリを右クリックし、Create Measurement Unit を選択します。
-
Create Measurement Unit ダイアログボックスで、パラメーターを設定し、[OK] をクリックします。
たとえば、略称を m に、名前を meter に、表示名をメートルに設定し。
測定単位の使用
論理モデルとの関連付け
測定単位を使用して、論理モデルの特定のフィールドの単位を定義できます。これは、ファクトテーブル、集計テーブル、およびアプリケーションテーブルでサポートされています。たとえば、注文作成ファクトテーブル dwd_trade_order の item quantity フィールドを測定単位 piece に関連付けることができます。詳細な手順については、「ファクトテーブルのフィールドの設定」をご参照ください。

アトミックメトリックとの関連付け
アトミックメトリックを定義するときに、アトミックメトリックの統計データ型に基づいて適切な測定単位を選択できます。
データ標準:命名辞書
命名辞書は、ビジネス用語、物理テーブル、およびフィールドの語根と形態素の標準化された定義を提供します。これは、命名規則のための企業レベルのライブラリとして機能します。
命名辞書の定義
多数の命名辞書を入力する必要がある場合は、一括インポート機能を使用すると効率的です。
-
Data Standard ページで、左側のナビゲーションウィンドウにある Naming Dictionary をクリックして、Naming Dictionary ページに移動します。
-
Create をクリックします。[命名辞書の作成] ダイアログボックスで、パラメーターを設定し、OK をクリックします。
たとえば、表示名をエンジンに、名前を engine に、略称を eng に設定します。
命名辞書の使用
命名辞書を使用して、データウェアハウスレイヤーのテーブルの命名規則を確認できます。これは、ソーステーブル、ディメンションテーブル、ファクトテーブル、集計テーブル、およびアプリケーションテーブルでサポートされています。たとえば、略称が trade の命名辞書エントリが存在しない場合、テーブル名 dwd_trade_order は DWD レイヤーの命名規則に違反します。


この機能を使用するには、データウェアハウスレイヤーチェッカーで設定します。詳細については、「データウェアハウスレイヤーチェッカーの設定」および「チェッカーの使用」をご参照ください。
その他の操作
標準の一括インポート
多数のデータ標準を作成する必要がある場合は、一括インポート機能を使用できます。DataWorks は、入力してアップロードできるインポートテンプレートを提供します。
-
Data Standard ページで、左側のナビゲーションウィンドウにある Naming Dictionary をクリックして、Naming Dictionary ページに移動します。
フィールド標準とルックアップテーブルの詳細ページにも、インポートボタンとエクスポートボタンがあります。
-
Import をクリックして [インポート] ページに移動し、Import Type を選択します。
-
[テンプレートプレビュー] セクションで、[テンプレートのダウンロード] をクリックし、必須フィールドに入力します。
-
Next Step をクリックします。Data Import タブで、データファイルをアップロードしてプレビューします。
説明-
Import Mode:インポートファイル内のオブジェクトと同じ名前のオブジェクトが DataWorks にすでに存在する場合、そのオブジェクトをスキップするか、ファイルの内容で上書きするかを選択できます。
-
一括インポートは、
.xlsx形式のファイルのみをサポートします。1 回の操作で最大 30,000 レコードをインポートでき、ファイルサイズは10 MBを超えることはできません。
-
-
[OK] タブで、インポート結果を表示できます。エントリの横にある View More Details をクリックして、編集ページに移動し、その他の操作を行うことができます。インポートが失敗した場合は、提供された詳細に基づいてエラーを解決し、再度インポートを試みる必要があります。
バッチエクスポート基準
異なるワークスペース間でデータ標準を再利用する必要がある場合は、一括エクスポート機能を使用できます。[エクスポート] ボタンは、フィールド標準、ルックアップテーブル、または命名辞書の詳細ページにあります。