DataWorks データモデリングでは、モデリングプロセス前またはモデリングプロセス中にデータ標準を定義できます。 フィールド標準、ルックアップテーブル、測定単位、および命名辞書を標準化することにより、後続のモデリングおよびアプリケーション開発におけるデータ処理の一貫性を確保できます。 このアプローチは、ソースからの標準化されたデータ生成を促進し、データアプリケーションと処理のコストを削減します。
サポートされているデータ標準
DataWorks は、次のデータ標準をサポートしています。[フィールド標準]、[ルックアップテーブル]、[測定単位]、および[命名辞書]。
フィールド標準
フィールド標準は、名前、データ型、値の範囲など、フィールドの定義を正規化します。 同じ意味を持つフィールドを標準化することで、名前や型の不一致による混乱を防ぎます。 たとえば、member_id という名前のフィールド標準を作成し、関連するテーブルに適用して、すべてのメンバー ID フィールドが標準化されるようにします。
テーブル名 | 元のフィールド | 問題の説明 | 標準化されたフィールド |
受付テーブル | user_id | 命名規則の不一致 | member_id |
ログインテーブル | userid | アンダースコアがない |
ルックアップテーブル
ルックアップテーブルは、フィールドに許可される値の範囲を定義します。 たとえば、gender フィールドの値は、男性、女性、または不明に制限される場合があります。
測定単位
ビジネスで使用される測定単位を定義します。 たとえば、item_quantity の測定単位は個です。
命名辞書
命名辞書は、ビジネス用語、物理テーブル、およびフィールドの標準用語と翻訳を提供します。 これは、命名規則の企業全体のライブラリとして機能します。 たとえば、会社の年間収益の標準用語は、年間総収益と定義できます。
データ標準関係図
このコンテキストでは、関連付けとは、データ標準を論理モデルの特定のフィールドにリンクすることを指します。 フィールドは、標準のルールに準拠する必要があります。
データ標準へのアクセス
DataWorks コンソール にログインします。 上部のナビゲーションバーで、目的のリージョンを選択します。 左側のナビゲーションウィンドウで、 を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[データモデリングに移動] をクリックします。
[データモデリング] ページで、上部のナビゲーションバーの [データ標準] をクリックします。
データ標準：フィールド標準
フィールド標準は、フィールドの標準化された定義であり、名前、データ型、および値の範囲を指定します。 フィールド標準を使用して、同じ意味を持ちますが、複数のテーブルで名前が異なるフィールドを関連付けます。 フィールド標準が後で変更された場合は、関連付けられているテーブルをすばやく見つけて変更できます。
階層
フィールド標準を作成する場合、ルートディレクトリ、ディレクトリ、または標準セットの下に配置する必要があります。
ルートディレクトリ：最上位ディレクトリ。 他のすべてのディレクトリ、標準セット、および標準は、ルートディレクトリの下に配置する必要があります。
ディレクトリ：標準と標準セットを格納するために使用されます。 オペレーティングシステムのフォルダに似ています。
標準セット：ディレクトリに似ていますが、標準のみを含めることができます。
フィールド標準は、継承関係を持つことができます。 たとえば、購入者 ID 標準と販売者 ID 標準の両方が、メンバー ID 標準から継承できます。
フィールド標準の定義
多数のフィールド標準を入力する必要がある場合は、一括インポート 機能を使用できます。
[データ標準] ページで、左側のナビゲーションウィンドウの [フィールド標準] をクリックします。
左側のディレクトリツリーで、ターゲットディレクトリまたは標準セットを右クリックし、[標準の作成] をクリックします。
ダイアログボックスで主要なパラメータを設定します
パラメーター
説明
省略名
論理モデル内の関連フィールドの名前として使用されます。
表示名
論理モデル内の関連フィールドのフィールド表示名として使用されます。
長さ
データ型に関連するパラメーターです。たとえば、DECIMAL 型の場合は、DECIMAL(20, 4) の 20 に対応します。
精度
データ型に関連するパラメーターです。たとえば、DECIMAL 型の場合は、DECIMAL(20, 4) の 4 に対応します。
[空ではない]
この標準を使用するフィールドを NULL にできるかどうかを指定します。デフォルト値は NULL 許容です。
デフォルト値
値が指定されていない場合のフィールドのデフォルト値です。最大長は 2048 文字です。
親標準
既存の標準を親として選択して、継承関係を確立します。これは、フィールドの関係をより適切に識別するのに役立ちます。
たとえば、 [Buyer ID] と [Seller ID] は [Member ID] の種類であるため、[Buyer ID Standard] と [Seller ID Standard] の両方の親標準は [Member ID Standard] になります。
[参照されるルックアップテーブル]
作成済みの ルックアップテーブル からテーブルを選択して、フィールドの値の範囲を制限します。
重要フィールド標準を削除する前に、すべての参照を削除します。
フィールド標準を使用する
フィールド標準を使用して、ソーステーブル、ディメンションテーブル、ファクトテーブル、集計テーブル、および アプリケーションテーブル を含む論理モデルで特定のフィールドを定義します。たとえば、メンバー情報ディメンションテーブル dim_ecom_mbr_info_df 内のメンバー ID フィールドを フィールド標準 member_id に関連付けることができます。この場合、フィールド名は標準の 省略名 から取得され、表示名は標準の 表示名 から取得され、タイプ および 空ではない プロパティも継承されます。詳細については、「テーブルフィールド情報を設定する」をご参照ください。
データ標準: ルックアップテーブル
ルックアップテーブルは、フィールドに許可される値の範囲を定義します。
ルックアップテーブルを定義する
多数のルックアップテーブルを入力する必要がある場合は、一括インポート機能を使用できます。
[データ標準] ページで、左側のナビゲーションウィンドウの [ルックアップテーブル] をクリックします。
ディレクトリ名を右クリックし、[ルックアップテーブルの作成] をクリックします。
ダイアログボックスで、パラメーターを設定し、列挙値を追加します。
たとえば、[ID] を gender に、[表示名] を gender に、[名前] を gender に設定します。
コード ID
コード名
名前
説明
0
Unknown
unknown
性別が指定されていません
1
Male
male
男性
2
Female
female
女性
重要ルックアップテーブルを削除する前に、すべての参照を削除してください。
ルックアップテーブルを公開する
ルックアップテーブルの詳細ページの右上隅にある [公開] をクリックして、ルックアップテーブルを物理テーブルまたはマテリアライズドビューとして公開します。
ルックアップテーブルを使用する
標準コードを使用して、論理モデルの特定のフィールド (ソーステーブル、ディメンションテーブル、ファクトテーブル など) を定義します。たとえば、メンバー情報ディメンションテーブル dim_ecom_mbr_info_df の gender フィールドを、ルックアップテーブルの gender フィールドに関連付けることができます。この場合、フィールド名はルックアップテーブルの ID から取得され、表示名はルックアップテーブルの 表示名 から取得されます。詳細については、「ディメンションテーブルのフィールドを設定する」をご参照ください。
フィールドが複数のテーブルで異なる名前を持つ場合、ルックアップテーブルを関連付けることで、フィールド名を自動的に修正および統一できます。
テーブル名 | 元のフィールド | 元の列挙値 | 標準化されたフィールド | 標準化された列挙値 |
メンバー情報テーブル | sex | 1, 2 | gender | 0, 1, 2 |
メンバーログインテーブル | gender | 0, 1, 2 |
ルックアップテーブルに基づいて標準を実装する
論理モデルの ファクトテーブル または ディメンションテーブル が物理テーブルに公開されると、標準コードに関連付けられている特定のフィールドの 品質ルール を生成できます。次に、これらの品質ルールに基づいてモニタリングルールを作成し、物理テーブルの標準を監視および適用します。詳細については、「データ標準に基づいてモニタリングルールを生成する」をご参照ください。
データ標準: 測定単位
通貨、数量詞、時間単位など、ビジネスに関連する測定単位を定義します。
測定単位を定義する
大量の測定単位を入力する必要がある場合は、バッチインポート機能を利用できます。
[データ標準] ページで、左側のナビゲーションウィンドウの [測定単位] をクリックします。
ディレクトリ名を右クリックし、[測定単位の作成] をクリックします。
ダイアログボックスで、パラメーターを設定し、[OK] をクリックします。
たとえば、[略語] を m に、[名前] を meter に、[表示名] を meter に設定します。
測定単位を使用する
論理モデルとの関連付け
測定単位を使用して、論理モデル内の特定のフィールド（ファクトテーブル、集計テーブル、アプリケーションテーブル など）の測定単位を定義します。たとえば、注文作成ファクトテーブル dwd_trade_order の item_quantity フィールドを測定単位 pieces に関連付けることができます。詳細については、「テーブルフィールド情報を設定する」をご参照ください。
アトミックメトリックとの関連付け
アトミックメトリックを定義する場合は、アトミックメトリック の統計データ型に基づいて適切な測定単位を選択します。
データ標準: 命名辞書
命名辞書は、ビジネス用語、物理テーブル、およびフィールドの標準用語と翻訳を提供します。これは、命名規則の企業全体にわたるライブラリとして機能します。
命名辞書を定義する
多数の命名辞書エントリを入力する必要がある場合は、 バッチインポート 機能を使用できます。
[データ標準] ページで、左側のナビゲーションウィンドウの [命名辞書] をクリックします。
[作成] をクリックします。 ダイアログボックスで、パラメーターを設定し、[OK] をクリックします。
たとえば、[表示名] を [エンジン] に、[名前] を engine に、[略語] を eng に設定します。
命名辞書を使用する
命名辞書を使用して、ソーステーブル、ディメンションテーブル、ファクトテーブル、集計テーブル、アプリケーションテーブルなど、データウェアハウスレイヤー内のテーブルの命名規則への準拠を確認します。 たとえば、略語 trade の命名辞書エントリが存在しない場合、テーブル dwd_trade_order は DWD ファクトデータレイヤーの命名規則に準拠していません。
この機能を使用するには、[データウェアハウス計画] 内のチェッカーで設定します。 詳細については、「データウェアハウスレイヤチェッカーを設定する」および「チェッカーを使用する」をご参照ください。
その他の操作
データ標準の一括インポート
多数のデータ標準を作成する必要がある場合は、一括インポートできます。DataWorks は、入力して一括インポートに使用できるインポートテンプレートを提供します。
[データ標準] ページで、左側のナビゲーションウィンドウの [命名規則辞書] をクリックします。
インポートボタンとエクスポートボタンは、フィールド標準、ルックアップテーブル、および測定単位の詳細ページでも使用できます。
[インポート] をクリックし、[インポートタイプ] を選択します。
[テンプレートプレビュー] で、[テンプレートのダウンロード] をクリックし、必須フィールドに入力します。
[次のステップ] をクリックします。[データインポート] タブで、データファイルをアップロードしてプレビューします。
説明[インポートモード]: インポートファイルと同じ名前のオブジェクトが DataWorks に既に存在する場合は、オブジェクトをスキップするか、インポートされたファイルの内容で上書きできます。
.xlsxファイルのみ一括インポートできます。一度に最大 30,000 件のデータレコードをインポートでき、ファイルサイズは10 MBを超えることはできません。
[OK] ページで、インポート結果を表示します。その他の操作については、[詳細の表示] をクリックします。インポートステータスが [失敗] の場合は、エラーログに基づいて問題を解決し、再度インポートを試みる必要があります。
データ標準の一括エクスポート
エクスポート機能を使用して、異なるワークスペース間でデータ標準を再利用します。エクスポートボタンは、[フィールド標準]、[ルックアップテーブル]、[測定単位]、および [命名規則辞書] の詳細ページでも使用できます。