計算エンジンに多数の物理テーブルが存在し、DataWorksデータモデリングを使用してすべてのテーブルを一元管理する場合、DataWorksデータモデリングが提供するリバースモデリング機能を使用して、物理テーブルのリバースモデリングを実行できます。リバースモデリング機能は、データモデリング操作の簡素化、テーブルの作成の効率化、および時間コストの削減に役立ちます。このトピックでは、リバースモデリングを実行する方法について説明します。
前提条件
計算エンジン内に多数の物理テーブルが作成されています。データソースが作成され、目的のワークスペースに関連付けられています。データソースの作成方法とワークスペースへの関連付け方法の詳細については、「データソースの作成と管理」をご参照ください。
必要なデータレイヤーが作成されています。データレイヤーはテーブルを格納するために使用されます。詳細については、「データレイヤーの作成」をご参照ください。
共通レイヤーは、データインポートレイヤーからの共通データを処理および統合するために使用されます。共通レイヤーでは、統一されたメトリックディメンションを作成し、分析および統計収集に使用される再利用可能なファクトデータと集計データを構築できます。アプリケーションレイヤーは、ビジネス要件に基づいて、共通レイヤーで処理および統合されたデータを再構築するために使用されます。アプリケーションレイヤーには、特定のアプリケーションシナリオまたは特定の製品の統計データを格納できます。
テーブルは、[共通レイヤー]または[アプリケーションレイヤー]に属することができます。共通レイヤーまたはアプリケーションレイヤーにテーブルを作成するには、次の準備を行う必要があります。
[共通レイヤー]:
[アプリケーションレイヤー]:
制限事項
本番環境のMaxComputeまたはE-MapReduce (EMR) Hive計算エンジン内のテーブルに対してのみリバースモデリングを実行できます。
リバースモデリングプロセス
計算エンジンに存在する物理テーブルに対してリバースモデリングを実行できます。システムは、物理テーブルに基づいてDataWorksディメンションモデリングにテーブルを作成します。次の図は、リバースモデリングプロセスを示しています。
リバースモデリングポリシーを設定します。
モデリング範囲: ビジネス要件に基づいて、リバースモデリングを実行する物理テーブルに関する情報を確認します。
情報には、物理テーブルが属するワークスペースと計算エンジン、および物理テーブルを照合するためのルールが含まれます。一致ルールには、あいまい一致と完全一致が含まれます。
モデリングルール: リバースモデリング後に作成されるテーブルの名前を標準化するために使用される方法を指定し、テーブルが属するデータレイヤーを指定します。
チェッカーを使用するか、カスタム命名規則を設定して、リバースモデリング後に作成されるテーブルの名前を標準化できます。これにより、同じデータレイヤーのテーブルが同じ命名規則に基づいて命名されていることを確認し、テーブル名に基づいてビジネスカテゴリやデータ粒度などのテーブルに関する情報を知ることができます。チェッカーの設定方法と使用方法については、「データレイヤーでチェッカーを設定および使用する」をご参照ください。
実行方法: 必要なすべてのテーブルを作成するか、ディメンションモデリングページに存在しないテーブルのみを作成するかを指定します。
説明リバースモデリング操作は元に戻すことができず、リバースモデリングポリシーは作成および使用後に変更できません。ビジネス要件に基づいて、事前にリバースモデリングポリシーを計画することをお勧めします。
詳細については、「リバースモデリングポリシーを設定する」をご参照ください。
物理テーブルを解析し、一致した物理テーブルに基づいてディメンションモデリングページにテーブルを作成します。
システムは、物理テーブルと設定したリバースモデリングポリシーに基づいて、物理テーブルを解析し、ディメンションモデリングページにテーブルを作成します。
一致した物理テーブルに関する情報を確認します。
作成されたテーブルがビジネス要件を満たしていない場合があります。一致した物理テーブルに関する情報を変更して、一致した物理テーブルに基づいて作成されたテーブルがビジネス要件を満たしていることを確認できます。たとえば、一致した物理テーブルの[データドメイン]または[ビジネスプロセス]を変更できます。詳細については、「一致した物理テーブルに関する情報を確認する」をご参照ください。
リバースモデリングの結果を表示します。
リバースモデリングが完了したら、作成されたテーブルのタイプと数を確認できます。特定のテーブルの作成に失敗した場合は、報告されたエラーメッセージを確認し、できるだけ早く問題をトラブルシューティングできます。
説明作成されたテーブルは、関連する計算エンジンに自動的にマテリアライズされます。テーブルを手動で公開する必要はありません。
作成されたテーブルは、ディメンションモデリングページで管理できます。詳細については、「テーブルを公開および管理する」をご参照ください。
手順
[リバースモデリング] ページに移動します。
DataWorksコンソールにログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションペインで、 を選択します。表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[データモデリングに移動] をクリックします。
[データモデリング] ページの上部ナビゲーションバーで、[ディメンションモデリング] をクリックして、[ディメンションモデリング] ページに移動します。
[ディメンションモデリング] ページの左側のナビゲーションペインで、[リバースモデリング] をクリックして、[リバースモデリング] ページに移動します。
リバースモデリングを開始します。
リバースモデリング機能を初めて使用する場合は、[リバースモデリング] ページの [今すぐ開始] をクリックします。
2回目以降は、[モデリングタスク] ページの右上隅にある [作成] をクリックします。
リバースモデリングポリシーを設定します。
説明リバースモデリング操作は元に戻すことができず、リバースモデリングポリシーは作成および使用後に変更できません。ビジネス要件に基づいて、事前にリバースモデリングポリシーを計画することをお勧めします。
リバースポリシーの作成ステップで、パラメーターを設定します。
パラメーター
説明
ワークスペース
リバースモデリングを実行する物理テーブルが属するDataWorksワークスペース。
説明現在のログインアカウントがメンバーとして追加されているワークスペースのみを選択できます。詳細については、「ワークスペースレベルのサービスに対する権限を管理する」をご参照ください。
計算エンジンの種類
リバースモデリングに使用される物理テーブルが存在する計算エンジンの計算エンジンの種類。計算エンジンは本番環境にあります。
計算エンジンインスタンス
リバースモデリングに使用される物理テーブルが存在する計算エンジンの名前。
テーブル名一致ルール
システムが選択した計算エンジン内の物理テーブルの名前を照合するために使用するルール。システムは、一致した物理テーブルに基づいてディメンションモデリングページにテーブルを作成します。有効な値:
あいまい一致: この一致ルールを選択してフィールドにキーワードを入力すると、システムは名前にキーワードが含まれるすべての物理テーブルを照合します。
完全一致: この一致ルールを選択した場合は、リバースモデリングを実行するすべての物理テーブルの完全な名前を入力する必要があります。
説明テーブル名一致ルールパラメーターに「完全一致」を選択し、複数のテーブル名を入力する場合は、テーブル名をスペースのないセミコロン (;) で区切る必要があります。
一致する物理テーブルがない場合、リバースモデリングは失敗し、テーブルは作成されません。
リバースモデリング後のモデルのデータレイヤー
共通レイヤー: ファクトテーブル、ディメンションテーブル、または集計テーブルを作成する場合は、この値にパラメーターを設定します。
アプリケーションレイヤー: アプリケーションテーブルまたはディメンションテーブルを作成する場合は、この値にパラメーターを設定します。
テーブル命名規則
システムが[一致した物理テーブル]を解析し、リバースモデリング中に作成されるテーブルの名前を標準化するために使用する命名規則。システムは、解析結果に基づいて、作成されたテーブルを適切なデータレイヤーに格納します。
解析ルール
システムは、「テーブル名一致ルール」パラメーターで指定された方法と、各テーブル名に含まれるアンダースコア (_) の数を使用して、一致した物理テーブルを解析します。
テーブル名には最大 9 つのアンダースコア (_) を含めることができ、2 つのアンダースコア (_) の間に[ビジネスプロセス名]、[データドメイン名]、[カスタムコンテンツ]などの項目を含めることができます。
システムが物理テーブルの名前にデータウェアハウスレベルの名前が含まれていることを識別した場合、システムは同じ名前のテーブルを作成し、そのテーブルをデータウェアハウスレベルに格納します。
説明物理テーブルの名前に[データドメイン]や[ビジネスプロセス]の名前などのデータウェアハウスレベルの名前が含まれていない場合、「モデル情報を確認」ステップに表示される物理テーブルのデータウェアハウスレベルは空になります。この場合、「[モデル情報を確認]」ステップで物理テーブルのデータウェアハウスレベルを選択できます。
解析方法
テーブル名チェッカーを使用する: 作成済みのチェッカーを選択できます。これにより、システムはチェッカーで定義された命名規則に基づいて物理テーブルの名前を解析します。チェッカーの作成方法と使用方法については、「データレイヤーでチェッカーを設定および使用する」をご参照ください。
カスタムテーブル命名規則を設定する: テーブル命名規則パラメーターを「カスタムルール」に設定すると、[ビジネスプロセス]、[データドメイン]、[ビジネスタイプ]、[カスタム]などのオプションをビジネス要件に基づいてテーブル命名規則に組み合わせることができます。その後、システムは命名規則に基づいて物理テーブルの名前を解析します。
実行方法
テーブルを作成するために使用される方法。有効な値:
完全更新: この値にパラメーターを設定すると、システムはディメンションモデリングページのすべての一致した物理テーブルに基づいてテーブルを作成します。
システムにディメンションモデリングページのすべての一致した物理テーブルに基づいてテーブルを作成させる場合は、この方法を選択します。
説明実行方法パラメーターに[完全更新]を選択し、一致ルールを満たすテーブルがディメンションモデリングページに既に存在する場合、システムは既存のテーブルを削除し、テーブルを再作成します。
増分更新: この値にパラメーターを設定すると、システムは一致した物理テーブルに対して次の操作を実行します。
ディメンションモデリングページで一致ルールを満たす既存のテーブルを識別して保持します。
ディメンションモデリングページに存在しないテーブルのみを作成します。
一部のテーブルがディメンションモデリングページに作成されており、テーブルが変更されていない場合は、この方法を選択できます。
[モデルの作成]をクリックします。システムは、リバースモデリングポリシーに基づいて物理テーブルを解析します。
一致した物理テーブルに関する情報を確認します。
一致した物理テーブルに関する情報を確認します。
システムは、一致した物理テーブルとリバースモデリングポリシーに基づいてテーブルを作成します。ビジネス要件に基づいて、一致した物理テーブルの[テーブルタイプ]、[データレイヤー]、[データドメイン]などの情報を変更できます。物理テーブルでリバースモデリングを実行する必要がなくなった場合は、「モデル情報を確認」ステップの「解析済みテーブル」セクションからテーブルを削除できます。
[モデルの生成]をクリックして、テーブルを確定します。
リバースモデリングの結果を表示します。
リバースモデリングが完了したら、「完了」ステップで、作成されたさまざまなタイプのテーブルの数と、作成に失敗したテーブルの詳細を表示できます。作成に失敗したテーブルの「アクション」列にある[エラーログ]をクリックして、エラー情報を表示し、できるだけ早く問題をトラブルシューティングできます。
説明作成されたテーブルは、関連する計算エンジンに自動的にマテリアライズされます。テーブルを手動で公開する必要はありません。
作成されたテーブルは、ディメンションモデリングページで管理できます。詳細については、「テーブルを公開および管理する」をご参照ください。
リバースモデリングタスクを表示する
[モデリングタスク]ページで、リバースモデリングタスクの詳細と操作ログを表示できます。
番号 | 説明 |
1 | 1でマークされた領域では、[タスク ID]、[オペレーター]、[操作日]などのフィルター条件を指定して、目的のリバースモデリングタスクを検索できます。 |
2 | 2でマークされた領域では、「テーブル名一致ルール」パラメーターの設定とリバースモデリングの結果を表示できます。
|
次のステップ
リバースモデリングが完了したら、次の操作を実行できます。
ディメンションモデリングページに移動し、左側のナビゲーションツリーに表示されるテーブルを管理します。テーブルの公開方法と管理方法については、「テーブルを公開およびマテリアライズする」をご参照ください。
DataStudioページに移動し、データ開発操作を実行します。DataStudioページの機能については、「DataStudioページの機能」をご参照ください。