コンピュートエンジンに多数の物理テーブルがあり、それらを DataWorks データモデリングで管理したい場合は、リバースモデリング機能を使用します。この機能は、既存の物理テーブルを DataWorks ディメンションモデリングフレームワークにインポートし、手動でのモデル作成作業を不要にすることで、大幅な労力を削減します。このトピックでは、リバースモデリングの実行方法について説明します。
前提条件
ご利用のコンピュートエンジンに多数の物理テーブルがあり、ターゲットの DataWorks ワークスペースでそのエンジン用のデータソースを作成済みであること。データソースの作成方法の詳細については、「データソースの管理」をご参照ください。
モデルを分類するためのデータウェアハウス層を定義済みであること。詳細については、「データウェアハウス層の定義」をご参照ください。
Common Layer は、ソース層からの公開データを処理および統合し、統一されたメトリックとディメンションを確立し、分析と統計のための再利用可能な詳細ファクトデータとサマリーデータを構築します。Application Layer は、実際のアプリケーション要件に基づいて Common Layer から処理および統合されたデータを取得し、特定のアプリケーションシナリオまたは指定されたプロダクトに対してパーソナライズされたデータ統計を実行します。
作成したモデルは、Common LayerまたはApplication Layerに割り当てることができます。各レイヤーごとに、以下の準備を個別に完了する必要があります。
Common Layer:
Application Layer：
制限事項
この機能は、MaxCompute および E-MapReduce (EMR) Hive コンピュートエンジンの本番環境にあるテーブルのみをサポートしています。
仕組み
リバースモデリングは、既存の物理テーブルをビッグデータ コンピュートエンジンから DataWorks のディメンションモデリングモジュールにインポートします。プロセスは次のとおりです。
リバースモデリングポリシーの設定。
スコープ: ワークスペースとコンピュートエンジンインスタンスを指定して、インポートするテーブルを決定します。テーブルは名前またはキーワードで一致させることができます。DataWorks はこれらのテーブルを使用してモデルを生成します。
このプロセスでは、テーブルのワークスペースとコンピュートエンジンインスタンス、およびテーブル名を完全一致またはキーワードを使用して一致させるかどうかを指定する必要があります。一致したテーブルはリバースエンジニアリングされ、対応するモデルが生成されます。
モデリングルール: ターゲットのデータ層と、生成されるモデルの命名規則を定義します。
テーブル名チェッカーを使用するか、カスタム規則を定義して、同じ層内のモデル名を標準化できます。一貫した命名により、モデルのビジネスタイプとデータ粒度を名前から識別しやすくなります。テーブル名チェッカーの詳細については、「データウェアハウス層チェッカーの設定」および「チェッカーの使用」をご参照ください。
実行方法: すべてのターゲットモデルを最初から作成するか (フルアップデート)、ディメンションモデリングモジュールにまだ存在しないモデルのみを作成するか (インクリメンタルアップデート) を選択します。
説明ポリシーは作成され、モデルの生成に使用された後は変更できないため、慎重に計画してください。
詳細については、「リバースモデリングポリシーの設定」をご参照ください。
テーブルの解析とモデルのマッチング。
DataWorks はポリシーに基づいてテーブルを解析し、作成するモデルを識別します。
モデル情報の確認。
DataWorks によって生成された初期のモデルは、調整を必要とする場合があります。ビジネス要件に合わせるために、Data Domain および [ビジネスプロセス] などのモデル情報を確認・修正する必要があります。詳細については、「モデル情報の確認」をご参照ください。
最終モデルの生成。
モデリングタスクが完了すると、生成されたモデルの情報とステータスを表示できます。モデルの作成に失敗した場合は、エラーメッセージを表示して、問題を迅速に特定し解決できます。
説明正常に生成されたモデルは、対応するコンピュートエンジンですでに具体化されています。再度公開する必要はありません。
正常に生成されたモデルは、ディメンションモデリングモジュールに保存されます。[ディメンショナルモデリング] ページに移動して、それらを表示および管理できます。詳細については、「テーブルの公開と管理」をご参照ください。
操作手順
Reverse Modeling ページに移動します。
DataWorks コンソールにログインします。DataWorks コンソールの上部ナビゲーションバーで、目的のリージョンを選択します。左側ナビゲーションウィンドウで、 を選択します。表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[データモデリングへ移動] をクリックします。
Data Modeling ページの上部ナビゲーションバーで、Dimensional Modeling をクリックして Dimensional Modeling ページに移動します。
左側の Dimensional Modeling ページのナビゲーションウィンドウで、Reverse Modeling をクリックして、Reverse Modeling ページに移動します。
モデリングタスクを開始します。
この機能を初めて使用する場合は、リバースモデリング ページでReverse ModelingStart Nowをクリックします。
以前にこの機能を使用したことがある場合は、モデリングタスクリストの右上隅のModeling TasksStart Reverse Modelingをクリックします。
リバースモデリングポリシーを設定します。
説明ポリシーは作成され、モデルの生成に使用された後は変更できないため、慎重に計画してください。
ポリシー情報を設定します。
パラメータ
説明
Workspace
ソーステーブルが配置されている DataWorks ワークスペースを選択します。
説明ご利用のアカウントが属する DataWorks ワークスペースのみを選択できます。別のワークスペースを選択するには、そのワークスペースのメンバーとして追加される必要があります。詳細については、「ワークスペースレベルでのモジュールの権限管理」をご参照ください。
Compute Engine Type
リバースモデリングは現在、MaxCompute および E-MapReduce (EMR) Hive コンピュートエンジンの本番環境にある物理テーブルのみをサポートしています。
Compute Engine Instance
ソーステーブルが配置されているコンピュートエンジンインスタンスを選択します。
Table Name Matching Rule
ターゲットのコンピュートエンジンでテーブルを一致させる方法を選択します。DataWorks は一致したテーブルをインポートします。
Fuzzy Match: キーワードを入力して、そのキーワードを名前に含むすべてのテーブルを一致させます。
Exact Match: テーブルの完全で正確な名前を入力します。
説明複数のテーブル名をセミコロン (
;) で区切ります。セミコロンの後にスペースを追加しないでください。一致するテーブルがない場合、リバースモデリングタスクは失敗し、モデルは生成されません。
Data Layer of Model After Reverse Modeling
Common Layer: このレイヤーを選択して、ファクトテーブル、ディメンションテーブル、および集計テーブルを作成します。
Application Layer: このレイヤーを選択して、アプリケーションテーブルおよびディメンションテーブルを作成します。
Table Naming Rule
このルールは、Table Name Matching Rule によってマッチしたテーブルの名前を解析し、生成されたモデルの名前を標準化して、適切なデータウェアハウスレイヤーに割り当てます。
解析ルール
一致したテーブル名とアンダースコアの数を解析します。
テーブル名には最大で 9 個のアンダースコアを含めることができ、それらの間のセグメントを構成して、[ビジネスプロセス]、Data Domain、および Custom などの情報を指定できます。
テーブル名に認識済みのデータ層プレフィックスが含まれている場合、システムは生成されたモデルをそのレイヤーに割り当てます。
説明テーブル名に対応する Data Domain、[ビジネスプロセス]、またはその他のレイヤー情報が見つからない場合、そのモデルのレイヤーは空のままになります。Confirm Model Information を行う際に、モデルをレイヤーに割り当てることができます。
解析メソッド
Table Name Checker：事前に設定されたチェッカーを選択して、一致したテーブル名を解析します。チェッカーの作成方法の詳細については、「データウェアハウスレイヤーチェッカーの設定」および「チェッカーの使用」をご参照ください。
Custom Rule：[ビジネスプロセス]、Data Domain、Business Category、および Custom コンテンツのカスタムの組み合わせを作成して、一致したテーブル名を解析します。
Execution Method
作成方法を選択します：
Full Update：DataWorks は、一致したすべてのテーブルをディメンションモデリングモジュールにインポートします。
一致したすべてのテーブルのモデルをゼロから再生成する場合は、この方法を選択します。
説明一致したテーブルのモデルがすでに存在する場合、 Full Update は既存のモデルを削除して、新しいモデルを作成します。
Incremental Update：DataWorks は次のステップを実行します：
ディメンションモデリングモジュールにすでに対応するモデルが存在するテーブルを識別し、除外します。
既存のモデルがない、一致したテーブルのみをインポートします。
一部のモデルがすでに存在し、再作成する必要がないことがわかっている場合は、この方法を選択します。
Create Model をクリックして、ポリシーに基づきテーブルを解析します。
モデル情報の確認
モデル情報を確認します。
DataWorks はポリシーに基づいて初期モデルを生成します。 必要に応じて Table Type を調整し、モデルを正しい Data Layer、Data Domain、およびその他の属性に割り当てることができます。 また、モデリングしたくないテーブルを削除することもできます。
Generate Model をクリックしてモデルを作成します。
モデリング結果の表示
モデルが生成されると、タイプ別に正常に作成されたモデルの数を確認できます。失敗したタスクについては、詳細情報を表示し、Error Logs をクリックすると、問題を迅速に特定して解決できます。
説明正常に生成されたモデルは、対応するコンピュートエンジンで既にマテリアライズされています。再度パブリッシュする必要はありません。
正常に生成されたモデルは、ディメンションモデリングモジュールに保存されます。ディメンションモデリングページに移動して、モデルを表示および管理できます。詳細については、「テーブルのパブリッシュと管理」をご参照ください。
モデリングタスクの表示
ページでは、作成したタスクの詳細と操作ログを表示できます。
セクション | 説明 |
1 | このセクションでは、Task ID、Operated By、または Operation Date でリバースモデリングタスクをフィルターできます。 |
2 | このセクションには、リバースモデリングルールと結果を含む各タスクの詳細が表示されます。
|
次のステップ
リバースモデリングタスクを完了した後、以下の操作を行えます。
「ディメンショナルモデリング」ページのモデル管理ツリーに移動し、作成されたモデルを確認します。詳細については、「テーブルの公開およびマテリアライズ」をご参照ください。
DataStudio ページに移動し、DataStudio でタスクを実行します。DataStudio の機能概要については、「DataStudio の機能概要」をご参照ください。