モデリングタスクの管理 - Dataphin - Alibaba Cloud ドキュメントセンター

モデリングタスクは、標準化モデリングを使用して作成された論理テーブルタスク (論理ディメンションテーブル、論理ファクトテーブル、論理集計テーブルを含む) のための、Dataphin におけるフィールド指向の運用保守 (O&M) 機能です。このトピックでは、モデリングタスクの表示および管理方法について説明します。

背景情報

モデリングタスクには、論理ディメンションテーブルタスク、論理ファクトテーブルタスク、論理集計テーブルタスクが含まれます。各論理テーブルタスクは、1 つの論理テーブルノードに対応します。システムは、統計期間など、設定したパラメーターに基づいてスケジュールを自動で構成します。論理テーブルタスクの O&M は、テーブルまたはフィールドの視点から実行できます。
説明
論理テーブルタスクは、標準化モデリングをサポートするプロジェクトでのみ表示できます。
モデリングタスクは、標準化モデリングのマテリアライズロジックに基づいて、複数のマテリアライズドノードを自動的に生成します。各論理テーブルノードは、これらのマテリアライズドノードの組み合わせです。複数のフィールドまたはモデリングタスクノードが、同じマテリアライズドノードに属することができます。

使用上の注意

標準化モデリングは動的なマテリアライズロジックを使用するため、O&M は物理的または論理的な視点から実行できます。

物理的な視点：ノードに対する操作が関連フィールドや論理テーブルタスクノードにどのように影響するかを理解するために、マテリアライズドノードの最新のコードや操作ログを表示する必要がある場合があります。たとえば、モデリングタスクノードのデータをバックフィルするには、まずその論理テーブルタスクノードが属するマテリアライズドノードを特定する必要があります。その後、各マテリアライズドノードのデータを 1 つずつバックフィルする必要があります。このプロセスは複雑であり、データ整合性を保証できません。
論理的な視点：O&M が必要なフィールドまたは論理テーブルタスクノードを選択するだけで済みます。システムは、現在のマテリアライズメソッドに基づいて、対応するマテリアライズドノードを自動的に計算します。データ整合性と正確性の原則に基づき、システムは関連操作が必要な関連フィールドについてプロンプトを表示します。物理的な実装について気にする必要はありません。これにより、操作パスが短縮され、O&M コストが削減され、O&M 効率が向上します。

モデリングタスクページへのアクセス

Dataphin のホームページで、上部のメニューバーから [開発] > [タスク O&M] を選択します。
左側のナビゲーションウィンドウで、[タスク O&M] > [定期タスク] を選択します。
上部のメニューバーで、本番環境または開発環境を選択します。
[定期タスク] ページで、[モデリングタスク] タブをクリックします。

モデリングタスクリストでの操作

モデリングタスクがスケジューリングのためにオペレーションセンターに送信されると、[定期タスク] > [モデリングタスク] リストに表示されます。リストには、タスクオブジェクト、スケジュール、優先度、オーナー、関連ベースライン、プロジェクト、最終更新日時、タグ、およびサポートされている操作が表示されます。

[繰り返し]：指定されたタイムゾーンで定期タスクが実行されるようにスケジュールされた時間。
[優先度]：タスクの優先度。論理集計テーブルの場合、テーブル内のすべてのメトリックの優先度が表示されます。そのため、論理集計テーブルは複数の優先度を持つことができます。
[O&M オーナー]：論理テーブルタスクの O&M オーナー。論理集計テーブルの場合、テーブル内のすべてのメトリックのオーナーが表示されます。そのため、論理集計テーブルは複数のオーナーを持つことができます。
[関連ベースライン]：ノードが保証リーフノードとして属するベースラインと、ノードを先祖ノードとして含む関連ベースライン。
説明
ベースライン機能が無効になっている場合、この列は表示されません。
[プロジェクト]：タスクが属するプロジェクト。プロジェクトは プロジェクト英語名 (プロジェクト名) の形式で表示されます。論理集計テーブルが複数のプロジェクトにまたがる場合、プロジェクト名はカンマ (,) で区切られて表示されます。

モデリングタスクリストでは、以下の操作が利用できます。

操作	説明
DAG	をクリックして、モデリングタスクの DAG を表示します。詳細については、「モデリングタスク DAG ノードの操作」をご参照ください。
定期インスタンスの表示	タスクの実行時に生成される定期インスタンスを表示します。定期インスタンスの O&M も実行できます。
開発ノードの編集	Dev プロジェクトのタスク編集ページに移動してタスクを編集します。この操作は Dev-Prod 開発モードにのみ適用されます。
ノードの編集	タスク編集ページに移動してタスクを編集します。この操作は Basic モードにのみ適用されます。
本番ノードの表示	本番プロジェクトに移動して、タスク構成を表示します。説明この機能は、Basic モードまたは Dev-Prod 開発モードで本番環境に公開されていないタスクにはサポートされていません。
フィールドおよびバッチ操作	フィールドとバッチ操作リストに移動して、フィールドに対する操作を実行します。サポートされている操作には、データ生成リネージの表示、データ消費リネージの表示、データバックフィルなどがあります。詳細については、「モデリングタスクフィールドの管理」をご参照ください。
本番リネージの表示	クリックしてテーブルのデータ生成リネージを表示します。詳細については、「モデリングタスクフィールドの管理」をご参照ください。
消費リネージの表示	クリックしてテーブルのデータ消費リネージを表示します。詳細については、「モデリングタスクフィールドの管理」をご参照ください。
マテリアライズコードの表示	論理テーブルタスクのマテリアライズコードを表示します。
データバックフィルインスタンスの表示	データバックフィル操作によって生成されたインスタンスを表示し、O&M を実行します。
データバックフィル	論理テーブルタスクノードのデータをバックフィルします。詳細については、「定期タスクのデータバックフィル」をご参照ください。
先祖ノードと子孫ノードのダウンロード	現在のノードの先祖ノードと子孫ノードのリストをダウンロードします。リストには、表示されていない列もすべて含まれます。 [先祖/子孫ノードのダウンロード] をクリックした後、[先祖/子孫ノードのダウンロード] ダイアログボックスで、先祖ノードと子孫ノードのレベルを選択します。[レベル 1]～[レベル 10]、または [すべてのレベル] から選択できます。デフォルトは両方ともレベル 1 です。レベルを選択した後、[OK] をクリックして Excel ファイルをダウンロードします。ファイル名は `{task_name}_ancestor_descendant_nodes_{timestamp}.xlsx` となります。
オーナーの変更	クリックして論理テーブルのオーナーを変更します。説明この操作は、Basic モードおよび Dev-Prod モードの Prod 環境にのみ適用されます。Dev 環境ではオーナーを変更できません。詳細テーブル：このテーブルのオーナーを変更するには、現在のプロジェクトに対する O&M 権限が必要です。集計テーブル：この集計テーブル内のメトリックのオーナーをバッチで変更する場合、対応するプロジェクトで O&M 権限を持つメトリックのみを変更できます。システムは、O&M 権限がないメトリックを自動的に除外します。詳細テーブルの場合、親ディメンション論理テーブルのオーナーを変更すると、子ディメンション論理テーブルのオーナーも自動的に親ディメンションのオーナーに変更されます。
優先度の変更	ベースライン上にない論理テーブルタスクの場合、クリックして論理テーブルの優先度を変更します。説明これは、Basic モードおよび Dev-Prod モードの Prod 環境にのみ適用されます。Dev 環境では変更できません。ベースライン上の論理テーブルタスクの優先度は、ベースラインの優先度によって決まります。ベースラインで優先度を調整してください。詳細テーブル：このテーブルの優先度を変更するには、現在のプロジェクトに対する O&M 権限が必要です。集計テーブル：この集計テーブル内のメトリックの優先度をバッチで変更する場合、対応するプロジェクトで O&M 権限を持つメトリックのみを変更できます。システムは、O&M 権限がないメトリックを自動的に除外します。現在のテナントでベースライン機能が有効になっている場合、タスクの優先度は最低、低、または中にしか設定できません。この構成は、ベースライン上にないマテリアライズドノードとその対応するフィールドにのみ有効です。より高い優先度を設定するには、ベースラインで構成してください。コンピュートエンジンのタイプが MaxCompute の場合、Dataphin タスクの優先度と MaxCompute ジョブの優先度の対応関係は次のとおりです: 最低 (9)、低 (7)、中間 (5)、高 (3)、最高 (1)。MaxCompute ジョブの優先度の詳細については、「」および「ジョブの優先度」をご参照ください。 Spark SQL タスクの優先度は、Hadoop コンピュートエンジンの HDFS 内のタスクに対して異なる優先度付きキューが構成されている場合にのみ有効です。
監視とアラートの設定	タスク実行の監視ルールを設定します。詳細については、「オフラインタスク監視の概要」をご参照ください。説明この操作は、Prod プロジェクトおよび Basic プロジェクトにのみ適用されます。現在のプロジェクトでタスク監視を構成する権限を持つアカウントのみが、監視とアラートを設定できます。

モデリングタスク DAG ノードの操作

有向非巡回グラフ (DAG) は、タスクノードとその先祖ノードおよび子孫ノード間の依存関係を示します。先祖ノードと子孫ノードの O&M も実行できます。デフォルトでは、DAG はメインノード (選択されたノード) とその第一レベルの先祖ノードおよび子孫ノードを表示します。モデリングタスクノードを選択して、タスクの O&M 操作を実行できます。

Dataphin はクロスプロジェクト O&M をサポートしています。クロスプロジェクトのモデリングタスクノードで O&M 操作を実行するには、メトリックが属するプロジェクトの表示および操作権限が必要です。集計テーブルタスクの場合、必要な権限を持つメトリックに対してのみ操作を実行できます。

DAG での操作

操作	説明
親ノードを展開	DAG 内のメインノードの異なるレベルの依存ノードを展開します。
子ノードを展開	DAG 内のメインノードの異なるレベルの依存ノードを展開します。
マテリアライズドノードの展開	現在の論理テーブルタスクノードのマテリアライズドノードを展開して、マテリアライズドノードの名前、マテリアライズドノード内のフィールド、およびマテリアライズコードを表示します。
操作ログの表示	現在のノードの操作ログを表示します。

モデリングノードの操作
DAG ノードにカーソルを合わせると、その名前、タイプ、スケジュール、オーナー、および説明が表示されます。モデリング DAG ノードの操作は、モデリングタスクリストの操作と同じです。詳細については、「モデリングタスクリストでの操作」をご参照ください。
説明
集計テーブルタスクは特定のプロジェクトに属さないため、現在のプロジェクト内でクロスプロジェクトのメトリックとその集計テーブルの監視とアラートを設定することはできません。

モデリングタスクのバッチ操作

モデリングタスクは、以下のバッチ操作をサポートしています：

操作	説明
[O&M オーナーの変更]	モデリングタスクのオーナーをバッチで変更します。説明これは、Basic モードおよび Dev-Prod モードの Prod 環境にのみ適用されます。Dev 環境では変更できません。選択したテーブルまたはメトリックのオーナーをバッチで変更するには、対応するプロジェクトに対する O&M 権限が必要です。
[優先度の変更]	モデリングタスクの優先度をバッチで変更します。説明これは、Basic および Dev-Prod パターンの Prod 環境にのみ適用されます。Dev 環境では変更はサポートされていません。選択したテーブルまたはメトリックの優先度をバッチで変更するには、対応するプロジェクトに対する O&M 権限が必要です。現在のテナントでベースライン機能が有効になっている場合、タスクの優先度は最低、低、または中にしか設定できません。この構成は、ベースライン上にないマテリアライズドノードとその対応するフィールドにのみ有効です。より高い優先度を設定するには、ベースラインで構成してください。お使いのコンピュートエンジンタイプが MaxCompute の場合、Dataphin タスクの優先度と MaxCompute ジョブの優先度の対応は次のとおりです: 最低 (9)、低 (7)、中 (5)、高 (3)、最高 (1)。MaxCompute ジョブの優先度の詳細については、「ジョブの優先度」をご参照ください。 Spark SQL タスクの優先度は、Hadoop コンピュートエンジンの HDFS 内のタスクに対して異なる優先度付きキューが構成されている場合にのみ有効です。
データバックフィル	デフォルトでは、選択したタスクとその先祖ノードおよび子孫ノードのデータがバックフィルされます。バックフィル操作では、[すべてのフィールド] および [大量モード] - [ノード ID を指定] メソッドが使用されます。タイムスタンプ範囲を除き、データバックフィルの基本情報やその他の構成をカスタマイズできます。パラメーターの詳細については、「現在のノードとその先祖および子孫ノードのデータをバックフィルする」をご参照ください。