ディメンションテーブルまたは論理ファクトテーブルのデータ遅延を設定すると、システムは最大遅延期間内において、関連するすべての論理テーブルのデータを自動的に再実行します。本トピックでは、ディメンションテーブルおよび論理ファクトテーブルに対するデータ遅延の設定方法について説明します。
制限事項
現在のテナントエンジンが MaxCompute、E-MapReduce3.x、E-MapReduce5.x、CDH 5.X、CDH 6.X、Cloudera Data Platform、FusionInsight 8.X、AsiaInfo DP 5.3、または Amazon EMR の場合にのみ、データ遅延を設定できます。また、対象の論理ファクトテーブルのデータタイムリネスは 日次タイムリネス(オフライン T+1)である必要があり、論理テーブルに イベント時間 フィールドが設定されている必要があります。
論理テーブルにイベント時間フィールドまたはプライマリキーが設定されていない場合、遅延データ処理を有効化できません。
データ遅延を有効化した後は、同一の論理テーブルに対してカスタムマテリアライズを有効化できません。
操作手順
Dataphin のホームページ上部のメニューバーで、開発 > データ開発 を選択します。
開発 ページで、プロジェクト を選択します。Dev-Prod モードでは、さらに 環境 も選択します。
左側のナビゲーションウィンドウで、標準モデリング > 論理ディメンションテーブル または 論理ファクトテーブル を選択します。その後、右側の論理モデルサブツリーから対象の論理テーブルを選択します。
対象の論理テーブルのタブで、スケジューリング設定 をクリックして、スケジューリング設定 パネルを開きます。
スキャン設定 パネルで、論理テーブルの データ遅延 を有効化します。この設定を有効化すると、システムは 最大遅延期間(1~15 日間)内において、当該論理テーブルの全データを自動的に再実行します。この機能は追加のコンピューティングリソースを消費し、出力の遅延を引き起こす可能性があります。
説明論理テーブルにイベント時間フィールドまたはプライマリキーが設定されていない場合、またはカスタムマテリアライズが有効化されている場合、遅延データ処理を有効化できません。
遅延データ処理では、設定された遅延期間内において、論理ファクトテーブルのみが自動的に再実行されます。ダウンストリームテーブルは自動的に再実行されません。
データ遅延が有効化された論理テーブルからプライマリキーを削除すると、データ遅延は自動的に無効化されます。
OK をクリックします。
次のステップ
論理テーブルのデータ遅延を設定した後は、そのスケジューリングプロパティを設定してください。詳細については、「論理テーブルのスケジューリングプロパティの設定」をご参照ください。