データバックフィルタスクを使用すると、さまざまなスケジューリング方法を使用して既存データをリフレッシュできます。定期的なデータバックフィルが必要なシナリオでは、データバックフィルの時間指定スケジューリング機能を使用できます。頻繁なデータバックフィルが必要であるが、バックフィル時間とデータタイムスタンプが不確実なノードの場合は、手動で実行されるデータバックフィルタスクを作成できます。このトピックでは、データバックフィルタスクを作成する方法について説明します。
手順
Dataphin ホームページの上部ナビゲーションバーで、[開発] > [タスク操作] を選択します。
左側のナビゲーションバーで、[タスク操作] > [データバックフィルフロー] を選択します。
上部のメニューバーで、本番環境または開発環境を選択します。
[データバックフィルフロー] ページで、[+データバックフィルタスクの作成] をクリックします。
[データバックフィルタスクの作成] ダイアログボックスで、データバックフィルパラメーターを構成します。
パラメータ
説明
基本情報
データバックフィルタスク名
データバックフィルタスクの名前を入力します。名前には最大 128 文字まで使用できます。
データバックフィルタスクの所有者
データバックフィルタスクのオーナーを選択します。
データバックフィルのプロジェクト
現在のデータバックフィルタスクが属するプロジェクトを選択します。現在のユーザーが O&M-アクセスディレクトリ 権限を持っているプロジェクトのみを選択できます。
データバックフィル範囲
開始ノード
データバックフィル範囲の開始ノードを選択します。
ダウンストリームタスクの選択
説明開始タスクが論理テーブルの場合、ダウンストリームタスクの表示範囲は、データバックフィルが必要な選択された論理テーブルフィールドによって異なります。
リストモード: 最大 2000 タスクまで、すべてのレベルのダウンストリームタスクに適用できます。タスクの依存関係は、1 ～ 10 レベルまたはすべてのレベルからすばやく選択できます。
一時停止されたタスクとそのダウンストリームのフィルタリング:
デフォルトで選択されています。選択すると、リストには、指定されたレベルとフィルター条件で実行スキップに設定されたスケジューリングモードを持つノードと、そのすべてのダウンストリームノードは表示されません。同時に、一時停止されたタスクの選択がキャンセルされます。
論理テーブルの場合、一時停止されたフィールドが含まれている限り、それらは除外されます。依存関係ダウンストリームリストで一時停止としてマークされた論理テーブルに含まれるすべてのフィールドのダウンストリームタスクも除外されます。
説明ダウンストリーム論理テーブルフィールドは、データバックフィル用にテーブル全体（すべてのフィールド）としてのみ選択できます。一時停止されたフィールドのみを除外することはできません。
一括モード: リストモードがダウンストリームノードを選択するための要件を満たせない場合（たとえば、ノードが多すぎる場合、または特定の指定されたノードを一括選択する必要がある場合）、一括モードを選択できます。一括モードは、フィルター条件に従って現在のノードから下方向に選択された範囲内のタスクを検索し、依存関係に基づいてそれらを調整します。グローバルデータバックフィルが必要なシナリオに適しています。一括モードでは、次のフィルターパラメーターもサポートされています。
カバレッジ範囲: [プロジェクトの指定]、[ノード出力名の指定]、[現在のノードのすべてのダウンストリーム]、[第 1 レベルの子ノードとそのすべてのダウンストリームを指定]、および [エンドポイントの指定] を使用して範囲を指定できます。
プロジェクトの指定: プロジェクトを選択してデータバックフィル範囲を指定します。
ノード出力名の指定: ノード出力名を入力してデータバックフィル範囲を指定します。複数の名前を入力する場合は、改行で区切ります。最大 1000 個の名前を入力できます。
現在のノードのすべてのダウンストリーム: 現在のノードのすべてのダウンストリームノードのデータをバックフィルします。
第 1 レベルの子ノードとそのすべてのダウンストリームを指定: 現在のノードのいくつかの第 1 レベルの子ノードとそのすべてのダウンストリームノードのデータをバックフィルします。
エンドポイントの指定: 開始点から終了点までのリンク上のすべてのノードのデータをバックフィルします。開始点はデフォルトで現在のノードになり、変更できません。複数のエンドポイントノードを選択できます。
ノード名の指定: ノード名を入力してデータバックフィル範囲を指定します。複数のノードは改行で区切ります。最大 5000 文字まで入力できます。ノード名が複数のタスクに対応している場合は、プロンプトメッセージの [データバックフィルノードの選択] をクリックできます。[ノード名が重複しているノード] ダイアログボックスで、対応するノードを選択して、どのノードでデータバックフィルが必要かを確認します。
説明選択したエンドポイントノードが開始点のダウンストリームノードでない場合、データバックフィルは開始点と終了点の 2 つの独立したノードでのみ実行されます。
エンドポイントは ID/ノード名 で検索できます。検索範囲には、現在のテナント内のすべてのノードが含まれます。
論理テーブルタスクのエンドポイントは、テーブル全体（すべてのフィールド）の選択のみをサポートします。
選択範囲内を除外: カバレッジ範囲から除外する ノード出力名 または ノード名 を指定します。[一時停止されたノードとそのダウンストリームを除外] はデフォルトで選択されており、リストモードの [一時停止されたノードとそのダウンストリームをフィルタリングする] と同じ機能を果たします。
説明選択した範囲内の一部のタスクを除外した後、データバックフィルインスタンスの DAG グラフに独立したタスクノードが表示される場合があります。
これは、特定のダウンストリームタスクノードのみにデータバックフィルが必要なシナリオに適しています。
選択済みノードリスト: 一括モードでは、[選択済みノードリストを表示] をクリックしてデータバックフィルノードを確認するか、[選択済みノードリストをエクスポート] をクリックしてローカルファイルとしてエクスポートできます。ファイル形式は
csvです。
実行構成
スケジュールタイプ
[定期トリガー] または [手動実行] をサポートします。
[繰り返しトリガー]: データバックフィルタスクは、設定されたスケジュール実行時間の [前日の午後 11 時まで] にスケジューリングと実行のためのデータバックフィルインスタンスを生成します。[繰り返しトリガー] では、[スケジュール実行時間] と [データバックフィルデータタイムスタンプ] を構成する必要があります。
スケジュール実行時間: [毎日]、[毎週]、および [毎月] をサポートします。
説明[毎月] のスケジュール実行時間では、実行する [月末]（毎月の最終日）を選択できます。
スケジューリングタイムゾーン: 構成済みのスケジューリングタイムゾーンが表示されます。これは変更できません。
データバックフィルデータタイムスタンプ: [過去 N 日間]、[過去 N 週間（日曜日から月曜日）]、[過去 N か月（初日から末日）]、または [カスタム] データバックフィルデータタイムスタンプをサポートします。
最近の実行時間とデータバックフィルデータタイムスタンプのプレビュー: 上記で構成したスケジュール実行時間とデータバックフィルデータタイムスタンプに基づいて、タスクの実行時間と対応するデータバックフィルデータタイムスタンプをリスト形式でプレビューします（5 つのグループのみが表示されます）。
手動実行: データバックフィルインスタンスを手動で生成して実行します。
同時実行グループ
同時実行グループは、いくつのデータバックフィルプロセスを同時に実行するかを制御するために使用されます。同時実行グループの数を選択できます。システムは、最小 1 グループ、最大 12 グループ の同時実行をサポートしています。
データタイムスタンプの期間が同時実行グループの数よりも少ない場合、実際の並列グループの数はデータタイムスタンプの日数になります。
データタイムスタンプの期間が同時実行グループの数よりも大きい場合、シリアル実行と並列実行の両方がある可能性があります。同じグループ内のインスタンスはデータタイムスタンプの順に実行され、異なるグループのインスタンスは並列に実行されます。たとえば、データタイムスタンプが 1 月 11 日から 1 月 13 日で、同時実行グループの数が 2 の場合、1 月 11 日と 1 月 12 日が 1 つのグループを形成し、1 月 13 日が別のグループを形成します。 1 月 11 日と 1 月 13 日のインスタンスは同時に実行を開始し、1 月 12 日のインスタンスは 1 月 11 日のインスタンスが完了した後に実行を開始します。
説明選択したノード間にサイクルをまたぐ依存関係がある場合、同時実行はサポートされません。
データバックフィル次数
ビジネス時間の昇順または降順でデータバックフィルを実行するように選択できます。
説明選択したノード間にサイクルをまたぐ依存関係がある場合、データタイムスタンプによる降順はサポートされません。
一時スケジューリングリソースグループの指定
カスタムリソースグループ機能を有効にしている場合は、このデータバックフィル操作のための一時リソースグループを指定して、一時的なリソース消費ニーズに対応できます。詳細については、「リソースグループの概要」をご参照ください。 一時スケジューリングリソースグループが指定されていない場合は、各タスクに構成されているタスクスケジューリングリソースグループがスケジューリングと実行に使用されます。
説明構成されたリソースグループは、アプリケーションシナリオに バッチ操作 が含まれるリソースグループからのみ選択できます。
このノードをドライランする
このタスクをドライランする必要があるかどうかを選択します。
はい: 現在のタスクに対応するデータバックフィルインスタンスはドライランモードで実行されます。つまり、タスクがスケジュールされるとすぐに、タスクを実際に実行せずに成功が返されます。
説明これは、現在のノードでデータバックフィルが不要であるが、現在のノードを開始点としてダウンストリームノードをデータバックフィル用に選択する必要があるシナリオに適しています。
いいえ: ノードは正常に実行されます。
一時停止されたスケジューリングタスクに対応するインスタンス
一時停止されたスケジューリングのタスクによって生成されたデータバックフィルインスタンスの実行ステータスを構成します。
実行を一時停止する（データバックフィルプロセスをブロックする可能性があります）: 一時停止されたスケジューリングのタスクによって生成されたすべてのデータバックフィルインスタンスは実行が一時停止され、ダウンストリームインスタンスが正常に実行されるのをブロックします。
説明これは、現在のタスクもそのダウンストリームタスクも実行する必要がないシナリオに適しています。
ドライラン: ドライランが選択されている場合、選択された一時停止されたタスクによって生成されたデータバックフィルインスタンスは、ドライランモードですぐに成功します。
説明これは、現在のタスクを実行する必要がないが、ダウンストリームタスクをスケジューリング構成に従って正常に実行する必要があるシナリオに適しています。
通常実行: 一時停止ステータスのタスクによって生成されたすべてのデータバックフィルインスタンスは正常に実行されます。
説明これは、現在のノードが実行スキップに設定されているが、選択したデータバックフィルデータタイムスタンプで通常どおり実行する必要があるシナリオに適しています。
ドライランスケジューリングタスクに対応するインスタンス
ドライランスケジューリングのタスクによって生成されたデータバックフィルインスタンスの実行ステータスを構成します。
ドライラン: ドライランが選択されている場合、選択されたドライランスケジューリングタスクによって生成されたデータバックフィルインスタンスは、ドライランモードですぐに成功します。
通常実行: ドライランステータスのタスクによって生成されたすべてのデータバックフィルインスタンスは正常に実行されます。
時間間隔の影響範囲
タスクが時間レベルまたは分レベルのタスクである場合、有効範囲を構成する必要があります。
日次/週次/月次スケジューリングタスクに影響を与えない（選択時に実行）: ダウンストリームタスクは時間間隔の選択の影響を受けず、すべて実行されます。
日次/週次/月次スケジューリングタスクは、スケジュール実行時間が選択された時間間隔内にある場合にのみ実行される: ダウンストリームタスクは時間間隔の影響を受け、スケジュール実行時間が選択された時間間隔内にある場合にのみ実行されます。
[OK] をクリックして、データバックフィルタスクの作成を完了します。
次のステップ
データバックフィルタスクを作成した後、タスクのスケジューリングタイプに応じて、データバックフィルタスクの操作管理を実行できます。これには、データバックフィルタスクの手動実行、データバックフィルタスクの削除、タスク操作オーナーの変更などの操作が含まれます。詳細については、以下をご参照ください。