依存関係と Cron トリガーでオフラインタスクをスケジュール - Dataphin

定期実行するオフラインタスクを実行するには、そのスケジューリングプロパティを定義します。これには、スケジューリング周期、スケジューリング依存関係、およびスケジューリングパラメーターが含まれます。本トピックでは、オフラインタスクのプロパティとスケジューリングについて説明します。

重要事項

システムは、スケジューリングタイプが「定期タスク」に設定されたオフラインコンピューティングタスクのみに対して、スケジューリング構成をサポートしています。
依存関係とは、2 つのノード間の実行順序を定義するものです。上流ノードのステータスは、下流ノードの実行ステータスに影響を与えます。
依存関係を構成すると、システムは下流ノードを以下のようにスケジュールします。まず、上流ノードが正常に完了するまで待機します。その後、下流ノードのスケジュール時刻が到来したかどうかを確認します。
スケジュール時刻より前にスケジューリング構成を送信した場合、その構成はスケジュール時刻以降に有効になります。スケジュール時刻を過ぎてから依存関係を構成した場合、システムは 1 日後にインスタンスを作成します。
スケジューリング構成は、タスクがスケジュール通りに実行される際に使用されるプロパティのみを定義します。この構成を適用するには、タスクを本番環境に公開してください。
スケジュール時刻は、予期される実行時刻を定義します。実際の実行時刻は、上流ノードのステータスに依存します。タスク実行条件の詳細については、「インスタンス実行診断」をご参照ください。

オフラインタスクのプロパティへのアクセス

Dataphin のホームページの上部メニューバーで、開発 > データ開発 をクリックします。
開発ページの上部メニューバーで、プロジェクト をクリックします。
左側のナビゲーションウィンドウで、データ処理 > コンピュートジョブ を選択します。コンピュートジョブ の一覧から、対象のジョブ名をクリックします。
タスクタブで、右側の プロパティ をクリックして、プロパティ パネルを開きます。

オフラインタスクのプロパティ構成

オフラインタスクのプロパティページで、以下の表を用いてタスクの基本情報およびスケジューリングプロパティを構成します。

構成項目	説明
基本情報	タスク名、ID、ノードタイプ、開発オーナー、O&M オーナー、および説明を含みます。タスク名：タスク作成時に入力した名称です。ノード ID：ノードを一意に識別するための識別子です。ノードを送信すると、システムが自動的に生成します。開発オーナー：デフォルトでは現在のユーザーが設定されます。現在のプロジェクトのメンバーから任意のユーザーを選択できます。説明本番環境では、開発オーナーの構成はできません。開発環境から継承された値が適用されます。 O&M オーナー：デフォルトではノード作成者が設定されます。現在のプロジェクトのメンバーから任意のユーザーを O&M オーナーとして選択できます。
実行時リソース	タスク実行に割り当てる CPU およびメモリリソースです。説明この設定は、Python、Shell、MaxCompute 上の Spark、Yarn 上の Spark、MaxCompute 上の MapReduce、Yarn 上の MapReduce のタスクにのみ適用されます。
Python 第三者パッケージ	インポートする Python 第三者パッケージを選択します。説明この設定は、Python および Shell タスクにのみ適用されます。 Python 第三者パッケージに第三者モジュールを追加した後は、コード内でそのモジュールをインポートする前に、タスク内に参照宣言を行う必要があります。参照モジュールは、[コンピュートタスクのプロパティ] > [Python 第三者パッケージ] で構成できます。
Databricks Connect	Databricks Connect を有効化した後、開発 httpPath (クラスター) および本番 httpPath (クラスター) を選択します。Bais プロジェクトの場合は、本番 httpPath (クラスター) のみを構成します。開発または本番プロジェクトのコンピュートソースに関連付けられた Databricks クラスターで、あらかじめ構成済みの汎用コンピュートを任意に選択できます。HTTP Path は、`sql/protocolv1/o` で始める必要があります。説明 Databricks Connect は、プロジェクトのコンピュートソースエンジンタイプが Databricks であり、Python バージョンが 3.11 の場合にのみサポートされます。
実行時パラメーター（任意）	ノードのスケジューリング時に使用されるパラメーターを定義します。Dataphin では、組み込みパラメーターおよびカスタムパラメーターが提供されており、実行時に動的なパラメーター割り当てが可能です。説明ノードコード内で変数を定義している場合、ここで値を割り当ててください。変数が定義されていない場合は、この手順をスキップします。
スケジューリングプロパティ	本番環境において、タスクが定期実行される方法を定義します。スケジューリングタイプ：本番環境におけるタスクインスタンスの実行ステータスを定義します。優先度：タスクの優先度を設定します。タスクを作成すると、システムは [管理ハブ] > [開発プラットフォーム] > [ノードタスク設定] > [デフォルト優先度] で設定されたデフォルト優先度を使用します。説明タスクを本番環境に公開した後、またはベーシックモードで送信した後は、タスク編集時に優先度を変更できません。本番環境の O&M 操作で更新してください。優先度の値は、本番環境における最新の設定を反映します。有効期間：タスクがスケジュール通りに実行される期間を定義します。この日付以降は、システムがインスタンスを生成しなくなります。スケジューリング周期：タスクの実行頻度を定義します。条件付きスケジューリング：タスクが実行される条件を定義します。複数の条件グループを設定できます。システムは、上から順に条件を評価します。条件が一致すると、対応するスケジュールが実行され、それ以降の条件評価は停止します。すべての条件に一致しない場合、デフォルトのスケジュールが使用されます。
スケジューリング依存関係	タスクの上流および下流の依存関係を定義します。依存関係により、実行順序が保証されます。すなわち、下流ノードは上流ノードが正常終了した後にのみ開始されます。これにより、有効なビジネスデータが適切なタイミングで配信されることを保証します。依存関係は、自動解析機能で迅速に設定することも、手動で追加することもできます。
実行時構成	失敗したタスク実行に対するタイムアウト期間およびリトライポリシーを定義します。これにより、長時間実行されるタスクによるリソース浪費を防止し、信頼性を向上させます。
リソース構成	コンピュートタスクに使用するリソースグループを選択します。システムは、このグループのリソースをタスクのスケジューリング時に使用します。

次のステップ

タスクプロパティの構成後、タスクを送信して本番環境に公開します。その後、本番環境で関連する O&M 操作を実行します。詳細については、「オペレーションセンター」をご参照ください。