E-MapReduce:ワークフローの管理

前提条件

• ワークスペースを作成しておく必要があります。詳細については、「ワークスペースの管理」をご参照ください。

• 必要なタスクを開発し、公開済みである必要があります。

ワークフローの作成

1. Workflows ページに移動します。

   1. E-MapReduce コンソールにログインします。

   2. 左側メニューで、EMR Serverless > Spark を選択します。

   3. Spark ページで、対象のワークスペースの名前をクリックします。

   4. [EMR Serverless Spark] ページで、左側メニューにある [タスクオーケストレーション] をクリックします。

2. [タスクオーケストレーション] ページで、[Create Workflow] をクリックします。

3. [Create Workflow] パネルで、次のパラメーターを設定し、[次へ] をクリックします。

   パラメーター		説明
   [Name]		ワークフロー名は、現在のワークスペース内で一意である必要があります。
   [Resource Queue]		ワークフローが実行されるデフォルトのリソースキューを選択します。 説明 ノードのリソースキュー設定は、このデフォルトキューを上書きします。
   [Other Settings]	[Scheduling Type]	本番環境でワークフローを実行するためのスケジューリングタイプです。 Manual (デフォルト)：ワークフローは手動でトリガーされた場合にのみ実行されます。 Scheduler：ワークフローは定義されたスケジュール (分、時間、日単位) に従って自動的に実行されます。 [Scheduling Type] を [Scheduler] に設定する場合は、[Scheduler] と [Scheduling Started At] パラメーターも設定する必要があります。
   	[Scheduler]	ワークフローが自動的に実行される頻度です。[Scheduling Type] を [Scheduler] に設定した場合にのみ必須です。 次のスケジューリングサイクルが利用可能です： 毎日：毎日指定された時刻に 1 回実行されます。 毎時：毎日指定された時間範囲内で、N 時間ごと などの定義された間隔で実行されます。 毎分：毎日指定された時間範囲内で、N 分ごと などの定義された間隔で実行されます。
   	[Scheduling Started At]	スケジュールされたワークフローが開始される日時です。デフォルトは現在時刻です。[Scheduler] タイプの場合にのみ必須です。 重要 [Scheduler] タイプのワークフローの場合、スケジュールを有効にするには [タスクオーケストレーション] ページの [Scheduling Status] トグルをオンにする必要があります。
   	[Retries After Failure]	ノードが失敗した後に再試行する回数です。デフォルト：再試行なし。 説明 個々のノードの設定でこのパラメーターを上書きできます。
   	[Failure Notification]	失敗通知を受信するメールアドレスです。
   	[タグ]	ワークフローに付けるタグのキーと値のペアです。

4. ワークフローノードを編集します。

   1. [Edit Workflow] ページの下部にある [Add Node] をクリックします。

   2. [Add Node] パネルで、ノードパラメーターを設定します。

      パラメーター	説明
      [Path]	このノードが実行するタスクへのパスです。タスクは公開されている必要があります。
      [Node Type]	ワークフローノードのタイプです。デフォルトでは、システムは指定されたパスのタスクからタイプを推測します。
      [Node Name]	ノードのカスタム名です。タスクソースから自動的に入力されます。
      [Upstream Nodes]	ワークフロー内の先行ノードです。 最初のノードに上流ノードは不要です。
      [Failure Retries]	ワークフローから再試行設定を継承します。デフォルト：再試行なし。
      [Timeout(seconds)]	単一ノード実行のタイムアウトです。デフォルト：制限なし。
      [Subscriptions]	特定のノード状態に関する通知を受け取るメールアドレスを指定します。
      [タグ]	ノードに付けるタグのキーと値のペアです。各ノードには、workflow_name と task_name という 2 つの組み込みタグが自動的に含まれます。
      [Resource Queue]	このノードのリソースキューです。この設定は、ワークフローのデフォルトのリソースキューを上書きします。 重要 ノード固有のリソースキュー設定は、後でデフォルトが変更された場合でも、ワークフローのデフォルトよりも優先されます。

      説明

      タスクソースが SQL 開発の場合、タスクパラメーターも設定する必要があります。これらのパラメーターは、デフォルトでタスクテンプレートから値を継承します。タスクテンプレートを変更して、デフォルト値を変更できます。パラメーターの詳細については、「構成管理」をご参照ください。

   3. [Save] をクリックします。

      最初のノードを設定した後、ページの下部にある [Add Node] をクリックして、さらにノードを追加できます。

5. ワークフローを公開します。

   1. 右上隅にある [Publish Workflow] をクリックします。

   2. [Publish] ダイアログボックスで、リリースの説明を入力し、[OK ] をクリックします。

ワークフローの実行

各ワークフローの実行は、ワークフロー詳細ページの [Workflow Runs] タブにレコードとして記録されます。

実行ステータスの表示

対象のワークフローの [Workflow Runs Status] および [Workflow Job Runs Status] 列で、すべてのワークフロー実行とノード実行のステータスを確認できます。

• ワークフロー実行ステータス

  ステータス	説明
  青色	実行中
  緑色	成功
  赤色	失敗
  紫色	保留中

• ワークフローノード実行ステータス

  ステータス	説明
  青色	実行中
  緑色	成功
  赤色	失敗
  黄色	再試行中
  紫色	保留中

関連トピック

• ワークフローの主要な概念に関する詳細については、「基本概念」をご参照ください。

• ワークフロー実行とノード実行の表示については、ワークフロー実行とノード実行の管理をご参照ください。