E-MapReduce:ワークフローの管理

前提条件

• ワークスペースを作成済みです。詳細については、「ワークスペースの管理」をご参照ください。

• 必要なタスクを開発および公開済みです。

ワークフローの作成

1. ワークフローページに移動します。

   1. E-MapReduce コンソールにログインします。

   2. 左側のナビゲーションウィンドウで、EMR Serverless > Spark を選択します。

   3. Spark ページで、対象のワークスペース名をクリックします。

   4. EMR Serverless Spark ページで、左側のナビゲーションウィンドウの タスクオーケストレーション をクリックします。

2. タスクオーケストレーション ページで、Create Workflow をクリックします。

3. Create Workflow パネルで、以下のパラメーターを設定し、次へ をクリックします。

   Parameter		Description
   Name		ワークフロー名は、現在のワークスペース内で一意である必要があります。
   Resource Queue		ワークフローを実行するデフォルトのリソースキューを選択します。 説明 ノードのリソースキュー設定は、このデフォルトリソースキューをオーバーライドします。
   Other Settings	Scheduling Type	本番環境でワークフローを実行するスケジューリングタイプです。 Manual（デフォルト）：手動でトリガーした場合にのみワークフローが実行されます。 Scheduler：定義されたスケジュール（分、時、日）に基づき、ワークフローが自動的に実行されます。 Scheduling Type を Scheduler に設定する場合は、Scheduler および Scheduling Started At パラメーターも設定する必要があります。
   	Scheduler	ワークフローを自動実行する頻度です。Scheduling Type を Scheduler に設定した場合のみ必須です。 以下のスケジューリング周期を利用できます。 Daily：毎日指定時刻に 1 回実行されます。 Hourly：1 日の指定時間範囲内で、every N hours のような間隔で実行されます。 Minute：1 日の指定時間範囲内で、every N minutes のような間隔で実行されます。
   	Scheduling Started At	スケジュールされたワークフローの開始日時です。デフォルトは現在時刻です。Scheduler タイプの場合のみ必須です。 重要 Scheduler タイプのワークフローについては、タスクオーケストレーション ページで Scheduling Status トグルを有効にして、スケジュールをアクティブ化する必要があります。
   	Retries After Failure	ノードが失敗後にリトライする回数です。デフォルトはリトライなしです。 説明 個々のノードの設定により、このパラメーターをオーバーライドできます。
   	Failure Notification	失敗通知を受信するメールアドレスです。
   	タグ	ワークフローに付与するキーと値のペアです。

4. ワークフローノードを編集します。

   1. Edit Workflow ページで、下部の Add Node をクリックします。

   2. Add Node パネルで、ノードパラメーターを設定します。

      Parameter	Description
      Path	このノードが実行するタスクへのパスです。タスクは公開済みである必要があります。
      Node Type	ワークフローノードのタイプです。デフォルトでは、指定されたパスのタスクからシステムがタイプを推論します。
      Node Name	ノードのカスタム名です。タスクソースから自動的に入力されます。
      Upstream Nodes	ワークフロー内の先行ノードです。 最初のノードには先行ノードは不要です。
      Failure Retries	ワークフローのリトライ設定を継承します。デフォルトはリトライなしです。
      Timeout(seconds)	単一ノード実行のタイムアウトです。デフォルトは制限なしです。
      Subscriptions	特定のノード状態に関する通知をサブスクライブするメールアドレスを指定します。
      タグ	ノードのタグとなるキーと値のペアです。各ノードには、workflow_name および task_name の 2 つのビルトインタグが自動的に含まれます。
      Resource Queue	このノードのリソースキューです。この設定は、ワークフローのデフォルトリソースキューをオーバーライドします。 重要 ノード固有のリソースキュー設定は、ワークフローのデフォルト設定よりも優先され、後でデフォルトが変更された場合でも適用されます。

      説明

      タスクソースが SQL 開発の場合、タスクパラメーターも設定する必要があります。これらのパラメーターは、デフォルトでタスクテンプレートから値を継承します。デフォルト値を変更するには、タスクテンプレートを修正してください。パラメーターの詳細については、「構成管理」をご参照ください。

   3. Save をクリックします。

      初期ノードの設定後、ページ下部の Add Node をクリックして、さらにノードを追加できます。

5. ワークフローを公開します。

   1. 右上隅で、Publish Workflow をクリックします。

   2. Publish ダイアログボックスで、リリースの説明を入力し、OK をクリックします。

ワークフローの実行

ワークフローの各実行は、ワークフロー詳細ページの Workflow Runs タブにレコードとして生成されます。

実行ステータスの確認

対象ワークフローの Workflow Runs Status 列および Workflow Job Runs Status 列で、すべてのワークフロー実行およびノード実行のステータスを確認できます。

• ワークフロー実行ステータス

  Status	Description
  Blue	実行中
  Green	成功
  Red	失敗
  Purple	保留中

• ワークフローノード実行ステータス

  Status	Description
  Blue	実行中
  Green	成功
  Red	失敗
  Yellow	リトライ中
  Purple	保留中

関連トピック

• ワークフローの主要概念の詳細については、「基本概念」をご参照ください。

• ワークフローおよびノード実行の確認方法については、「ワークフロー実行およびノード実行の管理」をご参照ください。