E-MapReduce:Workflow quick start

前提条件

• システムロールの権限付与が完了していること。詳細については、「EMR Workflow のロール権限付与」をご参照ください。

• EMR on ECS でクラスターまたはクラスターテンプレートを作成済みであること。詳細については、「クラスターの作成」または「クラスターテンプレートの作成」をご参照ください。

  サポートされているクラスタータイプは、データレイク、Hadoop、カスタムです。

ステップ 1：クラスターのバインドとワークスペースの関連付け

1. Alibaba Cloud アカウント (メインアカウント) または RAM ユーザーで EMR コンソールにログインします。

2. 左側のナビゲーションウィンドウで、[EMR Studio] > [ワークフロー] を選択します。

3. ワークフローページで、スケジューリングリソースグループ をクリックします。

4. クラスターまたはクラスターテンプレートをバインドします。

   1. スケジューリングリソースグループ ページで、対象の実行クラスターを見つけ、[操作] 列の クラスターの関連付け をクリックします。

   2. EMR クラスター / クラスターテンプレートの関連付け ダイアログボックスで、対象のクラスターまたはクラスターテンプレートを見つけ、[操作] 列の 関連付け をクリックします。

   3. ダイアログボックスで vSwitch とセキュリティグループを選択し、OK をクリックします。

      説明

      クラスターのバインドには 5〜10 分かかります。

5. (任意) ワークスペースを関連付けます。

   説明

   EMR Workflow を初めてアクティベートすると、無料のデフォルト実行クラスターが提供されます。このデフォルトクラスターは、作成時に自動的に default ワークスペースに関連付けられます。デフォルトの実行クラスターが要件を満たさない場合は、有料の実行クラスターを購入できます。有料の実行クラスターの仕様と課金の詳細については、「実行クラスターの課金」をご参照ください。有料の実行クラスターは、手動でワークスペースに関連付ける必要があります。

   1. スケジューリングリソースグループ ページで、ワークスペースの関連付け をクリックします。

   2. ワークスペースの関連付け ダイアログボックスで、使用するワークスペースを見つけ、[操作] 列の Associate をクリックします。

   3. 確認ダイアログボックスで、OK をクリックします。

ステップ 2：プロジェクトの作成

1. ワークフローページの ワークスペース タブで、対象のワークスペースを見つけ、[操作] 列の コンソール をクリックします。

2. Project Management ページで、Create Project をクリックします。

3. ダイアログボックスで Project Name を入力し、OK をクリックします。

ステップ 3：ワークフローの作成

1. Project Management ページで、新しいプロジェクトの名前をクリックします。

2. 左側のナビゲーションウィンドウで、Data Development > Workflow Definition を選択します。

3. Workflow Definition ページで、Create Workflow をクリックします。

4. Create Workflow ページで、SHELL ノードをキャンバスにドラッグします。

   本トピックでは、SHELL ノードタイプを例として使用します。ノードタイプの詳細については、「ノードタイプ」をご参照ください。

5. ダイアログボックスでパラメーターを設定し、OK をクリックします。

   次の表に設定例を示します。他のパラメーターはデフォルト値のままにすることができます。パラメーターの詳細については、「SHELL」をご参照ください。手動タスクを関連付けるには、Associate Manual Task スイッチをオンにし、既存の手動タスクを選択します。

   パラメーター	説明
   Node Name	ノードのカスタム名。例：shell。
   Script	カスタムの Shell プログラム。

6. ワークフローを保存します。

   1. キャンバスの右上隅にある Save をクリックします。

   2. ダイアログボックスで Workflow Name を入力し、OK をクリックします。

ステップ 4：ワークフローの実行

1. Workflow Definition ページで、対象のワークフロー定義を見つけ、[操作] 列の 実行 をクリックします。

2. ダイアログボックスで、スケジューリングリソースグループ ドロップダウンリストから実行クラスターを選択し、OK をクリックします。

ステップ 5：タスクインスタンスのログ表示

1. 左側のナビゲーションウィンドウで、Instance O&M > Workflow Instance を選択して、ワークフローインスタンスのステータスを表示します。

2. 左側のナビゲーションバーで、Instance O&M > Task Instance を選択します。

3. Task Instance ページで、対象のタスクインスタンスを見つけ、[操作] 列の View Logs をクリックします。

(任意) ステップ 6：ワークフローのスケジューリング

1. Workflow Definition ページで、対象のワークフロー定義を見つけ、操作 列の Configure Scheduling Time をクリックします。

2. ダイアログボックスでパラメーターを設定し、OK をクリックします。

   • Time Period：ワークフローはこの期間内にのみスケジュールどおりに実行されます。この範囲外では、スケジュールは新しいワークフローインスタンスを生成しません。

   • Configure Scheduling Time：ワークフローを実行するタイミングを選択します。

3. 対象のワークフローの Schedule Status 列で、スイッチをオンにします。

関連ドキュメント

• ノードタイプの詳細については、「ノードタイプ」をご参照ください。

• パラメーターの詳細については、「パラメーターの説明」をご参照ください。

• ワークフロー操作の詳細については、「ワークフローの管理」をご参照ください。