このページでは、Spark Streaming ジョブの設定方法について説明します。

始める前に

  • プロジェクトが作成されている必要があります。 詳細は、「ワークフロープロジェクトの管理」をご参照ください。
  • 処理に必要なすべてのリソースとデータが準備されている必要があります。

手順

  1. Alibaba Cloud アカウントを使用して E-MapReduce (EMR) コンソール にログインし、[クラスター管理] タブを開きます。
  2. 上部のナビゲーションバーで [データプラットフォーム] タブを選択して、[プロジェクト] セクションを表示します。
  3. 目的とするプロジェクトの横にある [ワークフロー] をクリックします。 左側のナビゲーションウィンドウで、[ジョブの編集] を選択します。
  4. [ジョブの編集] タブで、フォルダを右クリックし、[ジョブの作成] を選択します。
    注 リストから [サブフォルダーの作成]、[フォルダー名の変更]、または [フォルダーの削除]を選択することもできます。
  5. [ジョブの作成] ダイアログボックスで、[名前] と [説明] を入力し、[ジョブタイプ] ドロップダウンリストから [Spark Streaming] を選択します。
  6. 設定が完了したら、 [OK] をクリックして新しいジョブを作成します。
  7. ジョブを作成したら、次はジョブを設定する必要があります。

    SlsStreaming というジョブを例にして説明します。 ジョブコンテンツ は次のように表示されます。 

    --master yarn-client --driver-memory 7G --executor-memory 5G --executor-cores 1 --num-executors 32 --class com.aliyun.emr.checklist.benchmark.SlsStreaming emr-checklist_2.10-0.1.0.jar <project> <logstore> <accessKey> <secretKey>
    重要 ジョブが OSS に JAR ファイルとして保存されている場合、次のエンドポイントを例として使用して JAR ファイルを参照できます： ossref://<a directory name>/.../<a file name>.jar [OSS パス] をクリックして OSS から JAR ファイルを選択することもできます。 Spark Streaming ジョブを含む JAR ファイルのフルパスがジョブコンテンツに追加されます。 デフォルトの OSS プロトコルを ossref プロトコルに変更しなければなりません。

    EMR コンソールで Spark Streaming ジョブを送信する場合、次の形式のコマンドを使用します。

    • 次のコマンドは、Spark Streaming ジョブを送信する方法の例です。 
      spark-submit [options] --class [MainClass] <a file name>.jar args
    • この例では、次のコマンドを使用して Spark Streaming ジョブを送信します。 
      spark-submit --master yarn-client --driver-memory 7G --executor-memory 5G --executor-cores 1 --num-executors 32 --class com.aliyun.emr.checklist.benchmark.SlsStreaming emr-checklist_2.10-0.1.0.jar <project> <logstore> <accessKey> <secretKey>
  8. 上記のパラメーターを設定したら、[保存] をクリックして、Spark Streamingジョブの設定を完了します。