E-MapReduce:Spark Streamingジョブの構成

手順

1. データプラットフォームタブに移動します。
   1. Alibaba Cloudアカウントを使用して、Alibaba Cloud EMRコンソールにログインします。
   2. 上部のナビゲーションバーで、クラスターが存在するリージョンを選択し、ビジネス要件に基づいてリソースグループを選択します。
      
   3. [データプラットフォーム] タブをクリックします。
2. 表示されるページの [プロジェクト] セクションで、管理するプロジェクトを見つけ、[アクション] 列の [ジョブの編集] をクリックします。
3. Spark Streamingジョブを作成します。
   1. 左側の [ジョブの編集] ペインで、操作を実行するフォルダーを右クリックし、[ジョブの作成] を選択します。
   2. [ジョブの作成] ダイアログボックスで、[名前] と [説明] を指定し、Spark Streaming[ジョブの種類] ドロップダウンリストから を選択します。
   3. [OK] をクリックします。
4. ジョブの内容を編集します。
   1. [コンテンツ] フィールドに、ジョブの送信に必要なコマンドラインパラメーターを構成します。
      次のコマンド構文を使用して、Spark Streamingジョブを送信できます。

      spark-submit [options] --class [MainClass] xxx.jar args

      次の例では、[名前] が SlsStreaming に設定されたジョブを使用して、[コンテンツ] の値を示します。

      --master yarn-client --driver-memory 7G --executor-memory 5G --executor-cores 1 --num-executors 32 --class com.aliyun.emr.checklist.benchmark.SlsStreaming emr-checklist_2.10-0.1.0.jar <project> <logstore> <accessKey> <secretKey>

      重要

      • ジョブがJARパッケージとしてオブジェクトストレージサービス（OSS）に保存されている場合は、ossref://xxx/.../xxx.jar ディレクトリを使用してJARパッケージを参照できます。
      • ページの下部にある [+ OSSパスを入力] をクリックします。[OSSファイル] ダイアログボックスで、[ファイルプレフィックス] を [OSSREF] に設定し、[ファイルパス] を指定します。システムは、OSSのSpark Streamingスクリプトのパスを完成させます。
   2. [保存] をクリックします。