Spark Streaming作業配置

操作步驟

1. 進入資料開發的專案列表頁面。

   1. 通過阿里雲帳號登入阿里雲E-MapReduce控制台。

   2. 在頂部功能表列處，根據實際情況選擇地區和資源群組。
      

   3. 單擊上方的数据开发頁簽。

2. 單擊待編輯專案所在行的作業編輯。

3. 建立Spark Streaming類型作業。
   1. 在頁面左側，在需要操作的檔案夾上單擊右鍵，選擇新增作業。
   2. 在新增作業對話方塊中，輸入作业名称和作業描述，從作业类型下拉式清單中選擇Spark Streaming作業類型。
   3. 單擊确定。
4. 編輯作業內容。
   1. 在作業內容中，填寫提交該作業需要提供的命令列參數。
      Spark Streaming作業提交命令的格式如下。

      spark-submit [options] --class [MainClass] xxx.jar args

      作业名称以SlsStreaming為例，作業內容樣本如下。

      --master yarn-client --driver-memory 7G --executor-memory 5G --executor-cores 1 --num-executors 32 --class com.aliyun.emr.checklist.benchmark.SlsStreaming emr-checklist_2.10-0.1.0.jar <project> <logstore> <accessKey> <secretKey>

      重要

      • 如果作業JAR包儲存在OSS中，則引用這個JAR包的方式是ossref://xxx/.../xxx.jar。
      • 您可以單擊下方的+插入OSS路徑，選擇檔案首碼為OSSREF，從文件路径中進行瀏覽和選擇，系統會自動補齊OSS上Spark Streaming指令碼的路徑。
   2. 單擊保存，作業內容編輯完成。