说明 Spark SQL 提交作業的模式預設是 yarn-client 模式。

操作步驟

  1. 進入阿里雲 E-MapReduce 控制台作業列表。
  2. 單擊該頁右上方的建立作業，進入建立作業頁面。
  3. 填寫作業名稱。
  4. 選擇 Spark SQL 作業類型，表示建立的作業是一個 Spark SQL 作業。Spark SQL 作業在 E-MapReduce 後台使用以下的方式提交：
    spark-sql [options] [cli option]
  5. 在應用參數選項框中填入 Spark SQL 命令後續的參數。
    • -e 選項
      -e 選項可以直接寫啟動並執行 SQL，在作業 應用參數框中直接輸入，如下所示： 
      -e "show databases;"
    • -f 選項
      -f 選項可以指定 Spark SQL 的指令檔。通過將編寫好的 Spark SQL 指令檔放在 OSS 上，可以更靈活，建議您使用這種運行方式。如下所示： 
      -f ossref://your-bucket/your-spark-sql-script.sql
  6. 選擇執行失敗後策略。
  7. 單擊確定，Spark SQL 作業即定義完成。