本文介紹通過Lindorm控制台管理計算引擎作業,包括建立、查看和終止Spark作業。
前提條件
-
已開通計算引擎。如何開通,請參見服務開通。
-
已完成作業開發。如何開發,請參見JAR作業開發實踐或Python作業開發實踐。
-
已將作業上傳至HDFS或OSS。如何上傳至HDFS,請參見通過控制台上傳檔案。
建立作業
登入Lindorm管理主控台。
在頁面左上方,選擇執行個體所屬的地區。
在实例列表頁,單擊目標執行個體ID或者目標執行個體所在行操作列的管理。
-
在左側導覽列,單擊计算引擎。
-
單擊作业管理頁簽。
-
單擊创建作业。
-
在创建作业對話方塊,自訂作业名称並選擇作業類型。
-
根據作業內容範本,配置以下作業參數,其他參數預設配置。
參數
說明
token
提交Spark作業時用於進行計算資源鑒權的token。您可以通過Lindorm控制台擷取,單擊目標執行個體ID,在左側導覽列選擇 数据库连接,切換至计算引擎頁面並查看token值。
mainResource
JAR包或者Python檔案在HDFS或OSS的儲存路徑。
mainClass
JAR作業的程式入口類。
args
傳入mainClass的參數。
configs
Spark系統參數配置。此外,如果您已將作業上傳至OSS,則需要在此增加以下配置:
-
spark.hadoop.fs.oss.endpoint:儲存作業的OSS地址。
-
spark.hadoop.fs.oss.accessKeyId:通過阿里雲控制台建立的Access Key ID,擷取方法請參見建立AccessKey。
-
spark.hadoop.fs.oss.accessKeySecret:通過阿里雲控制台擷取Access Key Secret,擷取方法請參見建立AccessKey。
-
spark.hadoop.fs.oss.impl:訪問OSS的類。固定值為:org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem。
-
-
單擊頁面右上方的保存。
-
單擊頁面右上方的运行。
查看作業
登入Lindorm管理主控台。
在頁面左上方,選擇執行個體所屬的地區。
在实例列表頁,單擊目標執行個體ID或者目標執行個體所在行操作列的管理。
-
在左側導覽列,單擊计算引擎。
-
單擊作业列表頁簽,查看Spark作業的詳情資訊。
Spark作業
描述
Job Id
Spark作業ID。
AppName
JAR作業名稱。
WebUI地址
SparkUI介面的訪問地址,可以將目標SparkUI地址複製在瀏覽器地址欄中,通過寬表引擎的使用者名稱和密碼登入SparkUI,查看目標Spark作業的詳細資料。SparkUI介面的介紹請參見查看作業運行資訊。
說明寬表引擎預設使用者名和密碼的擷取方式:在 数据库连接頁面,單擊宽表引擎頁簽,複製預設使用者名及密碼。
状态
可以查看Spark作業的運行狀態。
详情
可以查看Spark作業的運行狀態詳情資訊。
操作
對Spark作業進行終止操作。
終止作業
-
Spark作業的狀態為启动中和运行才能執行終止操作。
-
終止操作對Lindorm執行個體無影響。
登入Lindorm管理主控台。
在頁面左上方,選擇執行個體所屬的地區。
在实例列表頁,單擊目標執行個體ID或者目標執行個體所在行操作列的管理。
-
在左側導覽列,單擊计算引擎。
-
單擊作业列表頁簽。
-
單擊目標Spark作業操作列中的终止作业。