流任務營運管理平台支援提交、管理作業及作業所需資源,支援不同工作空間之間的作業與資源隔離,以及使用者權限管理等功能。本文介紹流任務營運管理平台的基礎功能,並通過提交流引擎Jar作業、提交流引擎SQL作業、提交流引擎Python作業的樣本來示範基本的使用流程。
前提條件
已開通流引擎。
基礎功能介紹
作業管理
支援建立、修改、刪除作業。
支援以目錄形式組織管理作業。
支援作業的多版本管理。
支援三種作業類型:流引擎JAR、流引擎SQL和流引擎Python。
支援同工作空間、跨工作空間的作業移動和複製。
依賴管理
支援建立、修改、刪除資源。
支援以目錄形式組織管理資源。
支援資源的多版本管理。
支援六種資源類型:Jar App、Jar Library、Config File、Python App、Python Library和Data File。其用途分別是:
資源類型
檔案類型要求
用途
Jar App
.jar流引擎JAR作業的主程式。
Jar Library
.jarJar依賴,在任何作業類型裡都可能被使用。
Config File
.txt、.xml、.properties等文字檔類型。設定檔,在流引擎JAR作業的主程式碼中讀取以擷取配置資訊。
Python App
.py流引擎Python作業的主程式。
Python Library
.py或.tar.gz、.zip等包含Python程式的壓縮包。流引擎Python作業的Python依賴。
Data File
.zip、.tar.gz等包含資料檔案的壓縮包(資料檔案可能是.txt等格式)。流引擎Python作業的資料依賴。
支援同工作空間、跨工作空間的資源及資來源目錄的移動和複製。
支援資源的下載、支援Config File資源的線上查看。
叢集管理
支援查看可用於standalone模式建立作業的流引擎叢集。
使用者管理
支援查看所有可登入流任務營運管理平台的使用者。
工作空間管理
支援查看、建立、刪除和修改工作空間。不同工作空間之間的作業、資源是隔離、獨立的。
角色管理
支援查看、建立、刪除、修改角色資訊。
角色用於定義許可權,root使用者擁有最高的管理員權限。非root使用者需要root或有許可權的使用者通過成員管理模組,在工作空間中綁定角色後,才能獲得操作許可權。
成員管理
支援查看、建立、刪除、修改當前工作空間下的成員資訊。成員資訊定義了哪些使用者有什麼許可權可以在該工作空間做操作。
登入流任務營運管理平台
擷取登入使用者名稱和密碼
登入Lindorm管理主控台。在左上方選擇執行個體所屬的地區。在实例列表頁,單擊目標執行個體ID或者目標執行個體所在行操作列的管理。
在左側導覽列,單擊 数据库连接。
單擊流引擎頁簽,擷取預設使用者名和密碼。
登入平台
在左側導覽列,單擊流引擎。
單擊進入流任務營運管理平台。
說明流任務營運管理平台目前處於邀測階段,如有使用需求,請聯絡Lindorm支援人員(DingTalk號:s0s3eg3)申請使用名額。
輸入使用者名稱和密碼,登入平台。
使用樣本
提交流引擎Jar作業
資源準備
在左側導覽列,單擊依賴管理。
在目標依賴目錄上,單擊右鍵,選擇建立資源,上傳必要的Jar App、Jar Library、Config File等資源。
建立作業
在左側導覽列,單擊作業管理。
選擇。
填寫必要的參數。
說明作業名稱支援中文字元、大寫英文字元、小寫英文字元、中劃線(-)和底線(_),不支援兩個連續的空格。
單擊提交。
添加作業版本
單擊目標作業名稱,進入作業詳情頁。
單擊添加,配置作業版本資訊。其中,內建資源是系統提供的可直接使用的依賴,無需上傳。
在主程式中使用設定檔,支援絕對路徑和相對路徑兩種訪問方式:
絕對路徑固定為:
/home/hadoop/cluster-data/lstream/user-config/ + ConfigFile檔案名稱。相對路徑可以理解為將設定檔放在了主程式Jar的
resources檔案夾下,可以使用例如getClassLoader().getResourceAsStream(ConfigFile檔案名稱)的方式訪問。
單擊建立版本。
發布作業版本
單擊目標版本操作列的
,發布作業版本。
啟動作業
單擊目標版本操作列的
,啟動作業。在啟動作業對話方塊中,選擇是否從某個已有的savepoint或checkpoint路徑啟動,以繼續上一次啟動並執行運行狀態。
重要一個作業如果有多個版本,只能有一個版本處於運行狀態。
停止作業
單擊目標版本操作列的
,停止正在運行中的作業。停止運行可選擇是否觸發savepoint以儲存當前運行狀態,供下次啟動作業使用。
刪除作業版本
在目標版本的操作列選擇,即可刪除作業版本。
提交流引擎 SQL作業
資源準備
在左側導覽列,單擊依賴管理。
在目標依賴目錄上,單擊右鍵,選擇建立資源,上傳必要的Jar Library資源,支援上傳UDF。
建立作業
在左側導覽列,單擊作業管理。
選擇。
填寫必要的參數。
說明作業名稱支援中文字元、大寫英文字元、小寫英文字元、中劃線(-)和底線(_),不支援兩個連續的空格。
單擊提交。
添加作業版本
單擊目標作業名稱,進入作業詳情頁。
單擊添加,配置作業版本資訊。
對話方塊對SQL語句的自動提示、文法高亮,且支援SQL文法檢測。
單擊建立版本。
發布作業版本
單擊目標版本操作列的
,發布作業版本。
啟動作業
單擊目標版本操作列的
,啟動作業。在啟動作業對話方塊中,選擇是否從某個已有的savepoint或checkpoint路徑啟動,以繼續上一次啟動並執行運行狀態。
重要一個作業如果有多個版本,只能有一個版本處於運行狀態。
停止作業
單擊目標版本操作列的
,停止正在運行中的作業。停止運行可選擇是否觸發savepoint以儲存當前運行狀態,供下次啟動作業使用。
刪除作業版本
在目標版本的操作列選擇,即可刪除作業版本。
提交流引擎Python作業
資源準備
在左側導覽列,單擊依賴管理。
在目標依賴目錄上,單擊右鍵,選擇建立資源,上傳必要的Python App、Python Library、Data File等資源。
建立作業
在左側導覽列,單擊作業管理。
選擇。
填寫必要的參數。
說明作業名稱支援中文字元、大寫英文字元、小寫英文字元、中劃線(-)和底線(_),不支援兩個連續的空格。
單擊提交。
添加作業版本
單擊目標作業名稱,進入作業詳情頁。
單擊添加,配置作業版本資訊。其中,內建資源是系統提供的可直接使用的依賴,無需上傳。
單擊建立版本。
發布作業版本
單擊目標版本操作列的
,發布作業版本。
啟動作業
單擊目標版本操作列的
,啟動作業。在啟動作業對話方塊中,選擇是否從某個已有的savepoint或checkpoint路徑啟動,以繼續上一次啟動並執行運行狀態。
重要一個作業如果有多個版本,只能有一個版本處於運行狀態。
停止作業
單擊目標版本操作列的
,停止正在運行中的作業。停止運行可選擇是否觸發savepoint以儲存當前運行狀態,供下次啟動作業使用。
刪除作業版本
在目標版本的操作列選擇,即可刪除作業版本。
> 刪除