全部產品
Search
文件中心

Lindorm:快速入門:流任務營運管理平台

更新時間:Dec 20, 2025

流任務營運管理平台支援提交、管理作業及作業所需資源,支援不同工作空間之間的作業與資源隔離,以及使用者權限管理等功能。本文介紹流任務營運管理平台的基礎功能,並通過提交流引擎Jar作業、提交流引擎SQL作業、提交流引擎Python作業的樣本來示範基本的使用流程。

前提條件

開通流引擎

基礎功能介紹

作業管理

  • 支援建立、修改、刪除作業。

  • 支援以目錄形式組織管理作業。

  • 支援作業的多版本管理。

  • 支援三種作業類型:流引擎JAR、流引擎SQL和流引擎Python。

  • 支援同工作空間、跨工作空間的作業移動和複製。

依賴管理

  • 支援建立、修改、刪除資源。

  • 支援以目錄形式組織管理資源。

  • 支援資源的多版本管理。

  • 支援六種資源類型:Jar App、Jar Library、Config File、Python App、Python Library和Data File。其用途分別是:

    資源類型

    檔案類型要求

    用途

    Jar App

    .jar

    流引擎JAR作業的主程式。

    Jar Library

    .jar

    Jar依賴,在任何作業類型裡都可能被使用。

    Config File

    .txt.xml.properties等文字檔類型。

    設定檔,在流引擎JAR作業的主程式碼中讀取以擷取配置資訊。

    Python App

    .py

    流引擎Python作業的主程式。

    Python Library

    .py.tar.gz.zip等包含Python程式的壓縮包。

    流引擎Python作業的Python依賴。

    Data File

    .zip.tar.gz等包含資料檔案的壓縮包(資料檔案可能是.txt等格式)。

    流引擎Python作業的資料依賴。

  • 支援同工作空間、跨工作空間的資源及資來源目錄的移動和複製。

  • 支援資源的下載、支援Config File資源的線上查看。

叢集管理

支援查看可用於standalone模式建立作業的流引擎叢集。

使用者管理

支援查看所有可登入流任務營運管理平台的使用者。

工作空間管理

支援查看、建立、刪除和修改工作空間。不同工作空間之間的作業、資源是隔離、獨立的。

角色管理

支援查看、建立、刪除、修改角色資訊。

角色用於定義許可權,root使用者擁有最高的管理員權限。非root使用者需要root或有許可權的使用者通過成員管理模組,在工作空間中綁定角色後,才能獲得操作許可權。

成員管理

支援查看、建立、刪除、修改當前工作空間下的成員資訊。成員資訊定義了哪些使用者有什麼許可權可以在該工作空間做操作。

登入流任務營運管理平台

擷取登入使用者名稱和密碼

  1. 登入Lindorm管理主控台。在左上方選擇執行個體所屬的地區。在实例列表頁,單擊目標執行個體ID或者目標執行個體所在行操作列的管理

  2. 在左側導覽列,單擊 数据库连接

  3. 單擊流引擎頁簽,擷取預設使用者名和密碼。

登入平台

  1. 在左側導覽列,單擊流引擎

  2. 單擊進入流任務營運管理平台

    說明

    流任務營運管理平台目前處於邀測階段,如有使用需求,請聯絡Lindorm支援人員(DingTalk號:s0s3eg3)申請使用名額。

  3. 輸入使用者名稱和密碼,登入平台。

使用樣本

提交流引擎Jar作業

資源準備

  1. 在左側導覽列,單擊依賴管理

  2. 在目標依賴目錄上,單擊右鍵,選擇建立資源,上傳必要的Jar App、Jar Library、Config File等資源。

建立作業

  1. 在左側導覽列,單擊作業管理

  2. 選擇建立 > 新增作業

  3. 填寫必要的參數。

    說明

    作業名稱支援中文字元、大寫英文字元、小寫英文字元、中劃線(-)和底線(_),不支援兩個連續的空格。

  4. 單擊提交

添加作業版本

  1. 單擊目標作業名稱,進入作業詳情頁。

  2. 單擊添加,配置作業版本資訊。其中,內建資源是系統提供的可直接使用的依賴,無需上傳。

    在主程式中使用設定檔,支援絕對路徑和相對路徑兩種訪問方式:

    • 絕對路徑固定為:/home/hadoop/cluster-data/lstream/user-config/ + ConfigFile檔案名稱

    • 相對路徑可以理解為將設定檔放在了主程式Jar的resources檔案夾下,可以使用例如getClassLoader().getResourceAsStream(ConfigFile檔案名稱)的方式訪問。

  3. 單擊建立版本

發布作業版本

單擊目標版本操作列的image,發布作業版本。

啟動作業

  1. 單擊目標版本操作列的image,啟動作業。

  2. 在啟動作業對話方塊中,選擇是否從某個已有的savepoint或checkpoint路徑啟動,以繼續上一次啟動並執行運行狀態。

    重要

    一個作業如果有多個版本,只能有一個版本處於運行狀態。

停止作業

單擊目標版本操作列的image,停止正在運行中的作業。停止運行可選擇是否觸發savepoint以儲存當前運行狀態,供下次啟動作業使用。

刪除作業版本

在目標版本的操作列選擇image > 刪除,即可刪除作業版本。

提交流引擎 SQL作業

資源準備

  1. 在左側導覽列,單擊依賴管理

  2. 在目標依賴目錄上,單擊右鍵,選擇建立資源,上傳必要的Jar Library資源,支援上傳UDF。

建立作業

  1. 在左側導覽列,單擊作業管理

  2. 選擇建立 > 新增作業

  3. 填寫必要的參數。

    說明

    作業名稱支援中文字元、大寫英文字元、小寫英文字元、中劃線(-)和底線(_),不支援兩個連續的空格。

  4. 單擊提交

添加作業版本

  1. 單擊目標作業名稱,進入作業詳情頁。

  2. 單擊添加,配置作業版本資訊。

    對話方塊對SQL語句的自動提示、文法高亮,且支援SQL文法檢測。

  3. 單擊建立版本

發布作業版本

單擊目標版本操作列的image,發布作業版本。

啟動作業

  1. 單擊目標版本操作列的image,啟動作業。

  2. 在啟動作業對話方塊中,選擇是否從某個已有的savepoint或checkpoint路徑啟動,以繼續上一次啟動並執行運行狀態。

    重要

    一個作業如果有多個版本,只能有一個版本處於運行狀態。

停止作業

單擊目標版本操作列的image,停止正在運行中的作業。停止運行可選擇是否觸發savepoint以儲存當前運行狀態,供下次啟動作業使用。

刪除作業版本

在目標版本的操作列選擇image > 刪除,即可刪除作業版本。

提交流引擎Python作業

資源準備

  1. 在左側導覽列,單擊依賴管理

  2. 在目標依賴目錄上,單擊右鍵,選擇建立資源,上傳必要的Python App、Python Library、Data File等資源。

建立作業

  1. 在左側導覽列,單擊作業管理

  2. 選擇建立 > 新增作業

  3. 填寫必要的參數。

    說明

    作業名稱支援中文字元、大寫英文字元、小寫英文字元、中劃線(-)和底線(_),不支援兩個連續的空格。

  4. 單擊提交

添加作業版本

  1. 單擊目標作業名稱,進入作業詳情頁。

  2. 單擊添加,配置作業版本資訊。其中,內建資源是系統提供的可直接使用的依賴,無需上傳。

  3. 單擊建立版本

發布作業版本

單擊目標版本操作列的image,發布作業版本。

啟動作業

  1. 單擊目標版本操作列的image,啟動作業。

  2. 在啟動作業對話方塊中,選擇是否從某個已有的savepoint或checkpoint路徑啟動,以繼續上一次啟動並執行運行狀態。

    重要

    一個作業如果有多個版本,只能有一個版本處於運行狀態。

停止作業

單擊目標版本操作列的image,停止正在運行中的作業。停止運行可選擇是否觸發savepoint以儲存當前運行狀態,供下次啟動作業使用。

刪除作業版本

在目標版本的操作列選擇image > 刪除,即可刪除作業版本。