OpenLake：DolphinSchedule遷移至DataWorks

2 配置串連資訊

在工程目錄的conf檔案夾下建立匯出設定檔（JSON格式），如read.JSON。

• 使用前請刪除JSON中的注釋。

{
  "schedule_datasource": {
    "name": "YourDolphin", // 給你的Dolphin資料來源起個名稱！
    "type": "DolphinScheduler", // 資料來源類型（DolphinScheduler）
    "properties": {
      "endpoint": "http://localhost:12345", // 串連地址
      "project": "綜合測試Test", // 專案空間名稱
      "token": "***********************" // Token
    },
    "operaterType": "AUTO" // 連線類型（AUTO：通過API自動擷取調度資訊）
  },
  "conf": {

  }
}

5.1 （批量探查）能否一次探查多重專案？

支援，在配置項中project中支援一次填寫多重專案名，以單個英文逗號分隔，不可加入空格（這是由於DolphinScheduler的專案名稱中可以帶空格，因此我們將空格作為名稱的一部分進行匹配）。

• 使用前請刪除JSON中的注釋。

{
  "schedule_datasource": {
    "name": "YourDolphin", // 給你的Dolphin資料來源起個名稱！
    "type": "DolphinScheduler", // 資料來源類型（DolphinScheduler）
    "properties": {
      "endpoint": "http://localhost:12345", // 串連地址
      "project": "專案1,專案2", // 專案空間名稱
      "token": "***********************" // Token
    },
    "operaterType": "AUTO" // 連線類型（AUTO：通過API自動擷取調度資訊）
  },
  "conf": {

  }
}

運行命令中-f和-o入參須填寫一個檔案夾路徑，工具將自動為每個專案分別建立匯出包。

sh ./bin/run.sh read \
-c ./conf/<你的設定檔>.JSON \
-f ./data/0_OriginalPackage/ \
-o ./data/1_ReaderOutput/ \
-t <dolphinv1/2/3-reader>

5.2 （手動模式）沒有API怎麼辦？

部分開發人員拿掉了DolphinScheduler的API模組，以API的串連方式無法擷取調度資訊。備用方案是手動在./data/0_OriginalPackage/下構造原始資訊包，並在配置項中將operaterType修改為MANUAL。工具將以手動構造的原始包為輸入，完成DolphinScheduler的探查。

• 使用前請刪除JSON中的注釋。

{
  "schedule_datasource": {
    "name": "YourDolphin", // 給你的Dolphin資料來源起個名稱！
    "type": "DolphinScheduler", // 資料來源類型（DolphinScheduler）
    "properties": {
      "endpoint": "http://localhost:12345", // 串連地址
      "project": "綜合測試Test", // 專案空間名稱
      "token": "***********************" // Token
    },
    "operaterType": "MANUAL" // 連線類型（MANUAL：離線模式）
  },
  "conf": {

  }
}

原始包結構樣本：

.
├── package_info.JSON
├── projects.JSON
├── projects
│   └── 綜合測試Test
│       └── processDefinition
│           └── process_definitions_page_1.JSON
├── datasource
│   └── datasource_page_1.JSON
├── resource
│   └── resources.JSON
└── udfFunction
    └── udf_function_page_1.JSON

package_info.JSON是包資訊，其中記錄了DolphinScheduler版本。

{
  "version": "3.2.0"
}

projects.JSON是專案資訊，手動構造時重點填寫id、userId、code和name。

[
  {
    "id": 2,
    "userId": 1,
    "code": 16372996967936,
    "name": "綜合測試Test",
    "description": "",
    "createTime": "2025-01-20 11:40:39",
    "updateTime": "2025-01-20 11:40:39",
    "perm": 0,
    "defCount": 0,
    "instRunningCount": 0
  }
]

projects檔案夾儲存了工作流程定義。在手動構造時，其下一級目錄需修改為專案名稱。然後在DolphinScheduler的介面上匯出工作流程定義，依次重新命名為process_definitions_page_*.JSON，並放置於processDefinition下。

datasource、resource、udfFunction分別是資料來源資訊、資源檔資訊、UDF資訊，由於DolphinScheduler介面上缺少匯出能力，這些元素可預設。datasource_page_1.JSON、resources.JSON、udf_function_page_1.JSON中填寫空串[]即可。上述元素的預設對任務流遷移的細節有少量影響，影響涉及Sql節點關聯資料來源的映射、DataX節點（非自訂模板模式）關聯資料來源的映射、節點與資源參考關聯性的遷移等。受影響的節點在DataWorks中會被正常建立，只是節點與資料來源、資源的綁定需要在DataWorks中手動設定。

5.3 Token有效，但匯出任務流部分丟失怎麼辦？

首先檢查Token是否對專案具有許可權。

此外，我們發現DolphinScheduler 1.x部分小版本的API存在匯出丟失的情況。可結合匯出結果中的統計報表對丟失的任務流進行梳理與補全。

2.1 轉換配置項目範本

• 使用前請刪除JSON中的注釋。

{
  "conf": {},
  "self": {
    "if.use.default.convert": false,
    "if.use.migrationx.before": false,
    "if.use.dataworks.newidea": true,
    "owner.map": [ // 責任人映射
      {
        "src": "1", // DolphinScheduler使用者ID
        "tgt": "202006995118212119" // DataWorks使用者ID
      }
    ],
    "conf": [
      {
        "nodes": "all", // 規則群組生效範圍
        "rule": {
          "settings": {
            // DolphinScheduler Shell節點轉換為DataWorks Shell節點
            "workflow.converter.shellNodeType": "DIDE_SHELL",
            // 未知節點預設轉換至DataWorks虛擬節點
            "workflow.converter.target.unknownNodeTypeAs": "VIRTUAL",
            // DolphinScheduer SQL節點根據資料來源類型轉換為對應DataWorks SQL節點或資料庫節點
            "workflow.converter.dolphinscheduler.sqlNodeTypeMapping": {
              "CLICKHOUSE": "CLICK_SQL",
              "HIVE": "ODPS_SQL",
              "STARROCKS": "StarRocks",
              "DORIS": "HOLOGRES_SQL",
              "MYSQL": "MYSQL",
              "REDSHIFT": "Redshift",
              "SQLSERVER": "SQLSERVER",
              "PRESTO": "EMR_PRESTO",
              "POSTGRESQL": "POSTGRESQL",
              "ORACLE": "Oracle",
              "ATHENA": "MYSQL"
            },
            // DolphinScheduler資料來源、DataWorks資料來源名稱映射
            "workflow.converter.connection.mapping": {
              "mysqlDb1": "dataworks_mysqlDb1",
              "srDb1": "dataworks_srDb1"
            },
            // Dataworks上綁定的主要計算引擎（EMR/MaxCompute/Hologres）
            "workflow.converter.target.engine.type": "EMR",
            // DolphinScheduler Spark節點轉換為DataWorks MaxCompute Spark節點
            "workflow.converter.sparkSubmitAs": "ODPS_SPARK",
            "workflow.converter.sparkVersion": "3.x",
          }
        }
      }
    ]
  },
  "schedule_datasource": {
    "name": "DsProject",
    "type": "DolphinScheduler"
  },
  "target_schedule_datasource": {}
}

2.2 責任人映射

DolphinScheduler會記錄任務流的所屬使用者，對於團隊開發而言，所屬使用者是非常關鍵的資訊。工具支援通過配置DolphinScheduler使用者與DataWorks使用者的映射，對任務流和節點標記相應的責任人。

DolphinScheduler使用者名稱稱與ID通過使用者管理頁面擷取。

DataWorks工作空間中可以添加使用者作為工作空間的成員，使用者ID可以在右上方擷取。

也可以在資料開發頁面，責任人下拉框中擷取ID。

2.3 節點轉換規則

2.3.1 規則的生效範圍

節點轉換規則的配置規則可設定生效範圍，如所有節點按統一規則轉換，可以配置"nodes": "all"並填寫Settings。通常，使用者只需要配置一個all規則群組即可。

• 使用前請刪除JSON中的注釋。

{
  "conf": {},
  "self": {
    "conf": [
      {
        "nodes": "all", // 規則群組生效範圍為ALL，所有節點依據此規則轉換
        "rule": {
          "settings": {
            // Settings
          }
      }
    ]
  }
}

如部分節點使用獨立的轉換規則，可以在nodes中填寫任務ID/Name以指定規則的生效範圍，需為一批節點設定時可使用逗號分隔填寫生效範圍。建議使用ID指定，使用Name指定可能導致誤設定。此處也支援使用Regex匹配節點名稱。此外，強烈建議設定一個normal規則群組，為其餘節點設定一個預設轉換規則。

• 使用前請刪除JSON中的注釋。

{
  "conf": {},
  "self": {
    "conf": [
      {
        "nodes": "node1Name, node2Id", // 規則群組生效範圍為node1、node2
        "rule": {
          "settings": {
            // Settings 1
          }
        },
        {
        "nodes": "node3Name, node4Id", // 規則群組生效範圍為node3、node4
        "rule": {
          "settings": {
            // Settings 2
          }
        },
        {
        "nodes": "regexExpression", // 支援用Regex對節點名稱進行篩選
        "rule": {
          "settings": {
            // Settings 3
          }
        },
        {
        "nodes": "normal", // 其餘節點的轉換規則
        "rule": {
          "settings": {
            // Settings 4
          }
        }
        ]
  }
}

2.3.2 轉換規則

DolphinScheduler 1.x、2.x、3.x在支援的節點種類上有所差異，因此轉換方案與配置項有所不同，具體如下。

2.3.2.1 DolphinScheduler3.x轉換配置項

工具當前支援轉換的DolphinScheduler 3.x節點包括以下類型：

SHELL、SQL、PYTHON、DATAX、SQOOP、SEATUNNEL、HIVECLI、SPARK(Java, Python, Sql)、MR、PROCEDURE、HTTP、CONDITIONS、SWITCH、DEPENDENT、SUB_PROCESS

其中可配置DataWorks映射規則的包括以下類型：

• SHELL（workflow.converter.shellNodeType）:

推薦轉換為DIDE_SHELL、EMR_SHELL、VIRTUAL節點等。

• SQL（workflow.converter.dolphinscheduler.sqlNodeTypeMapping）:

推薦轉換為各類SQL節點、資料庫節點等。

• PROCEDURE（workflow.converter.dolphinscheduler.sqlNodeTypeMapping）:

推薦轉換為各類SQL節點、資料庫節點等。

• PYTHON（workflow.converter.pyNodeType）:

推薦轉換為PYTHON, PYODPS, PYODPS3, EMR_SHELL等。

• HIVECLI（workflow.converter.dolphinscheduler.sqlNodeTypeMapping/HIVE）:

推薦轉換為EMR_HIVE、ODPS_SQL等。

• SPARK（workflow.converter.sparkSubmitAs）:

SparkJava、SparkPython推薦轉換為ODPS_SPARK, EMR_SPARK；

SparkSql推薦轉換為ODPS_SQL, EMR_SPARK_SQL。

• MR（workflow.converter.mrNodeType）:

推薦轉換為ODPS_MR, EMR_MR。

DataWorks節點類型可參考此枚舉類：

https://github.com/aliyun/dataworks-spec/blob/b0f4a4fd769215d5f81c0bbe990addd7498df5f4/spec/src/main/java/com/aliyun/dataworks/common/spec/domain/dw/types/CodeProgramType.java#L180

固定轉換規則的節點類型：

• DATAX: 轉換為DI節點，支援自訂模板模式（JSON Script模式）和常規模式（前端填寫入模式）。

支援以下資料來源讀外掛程式配置項轉換：MYSQL -> mysql, POSTGRESQL -> postgresql, ORACLE -> oracle, SQLSERVER -> sqlserver, ODPS -> odps, OSS -> oss, HIVE -> hdfs, HDFS -> hdfs, CLICKHOUSE -> clickhouse, MONGODB -> mongodb；

支援以下資料來源寫外掛程式配置項轉換：MYSQL -> mysql, POSTGRESQL -> postgresql, ORACLE -> oracle, SQLSERVER -> sqlserver, ODPS -> odps, OSS -> oss, HIVE -> hdfs, HDFS -> hdfs, CLICKHOUSE -> clickhouse, MONGODB -> mongodb。

• SQOOP: 轉換為DI節點。

支援以下資料來源讀外掛程式配置項轉換：Mysql -> mysql, Hive -> hive, HDFS -> hdfs；

支援以下資料來源寫外掛程式配置項轉換：Mysql -> mysql, Hive -> hive, HDFS -> hdfs。

• SEATUNNEL: 轉換為DI節點。

暫未支援指令碼轉換，僅轉換節點和調度資訊。

• HTTP: 轉換為DIDE_SHELL(通用Shell)節點，遷移工具將請求參數自動拼接為curl命令。

• SWITCH: 轉換為CONTROLLER_BRANCH（分支）節點，遷移前後功能一致。

• SUB_PROCESS: 轉換為SUB_PROCESS節點，遷移前後功能一致；注意，在匯入DataWorks時，遷移工具將會將被引用的任務流的“可被引用”開關開啟，被引用的任務流只能通過SUB_PROCESS的調用而啟動，無法自行調度啟動。

• DEPENDENT: 轉換為VITRTUAL節點，依賴關係轉換為節點血緣依賴。如Dependent節點依賴於Workflow A時，依賴關係轉換為Workflow A尾節點到Dependent節點的血緣；如Dependent節點依賴於Node A，自來關係轉換為Node A到Dependent節點的血緣。見下圖示意：

• CONDITIONS: 節點中包含兩層邏輯，使用雙層CONTROLLER_JOIN（歸併）節點進行分別實現。CONDITIONS有兩個上遊A和B、兩個下遊C和D，邏輯運算式為((!A&B)|(A&!B)|(!A&!B))，若為真則流轉至C，若為假則流轉至D。上層產生了3個歸併節點分別用來計算!A&B、A&!B、!A&!B的結果，下層產生了2個節點，其中一個在((!A&B)|(A&!B)|(!A&!B))==true時觸發下遊C節點執行，另一個在(!(!A&B)&!(A&!B)&!(!A&!B))==true時觸發下遊D節點執行，以實現CONDITIONS的效果。

2.3.2.2 DolphinScheduler2.x轉換配置項

工具當前支援轉換的DolphinScheduler 2.x節點包括以下類型：

SHELL、SQL、PYTHON、DATAX、SQOOP、HIVECLI、SPARK(Java, Python, Sql)、MR、PROCEDURE、HTTP、CONDITIONS、SWITCH、DEPENDENT、SUB_PROCESS

DolphinScheduler 3.x相比2.x僅多出一種SEATUNNEL節點，其餘節點的轉換方案及配置項同DolphinScheduler 3.x一致，可參考上一小節進行配置。

2.3.2.3 DolphinScheduler1.x轉換配置項

工具當前支援轉換的DolphinScheduler 1.x節點包括以下類型：

SHELL、SQL、PYTHON、DATAX、SQOOP、SPARK(Java, Python, Sql)、MR、CONDITIONS、DEPENDENT、SUB_PROCESS

以上節點轉換方案及配置項同DolphinScheduler 3.x一致，可參考上一小節進行配置。

1.1 轉換成功

轉換工具運行完成，源端調度資訊被成功轉換為DataWorks調度資訊，ConverterOutput.zip被成功產生。

（可選，推薦）開啟轉換輸出包，查看統計報表，核對待遷移範圍是否被轉換成功。

1.2 DataWorks側配置

DataWorks側需進行以下動作：

1、建立工作空間。

2、建立AK、SK且保證AK、SK對工作空間具有管理員權限。（強烈建議建立與帳號有綁定關係的AK、SK，以便在寫入遇到問題時進行排查）

3、在工作空間中建立資料來源、綁定計算資源、建立資源群組。

4、在工作空間中上傳檔案資源、建立UDF。

1.3 網路連通性檢查

驗證能否連通DataWorks Endpoint。

服務存取點列表：

服務存取點

ping dataworks.aliyuncs.com

2.1 服務存取點

根據DataWorks所在Region選擇服務存取點，參考文檔：

服務存取點

2.2 工作空間ID與名稱

開啟DataWorks控制台，開啟工作空間詳情頁，從右側基本資料中擷取工作空間ID與名稱。

2.3 建立AK、SK並授權

在使用者頁建立AK、SK，要求對目標DataWorks工作空間擁有管理員讀寫權限。

許可權管理組件括兩處，如果帳號是RAM帳號，則需先對RAM帳號進行DataWorks操作授權。

權限原則頁面：https://ram.console.alibabacloud.com/policies

然後在DataWorks工作空間中，將工作空間許可權賦給帳號。

注意！AccessKey可設定網路訪問限制策略，請務必保證遷移工具所在機器的IP被允許訪問。

2.4 資源群組

由DataWorks工作空間詳情頁左側功能表列進入資源群組頁面，綁定資源群組，並擷取資源群組ID。

通用資源群組可用於節點調度，也可用於Data Integration。配置項中調度資源群組resource.group.identifier和Data Integration資源群組di.resource.group.identifier可以配置為同一通用資源群組。

2.5 QPS設定

工具通過調用DataWorks的API進行匯入操作。不同DataWorks版本中的讀、寫OpenAPI分別有相應的QPS限制和每日調用次數限制，詳見連結：使用限制。

DataWorks基礎版、標準版、專業版建議填寫"qps.limit": 5，企業版建議填寫"qps.limit": 20。

注意，請儘可能避免多個匯入工具同時運行。

2.6 DataWorks節點類型ID設定

在DataWorks中，部分節點類型在不同Region中被分配了不同的TypeId。具體TypeID以DataWorks資料開發實際介面為準。存在此特性的節點類型以資料庫節點為主：資料庫節點。

如：MySQL節點在杭州Region的NodeTypeId為1000039、在深圳Region的NodeTypeId為1000041。

為適應上述DataWorks不同Region的差異特性，工具提供了一種可配置的方式，允許使用者組態工具所使用的節點TypeId表。

表格通過匯入工具的配置項引入：

"conf": {
    "dataworks.node.type.xls": "/Software/bwm-client/conf/CodeProgramType.xls" // DataWorks節點類型表的路徑
 }

從DataWorks資料開發介面上擷取節點類型Id的方法：在介面上建立一個工作流程，並在工作流程中建立一個節點，在點擊儲存後查看工作流程的Spec。

若節點類型配置錯誤，在任務流發布時將提示以下錯誤。