全部產品
Search
文件中心

Dataphin:離線整合

更新時間:Nov 19, 2025

離線整合支援多種組件,包括輸入、輸出與轉換組件等,通過在畫布上簡單的拖拽、配置並組裝的方式,產生離線整合單條管道。離線整合也支援指令碼模式,支援更多個人化配置。同時,使用者建立的自訂RDBMS資料來源的輸入與輸出組件也會自動在建立在組件庫中,滿足多樣化的資料同步需求。

離線整合頁面概述

離線整合頁面主要由離線管道任務目錄、工具列、開發畫布、配置及管理、控制台組成您可以在離線整合頁面對離線管道任務進行建立、管理以及配置操作。

image

區塊

說明

離線整合目錄

建立的離線管道任務將在任務目錄中進行統一管理。任務目錄支援的管理操作如下:

  • 目錄工具列:支援篩選上傳(上傳管道開發指令碼重新整理建立檔案夾定位

  • 建立整合任務:單擊image.png按鈕,支援建立單條管道任務以及指令碼管道任務。

    • 單條管道任務:支援可視化拖拽方式將一個或多個來來源資料源的單表或多表同步到一個或多個目標資料來源中。具體操作,請參見通過單條管道建立整合任務

    • 指令碼管道任務:支援指令碼代碼方式將一個或多個來來源資料源的單表或多表同步到一個或多個目標資料來源中。具體操作,請參見通過指令碼模式建立整合任務

  • 離線管道任務:支援複製擷取鎖編輯複製重新命名移動刪除、下線、下線並刪除

    重要

    Basic模式刪除任務提交成功後,即更新至生產環境,請謹慎操作;Dev-Prod模式刪除任務提交成功後,請前往待發布列表,以發布對象至生產環境。

  • 離線整合工作清單:單擊離線整合工作清單,可以通過列表方式管理建立的離線整合任務。更多資訊,請參見查看及管理離線整合工作清單

  • 移動任務:離線指令碼任務、離線管道任務和普通檔案夾都支援在離線整合目錄中移動,其中離線指令碼任務離線管道任務還支援移動至離線整庫遷移的檔案夾中;普通檔案夾不支援移入和移出離線整庫遷移的檔案夾。

    普通檔案夾中存在子節點時,不可被刪除。當離線整庫遷移檔案夾被刪除時,將一併刪除該檔案夾中包含的所有任務,包括離線指令碼任務和離線管道任務。

工具列

工具列支援儲存、運行、預覽、調度配置、通道配置、品質監控、提交、去發布、去營運、重新整理、擷取鎖、定位。

  • 儲存:單擊工具列中的image表徵圖,對開發中的離線管道進行儲存

  • 運行:單擊工具列中的image表徵圖,運行當前開發中的離線管道。若當前帳號不具有行級許可權,您可以單擊申請許可權表徵圖,跳轉至管理中心 > 許可權管理 > 我的許可權 > 行級許可權頁面申請許可權後重新運行。

  • 預覽:單擊工具列中的image表徵圖,預覽當前離線管道運行後的整合結果。

  • 調度配置:單擊工具列中的image表徵圖,開啟屬性面板的調度配置頁簽。調度配置用於定義周期性調度類型的離線管道任務在調度過程中的調度規則。更多資訊,請參見離線管道調度配置

  • 通道配置:單擊工具列中的image表徵圖,開啟屬性面板的通道配置頁簽。通過離線整合式管線通道配置,您可定義離線整合任務運行時的容錯、並發數、JVM資源、資料庫配置及整合式管線流量監控。更多資訊,離線整合式管線通道配置

  • 品質監控:單擊工具列中的image表徵圖,開啟品質監控面板。您可以為整合式管線中的資料表配置品質監控規則。更多資訊,請參見配置整合式管線品質監控

  • 提交:單擊工具列中的image表徵圖,將離線整合式管線提交至發布中心或管理中心。更多資訊,請參見發布中心

  • 去發布:單擊工具列中的image表徵圖,發布最新的待發布內容。A已提交到發布中心的離線整合式管線,您可以前往發布中心進行發佈動作。

  • 去營運:單擊工具列中的image表徵圖,營運發行的執行個體。已提交到營運中心的離線整合式管線,您可以前往營運中心進行營運操作。更多資訊,請參見營運中心

  • 切換為指令碼模式:單擊image表徵圖並在下拉選項中單擊切換為指令碼模式。可以將當前離線管道切換為離線指令碼。適用於需要自動擷取欄位資訊,並產生完整的JSON配置的情境,可以有效提高指令碼模式配置的效率。切換成指令碼模式後,不支援切換回離線管道模式。

  • 重新整理:單擊工具列中的image表徵圖重新整理當前離線管道任務。

  • 擷取鎖:單擊工具列中的image表徵圖擷取離線管道任務的編輯鎖。

  • 定位:單擊工具列中的image表徵圖在任務目錄中定位到當前離線整合式管線任務。

  • 下線:單擊工具列中的image表徵圖,選擇下線,對已上線的整合任務進行下線操作。

  • 刪除:單擊工具列中的image表徵圖,選擇刪除,刪除當前整合任務。

    重要

    Basic模式刪除任務提交成功後,即更新至生產環境,請謹慎操作;Dev-Prod模式刪除任務提交成功後,請前往待發布列表,以發布對象至生產環境。

開發畫布

  • 可視化開發:在開發畫布,您可以在組件庫抽屜中,拖拽至畫布進行開發。Dataphin支援的開發組件及開發說明,請參見整合組件庫開發說明

  • 代碼指令碼開發:對於指令碼任務,您可以在代碼編輯器中使用代碼開發離線管道任務。

配置及管理

配置及管理支援整合任務的屬性配置、品質監控、相關、歷史。

  • 屬性配置:配置離線管道任務的屬性,包括基本資料、調度配置、調度依賴、回合組態等。更多資訊,請參見配置離線管道任務屬性

  • 品質監控:通過配置離線整合式管線的品質監控,Dataphin會自動為您監控資料表的品質,如果資料表有品質風險,系統會自動警示,通知警示接收人,協助您及時瞭解資料表品質狀況。具體操作,請參見配置整合式管線品質監控

  • 相關離線管道的相關對象,指當前離線管道任務引用讀取的表引用讀取當前任務的表以及將當前任務作為上遊依賴的任務

  • 歷史:查看及管理工作歷史版本。

控制台

運行或預覽任務時,將在控制台顯示結構化之後的運行結果資訊。包括預覽結果、運行資訊、通道資訊、步驟度量、日誌資訊、異常資訊、效能診斷、運行代碼。