全部產品
Search
文件中心

Dataphin:離線整合式管線通道配置

更新時間:Jan 25, 2025

通過離線整合式管線通道,您可定義離線整合任務運行時的容錯、並發數、JVM資源、資料庫配置及整合式管線流量監控。本文將為您介紹如何配置離線整合式管線通道。

操作步驟

  1. 在Dataphin首頁,單擊頂部功能表列的研發->資料開發

  2. 按照以下操作指引,進入通道配置抽屜。

    選擇專案(Dev-Prod 模式需要選擇環境)->單擊離線整合->選擇並單擊需要配置通道的離線管道->單擊屬性->單擊通道配置

    image

  3. 通道配置抽屜中,配置參數。

    參數

    說明

    容錯配置

    錯誤數

    用於定義管道任務運行時允許的最大錯誤數。Dataphin離線整合預設不允許錯誤產生,即錯誤數允許最大值預設為0,但支援通過配置錯誤數來設定允許錯誤數的閾值

    配置了錯誤數的整合任務運行過程中會出現如下兩種情況:

    • 管道運行過程中,如果各節點累計的錯誤數超過設定的錯誤數容錯範圍,則當前管道任務會失敗。

    • 管道運行過程中,如果各節點累計的錯誤數在容錯範圍內,則跳過錯誤(即導致錯誤的資料不會寫入目標源),任務繼續運行。

    產生錯誤的原因:通常為來來源資料源的單條資料寫入目標資料來源中發生了異常。例如,來來源資料源是VARCHAR類型的資料寫入到了INT類型的目標資料來源列中,導致格式無法轉化,資料無法寫入到目標資料來源導致的錯誤,即髒資料。

    全域並發度配置

    任務期望最大並發數

    用於定義當前管道指令碼中組件從源端並行讀取或並行寫入目標端的最大線程數。

    JVM配置

    JVM參數

    用於定義當前管道指令碼所佔用的JVM資源,包括CPU和記憶體參數。

    • CPU Core資源最大不超過4.0Core,不支援負數。

    • 記憶體參數最大不超過16384MB(16GB),不支援小數和負數。

    資料庫配置

    SQL執行逾時時間長度

    應用於準備語句SQL和完成語句SQL的執行逾時時間長度,任一SQL語句執行超過該時間長度則置任務失敗。預設30分鐘,最小值為1,最大值為2880分鐘(48小時)。

    重要

    輸出組件所配置的查詢逾時優先於管道配置的查詢逾時時間。

    資料庫連接重試次數

    資料庫連接逾時,任務會自動重試串連直到完成設定的重試次數,預設為1次,最小值為0,最大可配置上限為10次。若達最大重試次數仍未串連成功,則任務狀態為失敗。

    重要
    • 僅支援管道任務中所有支援配置重試次數的資料來源執行個體。

    • 預設值為資料來源中配置的重試次數,可在此處修改為任務層級的配置,即任務級配置>資料來源配置

    • 若資料來源配置中未進行配置,則預設值為1次。

    • 整合任務中存在多個關係型資料來源時,可以分別修改管道內各個資料來源執行個體的重試次數,修改並提交發布後以整合式管線內的配置為準。

    流量監控

    無流量時間閾值

    如讀取資料與結果傳輸的過程中,由於查詢與傳輸資料時間過久或資料庫負載過大,無資料流量期間超過該時間長度,則置任務失敗。預設30分鐘,最小值為5,最大值為2880分鐘(48小時)。

    時區配置

    時區

    請根據資料庫配置的時區選擇相應的時區。Data Integration在中國地區預設時區為GMT+8,該時區不支援夏令時,如果資料庫配置時區支援夏令時,如Asia/Shanghai時區,則當同步的時間資料處於夏令時的時間段,則建議選擇Asia/Shanghai等時區,否則同步的資料與資料庫中的資料相差1小時。

    支援的時區包括:GMT+1、GMT+2、GMT+3、GMT+5:30、GMT+8、GMT+9、GMT+10、GMT-5、GMT-6、GMT-8、Africa/Cairo、America/Chicago、America/Denver、America/Los_Angeles、America/New York、America/Sao Paulo、Asia/Bangkok、Asia/Dubai、Asia/Kolkata、Asia/Shanghai、Asia/Tokyo、Atlantic/Azores、Australia/Sydney、Europe/Berlin、Europe/London、Europe/Moscow、Europe/Paris、Pacific/Auckland、Pacific/Honolulu。

  4. 單擊確定,完成通道配置。

後續步驟

完成任務通道配置後,下一步您可單擊提交,提交任務至發布中心或營運中心。

  • 如果您的開發模式是Dev-Prod模式,則需要發布任務,詳情請參見管理髮布任務

  • 如果您的開發模式是Basic模式,則提交成功後的任務,即可參與生產環境的調度。您可前往營運中心查看您發布的任務。詳情請參見營運中心