Dataphin：建立極速同步管道任務

前提條件

已完成資料來源配置。您需要在建立極速同步管道任務前，配置好需要同步的來來源資料源與目標資料來源，以便在配置輸入、輸出組件時選擇資料來源。極速同步管道任務支援以下資料來源：

• 建立MySQL資料來源

• 建立Oracle資料來源

• 建立PostgreSQL資料來源

• 建立Microsoft SQL Server資料來源

• 建立MaxCompute資料來源

• 建立Hive資料來源

• 建立HDFS資料來源

• 建立Doris資料來源

• 建立SelectDB資料來源

操作步驟

步驟一：建立極速同步管道

1. 在Dataphin首頁的頂部功能表列中，選擇研發 > Data Integration。

2. 在整合頁面頂部功能表列選擇專案（Dev-Prod模式需要選擇環境）。

3. 單擊離線整合列表中的 建立 表徵圖，選擇極速同步，開啟建立極速同步管道對話方塊。

4. 在建立極速同步管道對話方塊中，配置管道相關參數。

   參數	描述
   管道名稱	填寫管道名稱。支援最長64個字元，不支援特殊字元：豎線（|）、正斜線（/）、反斜線（\）、半形冒號（:）、半形問號（？）、角括弧（<>）、星號（*）、半形單引號（''）。
   調度類型	選擇管道的調度類型。調度類型包括： 周期性節點：指需定期執行的任務。 手動節點：指沒有依賴關係，需手動觸發的任務。
   描述	填寫極速同步管道的簡單描述，1000個字元以內。
   選擇目錄	選擇任務所存放的目錄。 若未建立目錄，您可以建立檔案夾，操作方法如下： 在頁面左側計算工作清單上方單擊建立檔案夾表徵圖，開啟建立檔案夾對話方塊。 在建立檔案夾對話方塊中輸入檔案夾名稱並根據需要選擇目錄位置。 單擊確定。

5. 單擊 確定 ，完成極速同步管道建立。

步驟二：開發極速同步管道指令碼

極速同步管道任務的組件庫僅支援輸入組件與輸出組件，各組件的配置內容與離線管道任務的輸入、輸出組件一致，同時支援切換為指令碼模式。

極速同步管道任務的輸入、輸出組件按資料來源對Arrow的支援程度分為兩類：

• Apache Arrow加速：資料來源提供原生列式讀寫通路，資料無需行列轉換即可以Arrow格式傳輸。

• Apache Arrow適配：資料來源不提供原生列式通路，讀寫時需在行格式與Arrow列式格式之間轉換。

支援以下輸入組件：

支援以下輸出組件：

步驟三：管道調度配置

單擊開發畫布功能表列的調度配置按鈕，配置極速同步管道任務的基本資料、調度配置、調度依賴、調度參數、回合組態及資源配置。詳情請參見：

• 配置離線整合式管線基本資料

• 配置離線管道調度配置

• 配置離線管道調度依賴

• 離線管道任務回合組態

• 配置離線整合式管線任務資源

步驟四：儲存並提交 極速同步管道任務

1. 單擊畫布上方的儲存表徵圖，儲存極速同步管道任務。

2. 單擊畫布上方的提交表徵圖，在提交備忘對話方塊中填寫備忘資訊後，單擊確定並提交。

後續步驟

• 如果您的開發模式是Dev-Prod模式，則需要發布任務後才能參與生產環境的調度。

• 如果您的開發模式是Basic模式，則提交成功後的任務即可參與生產環境的調度，您可前往營運中心查看已提交的任務。